12決策樹學習(已修改)
2025-03-13 16:52 本頁面
【正文】 第 決策樹學習 (Decision Tree) 內(nèi)容 ?決策樹方法的原理 ?決策樹中的過擬合問題 ?決策樹的其他問題 ?屬性的其他度量 決策樹學習 ——決定是否打網(wǎng)球 看看天氣 看看濕度 陽光明媚 下雨 看看風速 高 正常 不去打球 去打球 大 小 不去打球 去打球 節(jié)點：每一個節(jié)點測試一個屬性 , 分支：屬性的可選數(shù)值 , 葉子節(jié)點：最終預測 去打球 陰天 ( | )Y or P Y Y L e af?決策樹學習原理簡介 —(ID3, ) node = root 循環(huán) { 1. 為當下一個節(jié)點選擇一個最好的屬性 x 2. 將屬性 x分配給節(jié)點 node 3. 對于 x的所有可能數(shù)值，創(chuàng)建一個降序排列的節(jié)點 node 4. 將所有訓練樣本在葉子節(jié)點排序分類 5. 如果分類結果達到了錯誤率要求，跳出循環(huán)，否則， 在葉子節(jié)點開始新循環(huán) 〉 遞歸 } 決策樹表示法 ?決策樹 ?通過把實例從根節(jié)點排列到某個葉子節(jié)點來分類實例。 ?葉子節(jié)點即為實例所屬的分類 ?樹上每個節(jié)點說明了對實例的某個屬性的測試 ?節(jié)點的每個后繼分支對應于該屬性的一個可能值 ?決策樹代表實例屬性值約束的合取的析取式。從樹葉到樹根的每一條路徑對應一組屬性測試的合取，樹本身對應這些合取的析取。 決策樹學習的適用問題 ? 適用問題的特征 ?實例由“屬性 值”對表示 ?目標函數(shù)具有離散的輸出值 ?可能需要析取的描述 ?訓練數(shù)據(jù)可以包含錯誤 ?訓練數(shù)據(jù)可以包含缺少屬性值的實例 ? 問題舉例 ?根據(jù)天氣好壞確定是否去打球 ?根據(jù)疾病分類患者 ?根據(jù)起因分類設備故障 ?根據(jù)拖欠支付的可能性分類貸款申請 ? 分類問題 ?核心任務是把樣例分類到各可能的離散值對應的類別 基本的決策樹學習算法 ?大多數(shù)決策樹學習算法是一種核心算法的變體 ?采用自頂向下的貪婪搜索遍歷可能的決策樹空間 ? ID3是這種算法的代表 基本的決策樹學習算法 ? ID3的思想 ?自頂向下構造決策樹 ?從“哪一個屬性將在樹的根節(jié)點被測試”開始 ?使用統(tǒng)計測試來確定每一個實例屬性單獨分類訓練樣例的能力 ? ID3的過程 ?分類能力最好的屬性被選作樹的根節(jié)點 ?根節(jié)點的每個可能值產(chǎn)生一個分支 ?訓練樣例排列到適當?shù)姆种? ?重復上面的過程 決策樹學習原理簡介 —(ID3, ) 編號 天氣 溫度 濕度 風 是否去打球 1 晴天 炎熱 高 弱 不去 2 晴天 炎熱 高 強 不去 3 陰天 炎熱 高 弱 去 4 下雨 適中 高 弱 去 5 下雨 寒冷 正常 弱 去 6 下雨 寒冷 正常 強 不去 7 陰天 寒冷 正常 強 去 8 晴天 適中 高 弱 不去 9 晴天 寒冷 正常 弱 去 10 下雨 適中 正常 弱 去 11 晴天 適中 正常 強 去 12 陰天 適中 高 強 去 13 陰天 炎熱 正常 弱 去 14 下雨 適中 高 強 不去 表 1：是否去打球的數(shù)據(jù)統(tǒng)計 —訓練數(shù)據(jù) 決策樹學習原理簡介 —(ID3, ) 濕度 高 正常 (3+, 4) (6+, 1) S: (9+, 5) 風 弱 強 (6+, 2) (3+, 3)
環(huán)評公示相關推薦
鄂ICP備17016276號-1