決策樹學習講義-展示頁
2025-01-20 19:42本頁面
【正文】 的屬性 ?提高計算效率 ?針對這些問題， ID3被擴展成 決策樹學習及 overfitting 看看天氣 看看濕度 陽光明媚 下雨 看看風速 高 正常 不去打球 去打球 大 小 不去打球 去打球 去打球 陰天 1 晴天 炎熱 高 強 去打球 增加一個錯誤樣本 決策樹學習及 overfitting ? 過度擬合 ?對于一個假設，當存在其他的假設對訓練樣例的擬合比它差，但事實上在實例的整個分布上表現(xiàn)得卻更好時，我們說這個假設過度擬合訓練樣例 ?定義：給定一個假設空間 H，一個假設 h?H，如果存在其他的假設 h’?H，使得在訓練樣例上 h的錯誤率比 h’小，但在整個實例分布上 h’的錯誤率比 h小，那么就說假設 h過度擬合訓練數(shù)據(jù)。從樹葉到樹根的每一條路徑對應一組屬性測試的合取，樹本身對應這些合取的析取。第 決策樹學習 (Decision Tree) 內(nèi)容 ?決策樹方法的原理 ?決策樹中的過擬合問題 ?決策樹的其他問題 ?屬性的其他度量 決策樹學習 ——決定是否打網(wǎng)球 看看天氣 看看濕度 陽光明媚 下雨 看看風速 高 正常 不去打球 去打球 大 小 不去打球 去打球 節(jié)點：每一個節(jié)點測試一個屬性 , 分支：屬性的可選數(shù)值 , 葉子節(jié)點：最終預測 去打球 陰天 ( | )Y or P Y Y L e af?決策樹學習原理簡介 —(ID3, ) node = root 循環(huán) { 1. 為當下一個節(jié)點選擇一個最好的屬性 x 2. 將屬性 x分配給節(jié)點 node 3. 對于 x的所有可能數(shù)值，創(chuàng)建一個降序排列的節(jié)點 node 4. 將所有訓練樣本在葉子節(jié)點排序分類 5. 如果分類結果達到了錯誤率要求，跳出循環(huán)，否則， 在葉子節(jié)點開始新循環(huán) 〉 遞歸 } 決策樹表示法 ?決策樹 ?通過把實例從根節(jié)點排列到某個葉子節(jié)點來分類實例。 ?葉子節(jié)點即為實例所屬的分類 ?樹上每個節(jié)點說明了對實例的某個屬性的測試 ?節(jié)點的每個后繼分支對應于該屬性的一個可能值 ?決策樹代表實例屬性值約束的合取的析取式。 決策樹學習的適用問題 ? 適用問題的特征 ?實例由“屬性 值”對表示 ?目標函數(shù)具有離散的輸出值 ?可能需要析取的描述 ?訓練數(shù)據(jù)可以包含錯誤 ?訓練數(shù)據(jù)可以包含缺少屬性值的實例 ? 問題舉例 ?根據(jù)天氣好壞確定是否去打球 ?根據(jù)疾病分類患者 ?根據(jù)起因分類設備故障 ?根據(jù)拖欠支付的可能性分類貸款申請 ? 分類問題 ?核心任務是把樣例分類到各可能的離散值對應的類別 基本的決策樹學習算法 ?大多數(shù)決策樹學習算法是一種核心算法的變體 ?采用自頂向下的貪婪搜索遍歷可能的決策樹空間 ? ID3是這種算法的代表 基本的決策樹學習算法 ? ID3的思想 ?自頂向下構造決策樹 ?從“哪一個屬性將在樹的根節(jié)點被測試”開始 ?使用統(tǒng)計測試來確定每一個實例屬性單獨分類訓練樣例的能力 ? ID3的過程 ?分類能力最好的屬性被選作樹的根節(jié)點 ?根節(jié)點的每個可能值產(chǎn)生一個分支 ?訓練樣例排列到適當?shù)姆种? ?重復上面的過程 決策樹學習原理簡介 —(ID3, ) 編號 天氣 溫度 濕度 風 是否去打球 1 晴天 炎熱 高 弱 不去 2 晴天 炎熱 高 強 不去 3
教學教案相關推薦
鄂ICP備17016276號-1