決策樹學習講義-文庫吧資料
2025-01-18 19:42本頁面
【正文】 過擬合的方法 ?如果對數(shù)據(jù)劃分沒有明顯好處的屬性不選擇，同時不再將決策數(shù)細分 ?構(gòu)建完成整個樹以后進行剪枝” Prune” ?在訓練數(shù)據(jù)上測量性能 ?在交叉驗證數(shù)據(jù)上測量性能 ?MDL Minmize (Size(tree)+Size(misclassifications(tree)) 決策樹學習及 overfitting 避免過擬合的方法 ? 評估所生成的新節(jié)點對于 Validation 數(shù)據(jù)集合的性能 ?生成一些節(jié)點很少但是性能很好的“ Subtree” 決策樹學習及 overfitting ?避免過度擬合的方法 ?及早停止樹增長 ?后修剪法 ?兩種方法的特點 ?第一種方法更直觀 ?第一種方法中，精確地估計何時停止樹增長很困難 ?第二種方法被證明在實踐中更成功 決策樹學習及 overfitting ?避免過度擬合的關鍵 ?使用什么樣的準則來確定最終正確樹的規(guī)模 ?解決方法 ?使用與訓練樣例截然不同的一套分離的樣例，來評估通過后修剪方法從樹上修建節(jié)點的效用。 決策樹學習及 overfitting 假設 在訓練樣本集合上的錯誤率為 39。那么熵就是 (entropy), ? 在 x上進行決策分枝所獲得的信息增益為 : 1( ) ( , )KiiiiipnE x I p npn?????( ) ( , ) ( )G ain x I p n E x??決策樹學習原理簡介 —(ID3, ) ( , )G ain S x 表 示 樣 本 集 合 與 屬 性 （ 特 征 ） x 的 互 信 息()( , ) ( ) ( )v vv V alue s xSG ain S x En tr opy S En tr opy SS??? ?Av? 的 子 集* 決策樹學習原理簡介 —(ID3, ) 問題：哪一個屬性（特征）更好？分析極端的情況 溫度 高 正常 (4+, 4) (4+, 4) S: (8+, 8) 心情 好 壞 (8+, 0) (0+,8) S: (8+, 8) E= E= E= Gain(S, 溫度） =（ 8/16)*（ 8/16） * = Gain(S, 心情） =(8/16)*(8/16)* = E= E= 決策樹學習原理簡介 —(ID3, ) 濕度 高 正常 (3+, 4) (6+, 1) S: (9+, 5) 風 弱 強 (6+, 2) (3+, 3) S: (9+, 5) 問題：哪一個屬性（特征）更好？ I= I= I= I= Gain(S, 濕度） =（ 7/14).9857/14* = Gain(S, 風） =(8/14).811(6/14) = E= E= 決策樹學習原理簡介 —(ID3, ) 決策樹的構(gòu)造過程示意 x1 x3 x8 x3 x7 + + + 決策樹學習 將樹轉(zhuǎn)化為規(guī)則 ? 將樹轉(zhuǎn)化為規(guī)則集合 ?測試規(guī)則是否相互矛盾 ? 將規(guī)則排序存儲 ?Tree: ?If(陰天） 〉 去打球 ?If（晴天） ?If（風速低） 〉 去打球 ?Else 〉 不去打球 決策樹學習的常見問題 ?決策樹學習的實際問題 ?確定決策樹增長的深度 ?處理連續(xù)值的屬性 ?選擇一個適當?shù)膶傩院Y選度量標準 ?處理屬性值不完整的訓練數(shù)據(jù) ?處理不同代價
教學教案相關推薦
鄂ICP備17016276號-1