12決策樹學(xué)習(xí)-文庫吧資料
2025-03-09 16:52本頁面
【正文】 合的方法 ?如果對(duì)數(shù)據(jù)劃分沒有明顯好處的屬性不選擇，同時(shí)不再將決策數(shù)細(xì)分 ?構(gòu)建完成整個(gè)樹以后進(jìn)行剪枝” Prune” ?在訓(xùn)練數(shù)據(jù)上測(cè)量性能 ?在交叉驗(yàn)證數(shù)據(jù)上測(cè)量性能 ?MDL Minmize (Size(tree)+Size(misclassifications(tree)) 決策樹學(xué)習(xí)及 overfitting 避免過擬合的方法 ? 評(píng)估所生成的新節(jié)點(diǎn)對(duì)于 Validation 數(shù)據(jù)集合的性能 ?生成一些節(jié)點(diǎn)很少但是性能很好的“ Subtree” 決策樹學(xué)習(xí)及 overfitting ?避免過度擬合的方法 ?及早停止樹增長 ?后修剪法 ?兩種方法的特點(diǎn) ?第一種方法更直觀 ?第一種方法中，精確地估計(jì)何時(shí)停止樹增長很困難 ?第二種方法被證明在實(shí)踐中更成功 決策樹學(xué)習(xí)及 overfitting ?避免過度擬合的關(guān)鍵 ?使用什么樣的準(zhǔn)則來確定最終正確樹的規(guī)模 ?解決方法 ?使用與訓(xùn)練樣例截然不同的一套分離的樣例，來評(píng)估通過后修剪方法從樹上修建節(jié)點(diǎn)的效用。 決策樹學(xué)習(xí)及 overfitting 假設(shè) 在訓(xùn)練樣本集合上的錯(cuò)誤率為 39。那么熵就是 (entropy), ? 在 x上進(jìn)行決策分枝所獲得的信息增益為 : 1( ) ( , )KiiiiipnE x I p npn?????( ) ( , ) ( )G ain x I p n E x??決策樹學(xué)習(xí)原理簡介 —(ID3, ) ( , )G ain S x 表 示 樣 本 集 合 與 屬 性 （ 特 征 ） x 的 互 信 息()( , ) ( ) ( )v vv V alue s xSG ain S x En tr opy S En tr opy SS??? ?Av? 的 子 集* 決策樹學(xué)習(xí)原理簡介 —(ID3, ) 問題：哪一個(gè)屬性（特征）更好？分析極端的情況 溫度 高 正常 (4+, 4) (4+, 4) S: (8+, 8) 心情 好 壞 (8+, 0) (0+,8) S: (8+, 8) E= E= E= Gain(S, 溫度） =（ 8/16)*（ 8/16） * = Gain(S, 心情） =(8/16)*(8/16)* = E= E= 決策樹學(xué)習(xí)原理簡介 —(ID3, ) 濕度 高 正常 (3+, 4) (6+, 1) S: (9+, 5) 風(fēng) 弱 強(qiáng) (6+, 2) (3+, 3) S: (9+, 5) 問題：哪一個(gè)屬性（特征）更好？ I= I= I= I= Gain(S, 濕度） =（ 7/14).9857/14* = Gain(S, 風(fēng)） =(8/14).811(6/14) = E= E= 決策樹學(xué)習(xí)原理簡介 —(ID3, ) 決策樹的構(gòu)造過程示意 x1 x3 x8 x3 x7 + + + 決策樹學(xué)習(xí) 將樹轉(zhuǎn)化為規(guī)則 ? 將樹轉(zhuǎn)化為規(guī)則集合 ?測(cè)試規(guī)則是否相互矛盾 ? 將規(guī)則排序存儲(chǔ) ?Tree: ?If(陰天） 〉 去打球 ?If（晴天） ?If（風(fēng)速低） 〉 去打球 ?Else 〉 不去打球 決策樹學(xué)習(xí)的常見問題 ?決策樹學(xué)習(xí)的實(shí)際問題 ?確定決策樹增長的深度 ?處理連續(xù)值的屬性 ?選擇一個(gè)適當(dāng)?shù)膶傩院Y選度量標(biāo)準(zhǔn) ?處理屬性值不完整的訓(xùn)練數(shù)據(jù) ?處理不同代價(jià)的屬性
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1