決策樹學(xué)習(xí)講義(編輯修改稿)
2025-02-01 19:42 本頁面
【文章內(nèi)容簡(jiǎn)介】 =(8/16)*(8/16)* = E= E= 決策樹學(xué)習(xí)原理簡(jiǎn)介 —(ID3, ) 濕度 高 正常 (3+, 4) (6+, 1) S: (9+, 5) 風(fēng) 弱 強(qiáng) (6+, 2) (3+, 3) S: (9+, 5) 問題：哪一個(gè)屬性（特征）更好？ I= I= I= I= Gain(S, 濕度） =（ 7/14).9857/14* = Gain(S, 風(fēng)） =(8/14).811(6/14) = E= E= 決策樹學(xué)習(xí)原理簡(jiǎn)介 —(ID3, ) 決策樹的構(gòu)造過程示意 x1 x3 x8 x3 x7 + + + 決策樹學(xué)習(xí) 將樹轉(zhuǎn)化為規(guī)則 ? 將樹轉(zhuǎn)化為規(guī)則集合 ?測(cè)試規(guī)則是否相互矛盾 ? 將規(guī)則排序存儲(chǔ) ?Tree: ?If(陰天） 〉 去打球 ?If（晴天） ?If（風(fēng)速低） 〉 去打球 ?Else 〉 不去打球 決策樹學(xué)習(xí)的常見問題 ?決策樹學(xué)習(xí)的實(shí)際問題 ?確定決策樹增長(zhǎng)的深度 ?處理連續(xù)值的屬性 ?選擇一個(gè)適當(dāng)?shù)膶傩院Y選度量標(biāo)準(zhǔn) ?處理屬性值不完整的訓(xùn)練數(shù)據(jù) ?處理不同代價(jià)的屬性 ?提高計(jì)算效率 ?針對(duì)這些問題， ID3被擴(kuò)展成 決策樹學(xué)習(xí)及 overfitting 看看天氣 看看濕度 陽光明媚 下雨 看看風(fēng)速 高 正常 不去打球 去打球 大 小 不去打球 去打球 去打球 陰天 1 晴天 炎熱 高 強(qiáng) 去打球 增加一個(gè)錯(cuò)誤樣本 決策樹學(xué)習(xí)及 overfitting ? 過度擬合 ?對(duì)于一個(gè)假設(shè)，當(dāng)存在其他的假設(shè)對(duì)訓(xùn)練樣例的擬合比它差，但事實(shí)上在實(shí)例的整個(gè)分布上表現(xiàn)得卻更好時(shí)，我們說這個(gè)假設(shè)過度擬合訓(xùn)練樣例 ?定義：給定一個(gè)假設(shè)空間 H，一個(gè)假設(shè) h?H，如果存在其他的假設(shè) h’?H，使得在訓(xùn)練樣例上 h的錯(cuò)誤率比 h’小，但在整個(gè)實(shí)例分布上 h’的錯(cuò)誤率比 h小，那么就說假設(shè) h過度擬合訓(xùn)練數(shù)據(jù)。 決策樹學(xué)習(xí)及 overfitting ?導(dǎo)致過度擬合的原因 ?一種可能原因是訓(xùn)練樣例含有隨機(jī)錯(cuò)誤或噪聲 ?當(dāng)訓(xùn)練數(shù)據(jù)沒有噪聲時(shí)，過度擬合也有可能發(fā)生，特別是當(dāng)少量的樣例被關(guān)聯(lián)到葉子節(jié)點(diǎn)時(shí)，很可能出現(xiàn)巧合的規(guī)律性，使得一些屬性恰巧可以很好地分割樣例，但卻與實(shí)際的目標(biāo)函數(shù)并無關(guān)系。 決策樹學(xué)習(xí)及 overfitting 假設(shè) 在訓(xùn)練樣本集合上的錯(cuò)誤率為 39。( ) ( )tra in tra ine rror h e rror h?樣本集合上的真實(shí)錯(cuò)誤率為 ()Derror h訓(xùn)練結(jié)果 在如下情況下即會(huì)產(chǎn)生過擬合 39。( ) ( )DDe rror h e rror h?h決策樹學(xué)習(xí)及 overfitting 決策樹學(xué)習(xí)及 overfitting 避免過擬合的方法 ?如果對(duì)數(shù)據(jù)劃分沒有明顯好處的屬性不選擇，同時(shí)不再將決策數(shù)細(xì)分 ?構(gòu)建完成整個(gè)樹以后進(jìn)行剪枝” Prune” ?在訓(xùn)練數(shù)據(jù)上測(cè)量性能 ?在交叉驗(yàn)證數(shù)據(jù)上測(cè)量性能 ?MDL Minmize (Size(tree)+Size(misclassifications(tree)) 決策樹學(xué)習(xí)及 overfitting 避免過擬合的方法 ? 評(píng)估所生成的新節(jié)點(diǎn)對(duì)于 Validation 數(shù)據(jù)集合的性能 ?生成一些節(jié)點(diǎn)很少但是性能很好的“ Subtree” 決策樹學(xué)習(xí)及 overfitting ?避免過度擬合的方法 ?及早停止樹增長(zhǎng)
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1