ch10決策樹(編輯修改稿)
2024-11-04 22:36 本頁面
【文章內容簡介】 14 14 14 14 14I V ag e??? ? ? ? ?????2224 4 6 6 4 4( ) l og l og l og 1. 55 614 14 14 14 14 14I V inc om e??? ? ? ? ?????227 7 7 7( ) l og l og 1. 66 114 14 14 14I V stude nt??? ? ? ?????228 8 6 6( _ ) l og l og 0. 98 514 14 14 14I V c re dit ra ti ng??? ? ? ?????()_ ( ) 56()G ain ag eG ain ratio ag eI V ag e??()_ ( ) ()G ain inc om eG ain rati o inc om eI V inc om e??( _ )_ ( _ ) 49( _ )G ain c re dit ratingG ain ratio c re dit ratingI V c re dit rating??()_ ( ) 0 .0 9 1()G a in stud e n tG a in ra ti o stud e n tI V stud e n t??Gini不純度 ? ：節(jié)點 N上樣本總個數 ? ：其中屬于 類的樣本個數（ i=1,2, …, m ） ? ：屬性 A的第 j個取值（ j=1,2, …, v ） ? 該節(jié)點處的 Gini不純度 ? 屬性 A將 S劃分為 v個子集 ? 中屬于 類的樣本個數為 i?21( ) 1miiSG ini SS????? ?????i?Gini不純度 ? 以 A作為查詢，生長出 v個分支的 Gini不純度 ? 選擇 Gini不純度差最大（即 Gini(A)最小）的屬性作為 N節(jié)點的查詢 21 1 1( ) ( ) 1v v mj j i jjj j i jS S SG i ni A G i ni SS S S? ? ??? ??? ? ????? ? ? ???????? ? ?Gini不純度 ? 例子 2 2 2 2225 2 3 4 4 0( ) 1 114 5 5 14 4 45 3 21 14 5 5G i ni age? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ?? ? ? ?????? ? ? ????????????????????? ? ? ? ?????? ? ? ?? ? ? ?????( ) ?G ini inc o m e ?( ) ?G ini stu d e n t ?( _ ) ?G in i c re d it ra tin g ?分支停止準則 ? 如果決策樹持續(xù)生長，直到所有葉節(jié)點都達到最小不純度為止，那么一般將出現“ 過擬合 ” ? 極端情況：所有葉節(jié)點僅對應一個訓練樣本，這時，決策樹退化為 查找表 ? 如果分支停止過早，則對訓練樣本的擬合較差，導致分類性能較差 ? 常用分支停止準則 ? 交叉驗證 ? 預設一個不純度下降差的閾值 ? 監(jiān)測每個節(jié)點代表的樣本數目是否小于某個閾值 分支停止準則 ? 最小化如下指標 ? 不純度下降的統(tǒng)計顯著分析 ? 如果一個劃分不能顯著降低不純度，則停止分支 正則項 剪枝 ? 剪枝 （ pruning） ? 用于消除過擬合 ? 預剪枝 （ prepruning）和 后剪枝 （ postpruning） ? 預剪枝 即前面提到的分支停止技術，也就是在樹生長到一定條件時停止繼續(xù)劃分 ? 后剪枝 指 首先讓樹充分生長，直到葉節(jié)點具有最小不純度為止，然后對樹進行剪枝 ? 可用交叉驗證技術來確定剪掉哪些分支 ? 剪掉使不純度增長最小的分支 ? 一般來講，后剪枝性能較好，但需要更多計算量 葉節(jié)點的標記 ? 如果葉節(jié)點對應的樣本都來自同一類，則用該類別標記該葉節(jié)點 ? 一般情況下，葉節(jié)點都具有正的不純度，此時用占優(yōu)勢的樣本類別標記該葉節(jié)點 ID3 ? ID3: Interactive Dichotomizer3（交互式二分法第三版） ? 僅僅適用于 標稱（無序）數據 如果涉及實值數據，則需離散化，然后當做標稱數據處理 ? 每個劃分的 分支
教學課件相關推薦
鄂ICP備17016276號-1