ch10決策樹(文件)
【正文】 ain c re dit ratingG ain ratio c re dit ratingI V c re dit rating??()_ ( ) 0 .0 9 1()G a in stud e n tG a in ra ti o stud e n tI V stud e n t??Gini不純度 ? ：節(jié)點 N上樣本總個數(shù) ? ：其中屬于 類的樣本個數(shù)（ i=1,2, …, m ） ? ：屬性 A的第 j個取值（ j=1,2, …, v ） ? 該節(jié)點處的 Gini不純度 ? 屬性 A將 S劃分為 v個子集 ? 中屬于 類的樣本個數(shù)為 i?21( ) 1miiSG ini SS????? ?????i?Gini不純度 ? 以 A作為查詢，生長出 v個分支的 Gini不純度 ? 選擇 Gini不純度差最大（即 Gini(A)最?。┑膶傩宰鳛?N節(jié)點的查詢 21 1 1( ) ( ) 1v v mj j i jjj j i jS S SG i ni A G i ni SS S S? ? ??? ??? ? ????? ? ? ???????? ? ?Gini不純度 ? 例子 2 2 2 2225 2 3 4 4 0( ) 1 114 5 5 14 4 45 3 21 14 5 5G i ni age? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ?? ? ? ?????? ? ? ????????????????????? ? ? ? ?????? ? ? ?? ? ? ?????( ) ?G ini inc o m e ?( ) ?G ini stu d e n t ?( _ ) ?G in i c re d it ra tin g ?分支停止準(zhǔn)則 ? 如果決策樹持續(xù)生長，直到所有葉節(jié)點都達(dá)到最小不純度為止，那么一般將出現(xiàn)“ 過擬合 ” ? 極端情況：所有葉節(jié)點僅對應(yīng)一個訓(xùn)練樣本，這時，決策樹退化為 查找表 ? 如果分支停止過早，則對訓(xùn)練樣本的擬合較差，導(dǎo)致分類性能較差 ? 常用分支停止準(zhǔn)則 ? 交叉驗證 ? 預(yù)設(shè)一個不純度下降差的閾值 ? 監(jiān)測每個節(jié)點代表的樣本數(shù)目是否小于某個閾值 分支停止準(zhǔn)則 ? 最小化如下指標(biāo) ? 不純度下降的統(tǒng)計顯著分析 ? 如果一個劃分不能顯著降低不純度，則停止分支 正則項 剪枝 ? 剪枝 （ pruning） ? 用于消除過擬合 ? 預(yù)剪枝 （ prepruning）和 后剪枝 （ postpruning） ? 預(yù)剪枝 即前面提到的分支停止技術(shù)，也就是在樹生長到一定條件時停止繼續(xù)劃分 ? 后剪枝 指 首先讓樹充分生長，直到葉節(jié)點具有最小不純度為止，然后對樹進(jìn)行剪枝 ? 可用交叉驗證技術(shù)來確定剪掉哪些分支 ? 剪掉使不純度增長最小的分支 ? 一般來講，后剪枝性能較好，但需要更多計算量 葉節(jié)點的標(biāo)記 ? 如果葉節(jié)點對應(yīng)的樣本都來自同一類，則用該類別標(biāo)記該葉節(jié)點 ? 一般情況下，葉節(jié)點都具有正的不純度，此時用占優(yōu)勢的樣本類別標(biāo)記該葉節(jié)點 ID3 ? ID3: Interactive Dichotomizer3（交互式二分法第三版） ? 僅僅適用于 標(biāo)稱（無序）數(shù)據(jù) 如果涉及實值數(shù)據(jù)，則需離散化，然后當(dāng)做標(biāo)稱數(shù)據(jù)處理 ? 每個劃分的 分支因子 等于查詢屬性的取值個數(shù) ? 采用 信息增益率 作為選擇查詢的依據(jù) ? 算法直到所有葉節(jié)點的 不純度最小 ，或者沒有可用于劃分的屬性時停止 ? 標(biāo)準(zhǔn)版中無 剪枝 步驟 ? : ID3算法的后繼和改進(jìn) ? 可以處理 實值數(shù)據(jù) ? 每個劃分的 分支因子 等于查詢屬性的取值個數(shù) ? 采用 信息增益率 作為選擇查詢的依據(jù) ? 首先讓樹充分生長，然后利用分支的 統(tǒng)計顯著性來實現(xiàn)剪枝 ? Ch 11. 聚類 無監(jiān)督學(xué)習(xí) ? 有監(jiān)督 （ supervised）學(xué)習(xí) ? 訓(xùn)練集中每個樣本都有一個類別標(biāo)記 ? 所有類別事先已知 ? 常用于：分類、回歸 ? 無監(jiān)督 （ unsupervised）學(xué)習(xí) ? 訓(xùn)練集中樣本的類別標(biāo)記未知 ? 給定一組樣本，發(fā)現(xiàn)其內(nèi)在性質(zhì)，如類別和聚類 ? 常用于：聚類、概率密度估計 無監(jiān)督學(xué)習(xí)的動機(jī) ? 收集并且標(biāo)記大量模式往往花費
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1