數(shù)據(jù)分類-決策樹(ppt71頁)-資料下載頁
2025-03-09 11:30本頁面
【正文】 6 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 0))10(log10)11(log11()(log),(22211212111?????? ??jjj ppnnI))135(log135)138(log138()(log),(22212222212?????? ??jjj ppnnI14130141),()( 2121211??????? ??sssss nnItot alnnAE變化三：處理連續(xù)值的訓(xùn)練樣本（ 4/10） ?解： ? 第 1步，計算 vi=65時的信息增益比 62 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 1413log1413141log141)(log)(222121?????? ??ssstot alntot alnAspl it)()()(_1111???Aspli tAGainArati oGainX 所得的信息增益比為：劃分在分割點變化三：處理連續(xù)值的訓(xùn)練樣本（ 5/10） ?解： ? 第 2步，計算 vi=70時的信息增益比 63 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 ))145(log145)149(log149())((log)(),(2221221?????? ??jjjcPcPnnI變化三：處理連續(xù)值的訓(xùn)練樣本（ 6/10） ?解： ? 第 2步，計算 vi=70時的信息增益比 64 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 ))41(log41)43(log43()(log),(22211212111?????? ??jjj ppnnI))104(log104)106(log106()(log),(22212222212?????? ??jjj ppnnI1410144),()( 2121211??????? ??sssss nnItot alnnAE變化三：處理連續(xù)值的訓(xùn)練樣本（ 7/10） ?解： ? 第 2步，計算 vi=70時的信息增益比 65 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 1410log1410144log144)(log)(222121?????? ??ssstot alntot alnAspl it)()()(_1111???Aspli tAGainArati oGainX 所得的信息增益比為：劃分在分割點變化三：處理連續(xù)值的訓(xùn)練樣本（ 8/10） ?解： ? 第 3步，計算 vi=75時的信息增益比 66 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 ))145(log145)149(log149())((log)(),(2221221?????? ??jjjcPcPnnI變化三：處理連續(xù)值的訓(xùn)練樣本（ 9/10） ?解： ? 第 3步，計算 vi=75時的信息增益比 67 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 ))51(log51)54(log54()(log),(22211212111?????? ??jjj ppnnI))94(log94)95(log95()(log),(22212222212?????? ??jjj ppnnI149145),()( 2121211??????? ??sssss nnItot alnnAE變化三：處理連續(xù)值的訓(xùn)練樣本（ 10/10） ?解： ? 第 3步，計算 vi=75時的信息增益比 68 A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 149log149145log145)(log)(222121?????? ??ssstot alntot alnAspl it)()()(_1111???Aspli tAGainArati oGainX 所得的信息增益比為：劃分在分割點過擬合現(xiàn)象（ Overfitting） 噪聲引起分類面扭曲 數(shù)據(jù)缺失，使得決策樹使用其它分類任務(wù)的預(yù)測值進行分類 ?分支太多，由噪聲或孤立點產(chǎn)生異常 ?分類未見數(shù)據(jù)時精度低 剪枝方法處理過擬合 ?前剪枝 (Early Stopping Rule) ? 在生成完全樹之前中止 ? 典型的中止條件 : ? 所有的樣本屬于同一類 ? 所有的屬性值相同 ? 更嚴(yán)格的條件 : ? 當(dāng)樹的深度達到用戶給定閾值時 ? 樣本數(shù)少于用戶指定的數(shù)量 ? 樣本的類分布獨立于已知特征 (., using ? 2 test) ? 如果繼續(xù)劃分當(dāng)前節(jié)點并不會改善不純度 (., Gini or information gain). 剪枝方法處理過擬合 ?后剪枝 ? 在生成完全樹之后處理 ? 以自底向上的方式修剪節(jié)點 ? 如果修建后改善了泛化誤差，則以葉節(jié)點代替子樹 ? 葉節(jié)點的類標(biāo)號以子樹中大多數(shù)樣本的標(biāo)號代替 ? 可以使用 MDL 實現(xiàn)后剪枝
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1