決策樹(shù)--(ppt66頁(yè))-閱讀頁(yè)
2025-02-01 17:54本頁(yè)面
【正文】 復(fù)雜度剪枝 ) 該算法為子樹(shù) Tt定義了代價(jià)（ cost）和復(fù)雜度（ plexity），以及一個(gè)可由用戶設(shè)置的衡量代價(jià)與復(fù)雜度之間關(guān)系的參數(shù) α ，其中，代價(jià)指在剪枝過(guò)程中因子樹(shù) Tt被葉節(jié)點(diǎn)替代而增加的錯(cuò)分樣本，復(fù)雜度表示剪枝后子樹(shù) Tt減少的葉結(jié)點(diǎn)數(shù)， α 則表示剪枝后樹(shù)的復(fù)雜度降低程度與代價(jià)間的關(guān)系，定義為 其中， |N1|：子樹(shù) Tt中的葉節(jié)點(diǎn)數(shù)； R（ t）：結(jié)點(diǎn) t的錯(cuò)誤代價(jià)，計(jì)算公式為 R（ t） =r（ t） *p（ t）， r（ t）為結(jié)點(diǎn) t的錯(cuò)分樣本率， p（ t）為落入結(jié)點(diǎn) t的樣本占所有樣本 的比例； R（ Tt）：子樹(shù) Tt錯(cuò)誤代價(jià)，計(jì)算公式為 R（ Tt） =∑R(i) ， i為子樹(shù) Tt的葉節(jié)點(diǎn)。在該步可得到一系列的剪枝樹(shù)｛ T0， T1，T2......Tm｝ ,其中 T0為原有的完全決策樹(shù)， Tm為根結(jié)點(diǎn)， Ti+1為對(duì) Ti進(jìn)行剪枝的結(jié)果； ，根據(jù)真實(shí)的誤差估計(jì)選擇最佳決策樹(shù)。方法為，假定一個(gè)含有 N＇ 個(gè)樣本的剪枝集，分別用在步驟 1中產(chǎn)生的剪枝樹(shù) Ti對(duì)該剪枝集進(jìn)行分類(lèi)，記 Ti所有葉結(jié)點(diǎn)上長(zhǎng)生的錯(cuò)分樣本數(shù)為 Ei，令 E＇ =min｛ Ei｝，定義 E＇ 的標(biāo)準(zhǔn)錯(cuò)誤為： ，所得的最佳剪枝樹(shù) Tbest是滿足條件 Ei≤E ＇ +SE（ E＇ ）且包含的接點(diǎn)數(shù)最少的那棵剪枝樹(shù) Ti。39。39。 )()(SENENEE ???? 幾種后剪枝方法的比較 REP PEP CCP 剪枝方式 自底向上 自頂向下 自底向上 是否需要獨(dú)立剪枝集 需要 不需要 不需要 誤差估計(jì) 剪枝集上的誤差估計(jì) 使用連續(xù)校正 標(biāo)準(zhǔn)誤差 計(jì)算復(fù)雜度 O(n) O(n) O(n2) CART（分類(lèi)與回歸樹(shù)）算法 ?CART同樣由 特征選擇 、 樹(shù)的生成 及 剪枝 組成，既可以用于分類(lèi)也可以用于回歸。 這樣的決策樹(shù)等價(jià)于遞歸地二分每個(gè)特征。 CART生成 ? 決策樹(shù)的生成就是遞歸地構(gòu)建二叉決策樹(shù)的過(guò)程。 最開(kāi)始我們可以按： 表面覆蓋為毛發(fā)與非毛發(fā) 表面覆蓋為鱗片與非鱗片 恒溫與非恒溫 來(lái)產(chǎn)生當(dāng)前結(jié)點(diǎn)的左右兩個(gè)孩子。 GINI指數(shù) ? CART剪枝 ? 實(shí)驗(yàn)結(jié)果 UCI\method\precision iris wine Breastcancer 感知機(jī) 100% KNN 88% % 樸素貝葉斯 % % % 決策樹(shù) 100% % % 解決決策樹(shù)過(guò)擬合的另一種方法 ——隨機(jī)森林 Bootstraping Bootstraping的名稱(chēng)來(lái)自成語(yǔ)“ pull up by your own bootstraps” ，意思是依靠你自己的資源，稱(chēng)為自助法，它是一種有放回的抽樣方法。“ pull up by your own bootstraps” 即“通過(guò)拉靴子讓自己上升”，意思是“不可能發(fā)生的事情”。 優(yōu)點(diǎn)：可以產(chǎn)生高準(zhǔn)確度的分類(lèi)器 解決決策樹(shù)過(guò)擬合的另一種方法 ——隨機(jī)森林 隨機(jī)森林在 bagging基礎(chǔ)上做了修改。 回歸問(wèn)題 下圖離散點(diǎn)是樣本集合，描述了臭氧 (橫軸 )和溫度 (縱軸 )的關(guān)系，試擬合二者的變化曲線 使用 Bagging 記原始數(shù)據(jù)為 D，長(zhǎng)度為N(即圖中有 N個(gè)離散點(diǎn) ) ? 算法過(guò)程 ?做 100次 bootstrap，每次得到的數(shù)據(jù) Di，Di的長(zhǎng)度為 N ?對(duì)于每一個(gè) Di，使用 局部回歸 (LOESS)擬合一條曲線 (圖中灰色線是其中的 10條曲線 ) ?將這些曲線取平均，即得到紅色的最終擬合曲線 ?顯然，紅色的曲線更加穩(wěn)定， 并且沒(méi)有明顯過(guò)擬合 投票機(jī)制 ? 簡(jiǎn)單投票機(jī)制 ? 一票否決 (一致表決 ) ? 少數(shù)服從多數(shù) ? 有效多數(shù) (加權(quán) ) ? 閾值表決 ? 貝葉斯投票機(jī)制 貝葉斯投票機(jī)制 ? 簡(jiǎn)單投票法假設(shè)每個(gè)分類(lèi)器都是平等的。 ? 貝葉斯投票機(jī)制基于每個(gè)基本分類(lèi)器在過(guò)去的分類(lèi)表現(xiàn)設(shè)定一個(gè)權(quán)值，然后按照這個(gè)權(quán)值進(jìn)行投票。 ? 如何根據(jù)用戶投票，對(duì)電影排序？ ? 本質(zhì)仍然是分類(lèi)問(wèn)題：對(duì)于某個(gè)電影，有 N個(gè)決策樹(shù)，每個(gè)決策樹(shù)對(duì)該電影有 1個(gè)分類(lèi) ( 5類(lèi) )，求這個(gè)電影應(yīng)該屬于哪一類(lèi) (可以是小數(shù)：分類(lèi)問(wèn)題變成了回歸問(wèn)題 ) 一種可能的方案 ? WR：加權(quán)得分 (weighted rating) ? R：該電影的用戶投票的平均得分 (Rating) ? C：所有電影的平均得分 ? v：該電影的投票人數(shù) (votes) ? m：排名前 250名的電影的最低投票數(shù) ? 根據(jù)總投票人數(shù)， 250可能有所調(diào)整 ? 按照 v=0和 m=0分別分析 演講完畢，謝謝觀看！
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1