決策樹與隨機森林ppt課件-文庫吧資料
2025-01-12 05:07本頁面
【正文】 投票機制 ? 簡單投票機制 ? 一票否決 (一致表決 ) ? 少數(shù)服從多數(shù) ? 有效多數(shù) (加權(quán) ) ? 閾值表決 ? 貝葉斯投票機制 48/60 貝葉斯投票機制 ? 簡單投票法假設(shè)每個分類器都是平等的。 36/60 Bagging的策略 ? bootstrap aggregation ? 從樣本集中重采樣 (有重復(fù)的 )選出 n個樣本 ? 在所有屬性上，對這 n個樣本建立分類器(ID 、 CART、 SVM、 Logistic回歸等 ) ? 重復(fù)以上兩步 m次，即獲得了 m個分類器 ? 將數(shù)據(jù)放在這 m個分類器上，最后根據(jù)這 m個分類器的投票結(jié)果，決定數(shù)據(jù)屬于哪一類 37/60 Another description of Bagging 38/60 Bagging 39/60 Bagging的結(jié)果 40/60 隨機森林 ? 隨機森林在 bagging基礎(chǔ)上做了修改?！?pull up by your own bootstraps” 即“通過拉靴子讓自己上升”，意思是“不可能發(fā)生的事情”。 ? 剪枝 ? 隨機森林 35/60 Bootstraping ? Bootstraping的名稱來自成語“ pull up by your own bootstraps” ，意思是依靠你自己的資源，稱為自助法，它是一種有放回的抽樣方法。 ? ：信息增益率 gr(D,A) = g(D,A) / H(A) ? CART：基尼指數(shù) ? 總結(jié)：一個屬性的信息增益越大，表明屬性對樣本的熵減少的能力更強，這個屬性使得數(shù)據(jù)由不確定性變成確定性的能力越強。 ? 所以如果是取值更多的屬性，更容易使得數(shù)據(jù)更“純” ，其信息增益更大，決策樹會首先挑選這個屬性作為樹的頂點。記子集 Di中屬于類 Ck的樣本的集合為 Dik， |Dik|為 Dik的樣本個數(shù) 。 Σk|Ck|=|D|。 18/60 基本記號 ? 設(shè)訓(xùn)練數(shù)據(jù)集為 D， |D|表示其容量，即樣本個數(shù)。 ? 信息增益表示得知特征 A的信息而使得類 X的信息的不確定性減少的程度。根據(jù)不同的目標(biāo)函數(shù)，建立決策樹主要有一下三種算法。 ? 從一類無序、無規(guī)則的事物 (概念 )中推理出決策樹表示的分類規(guī)則。在學(xué)習(xí)的過程中，不需要使用者了解過多背景知識，只需要對訓(xùn)練實例進行較好的標(biāo)注，就能夠進行學(xué)習(xí)。 ? 決策樹學(xué)習(xí)采用的是自頂向下的遞歸方法，其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹，到葉子節(jié)點處的熵值為零，此時每個葉節(jié)點中的實例都屬于同一類。 ? I(X,Y)=D(P(X,Y) || P(X)P(Y)) ??yx ypxpyxpyxpYXI, )()(),(lo g),(),(10/60 計算 H(X)I(X,Y) )|()|(l o g),()(),(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g)(),()(,,YXHyxpyxpypyxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpxpYXIXHyxyxyxyxyxx yyxx????????????????????????????? ???11/60 整理得到的等式 ? H(X|Y) = H(X,Y) H(Y) ? 條件熵定義 ? H(X|Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開得到 ? 有些文獻將 I(X,Y)=H(Y) – H(Y|X)作為互信
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1