19決策樹(shù)與隨機(jī)森林-文庫(kù)吧在線文庫(kù)
【正文】 取值 {a1,a2…an} ，根據(jù)特征 A的取值將 D劃分為 n個(gè)子集 D1,D2,…Dn,|Di| 為 Di的樣本個(gè)數(shù)， Σi|Di|=D。 15 決策樹(shù)學(xué)習(xí)的生成算法 ? 建立決策樹(shù)的關(guān)鍵，即在當(dāng)前狀態(tài)下選擇哪個(gè)屬性作為分類(lèi)依據(jù)。 5 聯(lián)合熵和條件熵 ? 兩個(gè)隨機(jī)變量 X， Y的聯(lián)合分布，可以形成聯(lián)合熵 Joint Entropy，用 H(X,Y)表示 ? H(X,Y) – H(Y) ? (X,Y)發(fā)生所包含的信息熵，減去 Y單獨(dú)發(fā)生包含的信息熵 ——在 Y發(fā)生的前提下， X發(fā)生“新”帶來(lái)的信息熵 ? 該式子 定義 為 Y發(fā)生前提下， X的熵： ? 條件熵 H(X|Y) = H(X,Y) – H(Y) 6 推導(dǎo)條件熵的定義式 ????? ????????????????????????yxyxyxyxy xyxyyxyxpyxpypyxpyxpypyxpyxpyxpypyxpyxpyxpypypyxpyxpYHYXH,,)|(log),()(),(log),()(log),(),(log),()(log),(),(log),()(log)(),(log),()(),(7 相對(duì)熵 ? 相對(duì)熵，又稱(chēng)互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個(gè)概率分布，則 p對(duì) q的相對(duì)熵是 ? 說(shuō)明： ? 相對(duì)熵可以度量?jī)蓚€(gè)隨機(jī)變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導(dǎo)”章節(jié)使用過(guò) ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 8 互信息 ? 兩個(gè)隨機(jī)變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨(dú)立分布乘積的相對(duì)熵。它和它的源代碼可在其官方網(wǎng)站下載。 ? 決策樹(shù)學(xué)習(xí)采用的是自頂向下的遞歸方法，其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹(shù)，到葉子節(jié)點(diǎn)處的熵值為零，此時(shí)每個(gè)葉節(jié)點(diǎn)中的實(shí)例都屬于同一類(lèi)。 ? 信息增益表示得知特征 A的信息而使得類(lèi) X的信息的不確定性減少的程度。 ? 所以如果是取值更多的屬性，更容易使得數(shù)據(jù)更“純” ，其信息增益更大，決策樹(shù)會(huì)首先挑選這個(gè)屬性作為樹(shù)的頂點(diǎn)。 35 Bagging的策略 ? bootstrap aggregation ? 從樣本集中重采樣 (有重復(fù)的 )選出 n個(gè)樣本 ? 在所有屬性上，對(duì)這 n個(gè)樣本建立分類(lèi)器(ID 、 CART、 SVM、 Logistic回歸等 ) ? 重復(fù)以上兩步 m次，即獲得了 m個(gè)分類(lèi)器 ? 將數(shù)據(jù)放在這 m個(gè)分類(lèi)器上，最后根據(jù)這 m個(gè)分類(lèi)器的投票結(jié)果，決定數(shù)據(jù)屬于哪一類(lèi) 36 Another description of Bagging 37 Bagging 38 Bagging的結(jié)果 39 隨機(jī)森林 ? 隨機(jī)森林在 bagging基礎(chǔ)上做了修改。如果一個(gè)實(shí)例是正類(lèi)并且也被 預(yù)測(cè)成正類(lèi)，即為真正類(lèi) (True positive),如果實(shí)例是負(fù)類(lèi)被預(yù)測(cè)成正類(lèi)，稱(chēng)之為假正類(lèi) (False positive)。 ? 如果一條 ROC曲線是經(jīng)過(guò) (0,0)和 (1,1)的直線，則該分類(lèi)器為隨機(jī)猜測(cè)分類(lèi)器。 ? 根據(jù)不同的閾值，將離散點(diǎn) (TPR,FPR)繪制成曲線，就得到 ROC曲線，可以用于評(píng)價(jià)一個(gè)分類(lèi)器。 ? 貝葉斯投票機(jī)制基于每個(gè)基本分類(lèi)器在過(guò)去的分類(lèi)表現(xiàn)設(shè)定一個(gè)權(quán)值，然后按照這個(gè)權(quán)值進(jìn)行投票。 ? 剪枝 ? 隨機(jī)森林 34
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1