19決策樹與隨機森林-文庫吧在線文庫
【正文】 取值 {a1,a2…an} ，根據(jù)特征 A的取值將 D劃分為 n個子集 D1,D2,…Dn,|Di| 為 Di的樣本個數(shù)， Σi|Di|=D。 15 決策樹學習的生成算法 ? 建立決策樹的關(guān)鍵，即在當前狀態(tài)下選擇哪個屬性作為分類依據(jù)。 5 聯(lián)合熵和條件熵 ? 兩個隨機變量 X， Y的聯(lián)合分布，可以形成聯(lián)合熵 Joint Entropy，用 H(X,Y)表示 ? H(X,Y) – H(Y) ? (X,Y)發(fā)生所包含的信息熵，減去 Y單獨發(fā)生包含的信息熵 ——在 Y發(fā)生的前提下， X發(fā)生“新”帶來的信息熵 ? 該式子 定義 為 Y發(fā)生前提下， X的熵： ? 條件熵 H(X|Y) = H(X,Y) – H(Y) 6 推導條件熵的定義式 ????? ????????????????????????yxyxyxyxy xyxyyxyxpyxpypyxpyxpypyxpyxpyxpypyxpyxpyxpypypyxpyxpYHYXH,,)|(log),()(),(log),()(log),(),(log),()(log),(),(log),()(log)(),(log),()(),(7 相對熵 ? 相對熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個概率分布，則 p對 q的相對熵是 ? 說明： ? 相對熵可以度量兩個隨機變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導”章節(jié)使用過 ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 8 互信息 ? 兩個隨機變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨立分布乘積的相對熵。它和它的源代碼可在其官方網(wǎng)站下載。 ? 決策樹學習采用的是自頂向下的遞歸方法，其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹，到葉子節(jié)點處的熵值為零，此時每個葉節(jié)點中的實例都屬于同一類。 ? 信息增益表示得知特征 A的信息而使得類 X的信息的不確定性減少的程度。 ? 所以如果是取值更多的屬性，更容易使得數(shù)據(jù)更“純” ，其信息增益更大，決策樹會首先挑選這個屬性作為樹的頂點。 35 Bagging的策略 ? bootstrap aggregation ? 從樣本集中重采樣 (有重復的 )選出 n個樣本 ? 在所有屬性上，對這 n個樣本建立分類器(ID 、 CART、 SVM、 Logistic回歸等 ) ? 重復以上兩步 m次，即獲得了 m個分類器 ? 將數(shù)據(jù)放在這 m個分類器上，最后根據(jù)這 m個分類器的投票結(jié)果，決定數(shù)據(jù)屬于哪一類 36 Another description of Bagging 37 Bagging 38 Bagging的結(jié)果 39 隨機森林 ? 隨機森林在 bagging基礎(chǔ)上做了修改。如果一個實例是正類并且也被 預測成正類，即為真正類 (True positive),如果實例是負類被預測成正類，稱之為假正類 (False positive)。 ? 如果一條 ROC曲線是經(jīng)過 (0,0)和 (1,1)的直線，則該分類器為隨機猜測分類器。 ? 根據(jù)不同的閾值，將離散點 (TPR,FPR)繪制成曲線，就得到 ROC曲線，可以用于評價一個分類器。 ? 貝葉斯投票機制基于每個基本分類器在過去的分類表現(xiàn)設(shè)定一個權(quán)值，然后按照這個權(quán)值進行投票。 ? 剪枝 ? 隨機森林 34
化學相關(guān)推薦
鄂ICP備17016276號-1