決策樹與隨機(jī)森林ppt課件(完整版)
【正文】 ,()(l o g),(),(l o g),()(l o g),(),(l o g),()(l o g)(),(l o g),()(),(8/60 相對熵 ? 相對熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個概率分布，則 p對 q的相對熵是 ? 說明： ? 相對熵可以度量兩個隨機(jī)變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導(dǎo)”章節(jié)使用過 ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 9/60 互信息 ? 兩個隨機(jī)變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨立分布乘積的相對熵。決策樹與隨機(jī)森林 鄒博 北京 10月機(jī)器學(xué)習(xí)班 amp。 ? I(X,Y)=D(P(X,Y) || P(X)P(Y)) ??yx ypxpyxpyxpYXI, )()(),(lo g),(),(10/60 計算 H(X)I(X,Y) )|()|(l o g),()(),(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g)(),()(,,YXHyxpyxpypyxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpxpYXIXHyxyxyxyxyxx yyxx????????????????????????????? ???11/60 整理得到的等式 ? H(X|Y) = H(X,Y) H(Y) ? 條件熵定義 ? H(X|Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開得到 ? 有些文獻(xiàn)將 I(X,Y)=H(Y) – H(Y|X)作為互信息的定義式 ? 對偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻(xiàn)將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 12/60 強(qiáng)大的 Venn圖：幫助記憶 13/60 決策樹示意圖 14/60 決策樹 (Decision Tree) ? 決策樹是一種樹型結(jié)構(gòu)，其中每個內(nèi)部結(jié)點表示在一個屬性上的測試，每個分支代表一個測試輸出，每個葉結(jié)點代表一種類別。根據(jù)不同的目標(biāo)函數(shù)，建立決策樹主要有一下三種算法。記子集 Di中屬于類 Ck的樣本的集合為 Dik， |Dik|為 Dik的樣本個數(shù) ?！?pull up by your own bootstraps” 即“通過拉靴子讓自己上升”，意思是“不可能發(fā)生的事情”。 ? 如何根據(jù)用戶投票，對電影排序？ ? 本質(zhì)仍然是分類問題：對于某個電影，有 N個決策樹，每個決策樹對該電影有 1個分類 ( 5類 )，求這個電影應(yīng)該屬于哪一類 (可以是小數(shù)：分類問題變成了回歸問題 ) 50/60 一種可能的方案 ? WR：加權(quán)得分 (weighted rating) ? R：該電影的用戶投票的平均得分 (Rating) ? C：所有電影的平均得分 ? v：該電影的投票人數(shù) (votes) ? m：排名前 250名的電影的最低投票數(shù) ? 根據(jù)總投票人數(shù)， 250可能有所調(diào)整 ? 按照 v=0和 m=0分別分析 51/60 評價指標(biāo) ? 以
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1