決策樹與隨機森林ppt課件-wenkub
2023-01-21 05:07:30 本頁面
【正文】 )|(l o g),()(),(l o g),()(l o g),(),(l o g),()(l o g),(),(l o g),()(l o g)(),(l o g),()(),(8/60 相對熵 ? 相對熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個概率分布，則 p對 q的相對熵是 ? 說明： ? 相對熵可以度量兩個隨機變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導”章節(jié)使用過 ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 9/60 互信息 ? 兩個隨機變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨立分布乘積的相對熵。 4/60 復習：熵 ? 將離散隨機變量 X的概率分布為 P(X=xi)，則定義熵為： ? 若 P為連續(xù)隨機變量，則概率分布變成概率密度函數(shù)，求和符號變成積分符號。決策樹與隨機森林 鄒博 北京 10月機器學習班 amp。 ? 在不引起混淆的情況下，下面談到的“概率分布函數(shù)”，其含義是： ? 若 X為離散隨機變量，則該名稱為 概率分布函數(shù) ； ? 若 X為連續(xù)隨機變量，則該名稱為 概率密度函數(shù) 。 ? I(X,Y)=D(P(X,Y) || P(X)P(Y)) ??yx ypxpyxpyxpYXI, )()(),(lo g),(),(10/60 計算 H(X)I(X,Y) )|()|(l o g),()(),(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g)(),()(,,YXHyxpyxpypyxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpxpYXIXHyxyxyxyxyxx yyxx????????????????????????????? ???11/60 整理得到的等式 ? H(X|Y) = H(X,Y) H(Y) ? 條件熵定義 ? H(X|Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開得到 ? 有些文獻將 I(X,Y)=H(Y) – H(Y|X)作為互信息的定義式 ? 對偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 12/60 強大的 Venn圖：幫助記憶 13/60 決策樹示意圖 14/60 決策樹 (Decision Tree) ? 決策樹是一種樹型結(jié)構(gòu)，其中每個內(nèi)部結(jié)點表示在一個屬性上的測試，每個分支代表一個測試輸出，每個葉結(jié)點代表一種類別。在學習的過程中，不需要使用者了解過多背景知識，只需要對訓練實例進行較好的標注，就能夠進行學習。根據(jù)不同的目標函數(shù)，建立決策樹主要有一下三種算法。 18/60 基本記號 ? 設(shè)訓練數(shù)據(jù)集為 D， |D|表示其容量，即樣本個數(shù)。記子集 Di中屬于類 Ck的樣本的集合為 Dik， |Dik|為 Dik的樣本個數(shù) 。 ? ：信息增益率 gr(D,A) = g(D,A) / H(A) ? CART：基尼指數(shù) ?
教學課件相關(guān)推薦
鄂ICP備17016276號-1