決策樹與隨機(jī)森林ppt課件-wenkub
2023-01-21 05:07:30 本頁面
【正文】 )|(l o g),()(),(l o g),()(l o g),(),(l o g),()(l o g),(),(l o g),()(l o g)(),(l o g),()(),(8/60 相對(duì)熵 ? 相對(duì)熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個(gè)概率分布，則 p對(duì) q的相對(duì)熵是 ? 說明： ? 相對(duì)熵可以度量?jī)蓚€(gè)隨機(jī)變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導(dǎo)”章節(jié)使用過 ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 9/60 互信息 ? 兩個(gè)隨機(jī)變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨(dú)立分布乘積的相對(duì)熵。 4/60 復(fù)習(xí)：熵 ? 將離散隨機(jī)變量 X的概率分布為 P(X=xi)，則定義熵為： ? 若 P為連續(xù)隨機(jī)變量，則概率分布變成概率密度函數(shù)，求和符號(hào)變成積分符號(hào)。決策樹與隨機(jī)森林 鄒博 北京 10月機(jī)器學(xué)習(xí)班 amp。 ? 在不引起混淆的情況下，下面談到的“概率分布函數(shù)”，其含義是： ? 若 X為離散隨機(jī)變量，則該名稱為 概率分布函數(shù) ； ? 若 X為連續(xù)隨機(jī)變量，則該名稱為 概率密度函數(shù) 。 ? I(X,Y)=D(P(X,Y) || P(X)P(Y)) ??yx ypxpyxpyxpYXI, )()(),(lo g),(),(10/60 計(jì)算 H(X)I(X,Y) )|()|(l o g),()(),(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g),()()(),(l o g),()(l o g)(),()(,,YXHyxpyxpypyxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpxpYXIXHyxyxyxyxyxx yyxx????????????????????????????? ???11/60 整理得到的等式 ? H(X|Y) = H(X,Y) H(Y) ? 條件熵定義 ? H(X|Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開得到 ? 有些文獻(xiàn)將 I(X,Y)=H(Y) – H(Y|X)作為互信息的定義式 ? 對(duì)偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻(xiàn)將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 12/60 強(qiáng)大的 Venn圖：幫助記憶 13/60 決策樹示意圖 14/60 決策樹 (Decision Tree) ? 決策樹是一種樹型結(jié)構(gòu)，其中每個(gè)內(nèi)部結(jié)點(diǎn)表示在一個(gè)屬性上的測(cè)試，每個(gè)分支代表一個(gè)測(cè)試輸出，每個(gè)葉結(jié)點(diǎn)代表一種類別。在學(xué)習(xí)的過程中，不需要使用者了解過多背景知識(shí)，只需要對(duì)訓(xùn)練實(shí)例進(jìn)行較好的標(biāo)注，就能夠進(jìn)行學(xué)習(xí)。根據(jù)不同的目標(biāo)函數(shù)，建立決策樹主要有一下三種算法。 18/60 基本記號(hào) ? 設(shè)訓(xùn)練數(shù)據(jù)集為 D， |D|表示其容量，即樣本個(gè)數(shù)。記子集 Di中屬于類 Ck的樣本的集合為 Dik， |Dik|為 Dik的樣本個(gè)數(shù) 。 ? ：信息增益率 gr(D,A) = g(D,A) / H(A) ? CART：基尼指數(shù) ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1