【正文】 Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開(kāi)得到 ? 有些文獻(xiàn)將 I(X,Y)=H(Y) – H(Y|X)作為互信息的定義式 ? 對(duì)偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻(xiàn)將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 12/60 強(qiáng)大的 Venn圖：幫助記憶 13/60 決策樹(shù)示意圖 14/60 決策樹(shù) (Decision Tree) ? 決策樹(shù)是一種樹(shù)型結(jié)構(gòu)，其中每個(gè)內(nèi)部結(jié)點(diǎn)表示在一個(gè)屬性上的測(cè)試，每個(gè)分支代表一個(gè)測(cè)試輸出，每個(gè)葉結(jié)點(diǎn)代表一種類別。 6/60 聯(lián)合熵和條件熵 ? 兩個(gè)隨機(jī)變量 X， Y的聯(lián)合分布，可以形成聯(lián)合熵 Joint Entropy，用 H(X,Y)表示 ? H(X,Y) – H(Y) ? (X,Y)發(fā)生所包含的信息熵，減去 Y單獨(dú)發(fā)生包含的信息熵 ——在 Y發(fā)生的前提下， X發(fā)生“新”帶來(lái)的信息熵 ? 該式子 定義 為 Y發(fā)生前提下， X的熵： ? 條件熵 H(X|Y) = H(X,Y) – H(Y) 7/60 推導(dǎo)條件熵的定義式 ????? ????????????????????????yxyxyxyxy xyxyyxyxpyxpypyxpyxpypyxpyxpyxpypyxpyxpyxpypypyxpyxpYHYXH,,)|(l o g),()(),(l o g),()(l o g),(),(l o g),()(l o g),(),(l o g),()(l o g)(),(l o g),()(),(8/60 相對(duì)熵 ? 相對(duì)熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個(gè)概率分布，則 p對(duì) q的相對(duì)熵是 ? 說(shuō)明： ? 相對(duì)熵可以度量?jī)蓚€(gè)隨機(jī)變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導(dǎo)”章節(jié)使用過(guò) ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 9/60 互信息 ? 兩個(gè)隨機(jī)變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨(dú)立分布乘積的相對(duì)熵。設(shè)特征 A有n個(gè)不同的取值 {a1,a2…an} ，根據(jù)特征 A的取值將 D劃分為 n個(gè)子集 D1,D2,…Dn,|Di| 為 Di的樣本個(gè)數(shù)， Σi|Di|=D。 49/60 投票機(jī)制舉例 ? 假定有 N個(gè)用戶可以為 X個(gè)電影投票 (假定投票者不能給同一電影重復(fù)投票 )，投票有 5星共 5檔。 ? 如果 X并不總是位于 Y的左上側(cè)，可以使用 ROC曲線下方的面積作為度量，即： AUC值。 ? 從樣本集中用 Bootstrap采樣選出 n個(gè)樣本； ? 從所有屬性中隨機(jī)選擇 k個(gè)屬性，選擇最佳分割屬性作為節(jié)點(diǎn)建立 CART決策樹(shù)； ? 重復(fù)以上兩步 m次，即建立了 m棵 CART決策樹(shù) ? 這 m個(gè) CART形成隨機(jī)森林，通過(guò)投票表決結(jié)果，決定數(shù)據(jù)屬于哪一類 41/60 應(yīng)用實(shí)例： Kinect RealTime Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton etc,2022, 42/60 隨機(jī)森林 /Bagging和決策樹(shù)的關(guān)系 ? 當(dāng)然可以使用決策樹(shù)作為基本分類器 ? 但也可以使用 SVM、 Logistic回歸等其他分類器，習(xí)