【正文】 Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開得到 ? 有些文獻(xiàn)將 I(X,Y)=H(Y) – H(Y|X)作為互信息的定義式 ? 對偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻(xiàn)將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 12/60 強大的 Venn圖：幫助記憶 13/60 決策樹示意圖 14/60 決策樹 (Decision Tree) ? 決策樹是一種樹型結(jié)構(gòu)，其中每個內(nèi)部結(jié)點表示在一個屬性上的測試，每個分支代表一個測試輸出，每個葉結(jié)點代表一種類別。 6/60 聯(lián)合熵和條件熵 ? 兩個隨機(jī)變量 X， Y的聯(lián)合分布，可以形成聯(lián)合熵 Joint Entropy，用 H(X,Y)表示 ? H(X,Y) – H(Y) ? (X,Y)發(fā)生所包含的信息熵，減去 Y單獨發(fā)生包含的信息熵 ——在 Y發(fā)生的前提下， X發(fā)生“新”帶來的信息熵 ? 該式子 定義 為 Y發(fā)生前提下， X的熵： ? 條件熵 H(X|Y) = H(X,Y) – H(Y) 7/60 推導(dǎo)條件熵的定義式 ????? ????????????????????????yxyxyxyxy xyxyyxyxpyxpypyxpyxpypyxpyxpyxpypyxpyxpyxpypypyxpyxpYHYXH,,)|(l o g),()(),(l o g),()(l o g),(),(l o g),()(l o g),(),(l o g),()(l o g)(),(l o g),()(),(8/60 相對熵 ? 相對熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個概率分布，則 p對 q的相對熵是 ? 說明： ? 相對熵可以度量兩個隨機(jī)變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導(dǎo)”章節(jié)使用過 ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 9/60 互信息 ? 兩個隨機(jī)變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨立分布乘積的相對熵。設(shè)特征 A有n個不同的取值 {a1,a2…an} ，根據(jù)特征 A的取值將 D劃分為 n個子集 D1,D2,…Dn,|Di| 為 Di的樣本個數(shù)， Σi|Di|=D。 49/60 投票機(jī)制舉例 ? 假定有 N個用戶可以為 X個電影投票 (假定投票者不能給同一電影重復(fù)投票 )，投票有 5星共 5檔。 ? 如果 X并不總是位于 Y的左上側(cè)，可以使用 ROC曲線下方的面積作為度量，即： AUC值。 ? 從樣本集中用 Bootstrap采樣選出 n個樣本； ? 從所有屬性中隨機(jī)選擇 k個屬性，選擇最佳分割屬性作為節(jié)點建立 CART決策樹； ? 重復(fù)以上兩步 m次，即建立了 m棵 CART決策樹 ? 這 m個 CART形成隨機(jī)森林，通過投票表決結(jié)果，決定數(shù)據(jù)屬于哪一類 41/60 應(yīng)用實例： Kinect RealTime Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton etc,2022, 42/60 隨機(jī)森林 /Bagging和決策樹的關(guān)系 ? 當(dāng)然可以使用決策樹作為基本分類器 ? 但也可以使用 SVM、 Logistic回歸等其他分類器，習(xí)