19決策樹與隨機(jī)森林-免費(fèi)閱讀
【正文】 56 ROC曲線實(shí)例 57 使用 ROC曲線評(píng)價(jià)分類器 ? 在 ROC曲線中，通常，如果曲線 X始終位于曲線 Y的左上方，則曲線 X優(yōu)于曲線 Y。 ? 如何根據(jù)用戶投票，對(duì)電影排序？ ? 本質(zhì)仍然是分類問(wèn)題：對(duì)于某個(gè)電影，有 N個(gè)決策樹，每個(gè)決策樹對(duì)該電影有 1個(gè)分類 ( 5類 )，求這個(gè)電影應(yīng)該屬于哪一類 (可以是小數(shù)：分類問(wèn)題變成了回歸問(wèn)題 ) 49 一種可能的方案 ? WR：加權(quán)得分 (weighted rating) ? R：該電影的用戶投票的平均得分 (Rating) ? C：所有電影的平均得分 ? v：該電影的投票人數(shù) (votes) ? m：排名前 250名的電影的最低投票數(shù) ? 根據(jù)總投票人數(shù)， 250可能有所調(diào)整 ? 按照 v=0和 m=0分別分析 50 評(píng)價(jià)指標(biāo) ? 以下近考慮二分類問(wèn)題，即將實(shí)例分成正類(positive)或負(fù)類 (negative)?！?pull up by your own bootstraps”即“通過(guò)拉靴子讓自己上升”，意思是“不可能發(fā)生的事情”。記子集 Di中屬于類 Ck的樣本的集合為 Dik， |Dik|為 Dik的樣本個(gè)數(shù) 。根據(jù)不同的目標(biāo)函數(shù)，建立決策樹主要有一下三種算法。 ? I(X,Y)=D(P(X,Y) || P(X)P(Y)) ??yx ypxpyxpyxpYXI, )()(),(log),(),(9 計(jì)算 H(X)I(X,Y) )|()|(log),()(),(log),()()(),(log),()(log),()()(),(log),()(log),()()(),(log),()(log)(),()(,,YXHyxpyxpypyxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpxpYXIXHyxyxyxyxyxx yyxx????????????????????????????? ???10 整理得到的等式 ? H(X|Y) = H(X,Y) H(Y) ? 條件熵定義 ? H(X|Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開得到 ? 有些文獻(xiàn)將 I(X,Y)=H(Y) – H(Y|X)作為互信息的定義式 ? 對(duì)偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻(xiàn)將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 11 強(qiáng)大的 Venn圖：幫助記憶 12 決策樹示意圖 13 決策樹 (Decision Tree) ? 決策樹是一種樹型結(jié)構(gòu)，其中每個(gè)內(nèi)部結(jié)點(diǎn)表示在一個(gè)屬性上的測(cè)試，每個(gè)分支代表一個(gè)測(cè)試輸出，每個(gè)葉結(jié)點(diǎn)代表一種類別。決策樹與隨機(jī)森林 鄒博 北京 10月機(jī)器學(xué)習(xí)班 ML在線公開課第 1期 2023年 1月 11日 1 目標(biāo)任務(wù)與主要內(nèi)容 ? 復(fù)習(xí) 信息熵 ? 熵、聯(lián)合熵、條件熵、互信息 ? 決策樹 學(xué)習(xí)算法 ? 信息增益 ? ID 、 CART ? Bagging與 隨機(jī)森林 的思想 ? 投票機(jī)制 ? 分類算法的 評(píng)價(jià)指標(biāo) ? ROC曲線和 AUC值 2 決策樹的實(shí)例 (Weka自帶 測(cè)試數(shù)據(jù) ) 注： Weka的全名是懷卡托智能分析環(huán)境 (Waikato Envi
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1