決策樹與隨機(jī)森林ppt課件(已修改)
2025-01-18 05:07 本頁面
【正文】 決策樹與隨機(jī)森林 鄒博 北京 10月機(jī)器學(xué)習(xí)班 amp。 ML在線公開課第 1期 2022年 1月 11日 2/60 目標(biāo)任務(wù)與主要內(nèi)容 ? 復(fù)習(xí) 信息熵 ? 熵、聯(lián)合熵、條件熵、互信息 ? 決策樹 學(xué)習(xí)算法 ? 信息增益 ? ID 、 CART ? Bagging與 隨機(jī)森林 的思想 ? 投票機(jī)制 ? 分類算法的 評價(jià)指標(biāo) ? ROC曲線和 AUC值 3/60 決策樹的實(shí)例 (Weka自帶測試數(shù)據(jù) ) 注： Weka的全名是懷卡托智能分析環(huán)境 (Waikato Environment for Knowledge Analysis)，是一款免費(fèi)的，非商業(yè)化 (與之對應(yīng)的是 SPSS公司商業(yè)數(shù)據(jù)挖掘產(chǎn)品 Clementine )的，基于 JAVA環(huán)境下開源的機(jī)器學(xué)習(xí)(machine learning)以及數(shù)據(jù)挖掘 (data minining)軟件。它和它的源代碼可在其官方網(wǎng)站下載。 4/60 復(fù)習(xí)：熵 ? 將離散隨機(jī)變量 X的概率分布為 P(X=xi)，則定義熵為： ? 若 P為連續(xù)隨機(jī)變量，則概率分布變成概率密度函數(shù)，求和符號變成積分符號。 ? 在不引起混淆的情況下，下面談到的“概率分布函數(shù)”，其含義是： ? 若 X為離散隨機(jī)變量，則該名稱為 概率分布函數(shù) ； ? 若 X為連續(xù)隨機(jī)變量，則該名稱為 概率密度函數(shù) 。 ? ? ? ? ? ????Xx xpxpXH 1log5/60 對熵的理解 ? 熵是隨機(jī)變量 不確定性 的度量，不確定性越大，熵值越大；若隨機(jī)變量退化成定值，熵為 0 ? 均勻分布是“最不確定”的分布 ? 熵其實(shí)定義了一個(gè)函數(shù) (概率分布函數(shù) )到一個(gè)值 (信息熵 )的映射。 ? P(x)?H (函數(shù) ?數(shù)值 ) ? 泛函 ? 回憶一下關(guān)于“變分推導(dǎo)”章節(jié)中對于泛函的內(nèi)容。 6/60 聯(lián)合熵和條件熵 ? 兩個(gè)隨機(jī)變量 X， Y的聯(lián)合分布，可以形成聯(lián)合熵 Joint Entropy，用 H(X,Y)表示 ? H(X,Y) – H(Y) ? (X,Y)發(fā)生所包含的信息熵，減去 Y單獨(dú)發(fā)生包含的信息熵 ——在 Y發(fā)生的前提下， X發(fā)生“新”帶來的信息熵 ? 該式子 定義 為 Y發(fā)生前提下， X的熵： ? 條件熵 H(X|Y) = H(X,Y) – H(Y) 7/60 推導(dǎo)條件熵的定義式 ????? ????????????????????????yxyxyxyxy xyxyyxyxpyxpypyxpyxpypyxpyxpyxpypyxpyxpyxpypypyxpyxpYHYXH,,)|(l o g),()(),(l o g),()(l o g),(),(l o g),()(l o g),(),(l o g),()(l o g)(),(l o g),()(),(8/60 相對熵 ? 相對熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， KullbackLeible散度等 ? 設(shè) p(x)、 q(x)是 X中取值的兩個(gè)概率分布，則 p對 q的相對熵是 ? 說明： ? 相對熵可以度量兩個(gè)隨機(jī)變量的“距離” ? 在“貝葉斯網(wǎng)絡(luò)”、“變分推導(dǎo)”章節(jié)使用過 ? 一般的， D(p||q) ≠D(q||p) ? D(p||q)≥0、 D(q||p) ≥0 提示：凸函數(shù)中的 Jensen不等式 9/60 互信息 ? 兩個(gè)隨機(jī)變量 X， Y的互信息，定義為 X， Y的聯(lián)合分布和獨(dú)立分布乘積的相對熵。 ? I(X,Y)=D(P(X,Y) || P(X)P(Y)) ??y
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1