決策樹與隨機(jī)森林ppt課件-展示頁
2025-01-15 05:07本頁面
【正文】 息的定義式 ? 對偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻(xiàn)將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 12/60 強(qiáng)大的 Venn圖：幫助記憶 13/60 決策樹示意圖 14/60 決策樹 (Decision Tree) ? 決策樹是一種樹型結(jié)構(gòu)，其中每個(gè)內(nèi)部結(jié)點(diǎn)表示在一個(gè)屬性上的測試，每個(gè)分支代表一個(gè)測試輸出，每個(gè)葉結(jié)點(diǎn)代表一種類別。 ? P(x)?H (函數(shù) ?數(shù)值 ) ? 泛函 ? 回憶一下關(guān)于“變分推導(dǎo)”章節(jié)中對于泛函的內(nèi)容。 ? 在不引起混淆的情況下，下面談到的“概率分布函數(shù)”，其含義是： ? 若 X為離散隨機(jī)變量，則該名稱為 概率分布函數(shù) ； ? 若 X為連續(xù)隨機(jī)變量，則該名稱為 概率密度函數(shù) 。它和它的源代碼可在其官方網(wǎng)站下載。決策樹與隨機(jī)森林 鄒博 北京 10月機(jī)器學(xué)習(xí)班 amp。 ML在線公開課第 1期 2022年 1月 11日 2/60 目標(biāo)任務(wù)與主要內(nèi)容 ? 復(fù)習(xí) 信息熵 ? 熵、聯(lián)合熵、條件熵、互信息 ? 決策樹 學(xué)習(xí)算法 ? 信息增益 ? ID 、 CART ? Bagging與 隨機(jī)森林 的思想 ? 投票機(jī)制 ? 分類算法的 評價(jià)指標(biāo) ? ROC曲線和 AUC值 3/60 決策樹的實(shí)例 (Weka自帶測試數(shù)據(jù) ) 注： Weka的全名是懷卡托智能分析環(huán)境 (Waikato Environment for Knowledge Analysis)，是一款免費(fèi)的，非商業(yè)化 (與之對應(yīng)的是 SPSS公司商業(yè)數(shù)據(jù)挖掘產(chǎn)品 Clementine )的，基于 JAVA環(huán)境下開源的機(jī)器學(xué)習(xí)(machine learning)以及數(shù)據(jù)挖掘 (data minining)軟件。 4/60 復(fù)習(xí)：熵 ? 將離散隨機(jī)變量 X的概率分布為 P(X=xi)，則定義熵為： ? 若 P為連續(xù)隨機(jī)變量，則概率分布變成概率密度函數(shù)，求和符號變成積分符號。 ? ? ? ? ? ????Xx xpxpXH 1log5/60 對熵的理解 ? 熵是隨機(jī)變量 不確定性 的度量，不確定性越大，熵值越大；若隨機(jī)變量退化成定值，熵為 0 ? 均勻分布是“最不確定”的分布 ? 熵其實(shí)定義了一個(gè)函數(shù) (概率分布函數(shù) )到一個(gè)值 (信息熵 )的映射。 6/60 聯(lián)合熵和條件熵 ? 兩個(gè)隨機(jī)變量 X， Y的聯(lián)合分布，可以形成聯(lián)合熵 Joint Entropy，用 H(X,Y)表示 ? H(X,Y) – H(Y) ? (X,Y)發(fā)生所包含的信息熵，減去 Y單獨(dú)發(fā)生包含的信息熵 ——在 Y發(fā)生的前提下， X發(fā)生“新”帶來的信息熵 ? 該式子 定義 為 Y發(fā)生前提下， X的熵： ? 條件熵 H(X|Y) = H(X,Y) – H(Y) 7/60 推導(dǎo)條件熵的定義式 ????? ????????????????????????yxyxyxyxy xyxyyxyxpyxpypyxpyxpypyxpyxpyxpypyxpyxpyxpypypyxpyxpYHYXH,,)|(l o g),()(),(l o g),()(l o g),(),(l o g),()(l o g),(),(l o g),()(l o g)(),(l o g),()(),(8/60 相對熵 ? 相對熵，又稱互熵，交叉熵，鑒別信息， Kullback熵， Kullback
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1