《決策樹與隨機(jī)森林》ppt課件-預(yù)覽頁
【正文】 Ck， k=1,2,…,K ， |Ck|為屬于類 Ck的樣本個數(shù)。 19/60 信息增益的計算方法 ? 計算數(shù)據(jù)集 D的經(jīng)驗熵 ? 計算特征 A對數(shù)據(jù)集 D的經(jīng)驗條件熵 H(D|A) ? 計算信息增益： g(D,A)=H(D) – H(D|A) ? ? ????KkkkDCDCDH1l og20/60 經(jīng)驗條件熵 H(D|A) ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ?? ???? ?? ?? ???????????ni iikiikKkiniikikKkiniikikiKkkiikikikiikikDDDDDDADpADpApADpADpApADpADpApADpADpADH1 11 11 1,l o g|l o g||l o g||l o g||l o g,|21/60 其他目標(biāo) ? 信息增益率： gr(D,A) = g(D,A) / H(A) ? 基尼指數(shù)： ? ? ? ?21121111????????????????????KkkKkkKkkkDCppppGi n i22/60 討論 (一家之言 ) ? 考察基尼指數(shù)的圖像、熵、分類誤差率三者之間的關(guān)系 ? 將 f(x)=lnx在 x0=1處一階展開，忽略高階無窮小，得到 f(x)≈1x ? ?? ?????????KkkkKkkkppppXH111ln23/60 三種決策樹學(xué)習(xí)算法 ? 適應(yīng)信息增益來進(jìn)行特征選擇的決策樹學(xué)習(xí)過程，即為 ID3決策。 24/60 決策樹的例子 ? 對于下面的數(shù)據(jù)，希望分割成紅色和綠色兩個類 25/60 決策樹的生成過程 26/60 決策樹的生成過程 27/60 決策樹的生成過程 28/60 決策樹的生成過程 29/60 決策樹的生成過程 30/60 決策樹的生成過程 31/60 決策樹的生成過程 32/60 決策樹的生成過程 33/60 決策樹的生成過程 34/60 決策樹的過擬合 ? 決策樹對訓(xùn)練屬于有很好的分類能力，但對未知的測試數(shù)據(jù)未必有好的分類能力，泛化能力弱，即可能發(fā)生過擬合現(xiàn)象。后來意思發(fā)生了轉(zhuǎn)變，隱喻“不需要外界幫助，僅依靠自身力量讓自己變得更好”。 ? 在實際生活中，我們聽取一個人的意見，會考慮這個人過去的意見是否有用，從而加大或者減少權(quán)值。 ? 對一個二分問題來說，會出現(xiàn)四種情況。如果減小閥值，比如減到 ，一方面，能識別出更多的正類，即提高 TPR(樣本集合的正例總數(shù)沒變 )；另一方面，也將更多的負(fù)實例當(dāng)作了正實例，即提高了 FPR。這意味著，對于所有可能的錯誤分類代價， X分類器的正分類率總是比 Y要高。 Thomas) ? Pattern Recognition and Machine Learning, Bishop M, SpringerVerlag, 2022 ? 統(tǒng)計學(xué)習(xí)方法，李航著，清華大學(xué)出版社， 2022年 ? Jamie Shotton, Andrew Fitzgibbon, etc, RealTime Human Pose Recognition in Parts from Single Depth Images, 2022 ? 60/60 謝謝大家！ 懇請大家批評指正！
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1