決策樹與隨機森林ppt課件-閱讀頁
2025-01-21 05:07本頁面
【正文】 5/60 決策樹的生成過程 26/60 決策樹的生成過程 27/60 決策樹的生成過程 28/60 決策樹的生成過程 29/60 決策樹的生成過程 30/60 決策樹的生成過程 31/60 決策樹的生成過程 32/60 決策樹的生成過程 33/60 決策樹的生成過程 34/60 決策樹的過擬合 ? 決策樹對訓(xùn)練屬于有很好的分類能力，但對未知的測試數(shù)據(jù)未必有好的分類能力，泛化能力弱，即可能發(fā)生過擬合現(xiàn)象。 ? 注： Bootstrap本義是指高靴子口后面的懸掛物、小環(huán)、帶子，是穿靴子時用手向上拉的工具。后來意思發(fā)生了轉(zhuǎn)變，隱喻“不需要外界幫助，僅依靠自身力量讓自己變得更好”。 ? 從樣本集中用 Bootstrap采樣選出 n個樣本； ? 從所有屬性中隨機選擇 k個屬性，選擇最佳分割屬性作為節(jié)點建立 CART決策樹； ? 重復(fù)以上兩步 m次，即建立了 m棵 CART決策樹 ? 這 m個 CART形成隨機森林，通過投票表決結(jié)果，決定數(shù)據(jù)屬于哪一類 41/60 應(yīng)用實例： Kinect RealTime Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton etc,2022, 42/60 隨機森林 /Bagging和決策樹的關(guān)系 ? 當(dāng)然可以使用決策樹作為基本分類器 ? 但也可以使用 SVM、 Logistic回歸等其他分類器，習(xí)慣上，這些分類器組成的“總分類器”，仍然叫做隨機 森林 。 ? 在實際生活中，我們聽取一個人的意見，會考慮這個人過去的意見是否有用，從而加大或者減少權(quán)值。 49/60 投票機制舉例 ? 假定有 N個用戶可以為 X個電影投票 (假定投票者不能給同一電影重復(fù)投票 )，投票有 5星共 5檔。 ? 對一個二分問題來說，會出現(xiàn)四種情況。相應(yīng)地，如果實例是負類被預(yù)測成負類，稱之為真負類 (True negative),正類被預(yù)測成負類則為假負類 (false negative)。如果減小閥值，比如減到 ，一方面，能識別出更多的正類，即提高 TPR(樣本集合的正例總數(shù)沒變 )；另一方面，也將更多的負實例當(dāng)作了正實例，即提高了 FPR。 ? Receiver Operating Characteristic，接受者操作特性曲線 55/60 ROC曲線 ? 以假正類率 FPR為橫軸，真正類率 TPR為縱軸，得到 ROC曲線 ? 虛報概率 (代價 )為橫軸，擊中概率 (收益 )為縱軸 56/60 ROC曲線的分析 ? 對于一個分類器， ? 每個閾值對應(yīng)一個 (TPR， FPR)； ? 閾值最大時，沒有實例被分成正例，因此，TP=FP=0，對應(yīng)于原點 (0,0)； ? 閾值最小時，所有實例都被分成正例，TN=FN=1，對應(yīng)于右上角的點 (1,1)； ? 隨著閾值從最大變化到最小， TP和 FP都逐漸增大。這意味著，對于所有可能的錯誤分類代價， X分類器的正分類率總是比 Y要高。 ? 如果 X并不總是位于 Y的左上側(cè)，可以使用 ROC曲線下方的面積作為度量，即： AUC值。 Thomas) ? Pattern Recognition and Machine Learning, Bishop M, SpringerVerlag, 2022 ? 統(tǒng)計學(xué)習(xí)方法，李航著，清華大學(xué)出版社， 2022年 ? Jamie Shotton, Andrew Fitzgibbon, etc, RealTime Human Pose Recognition in Parts from Single Depth Images, 2022 ? 60/60 謝謝大家！ 懇請大家批評指正！
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1