決策樹--(ppt66頁)-資料下載頁
2025-01-22 17:54本頁面
【正文】 枝 ? 實(shí)驗(yàn)結(jié)果 UCI\method\precision iris wine Breastcancer 感知機(jī) 100% KNN 88% % 樸素貝葉斯 % % % 決策樹 100% % % 解決決策樹過擬合的另一種方法 ——隨機(jī)森林 Bootstraping Bootstraping的名稱來自成語“ pull up by your own bootstraps” ，意思是依靠你自己的資源，稱為自助法，它是一種有放回的抽樣方法。 注： Bootstrap本義是指高靴子口后面的懸掛物、小環(huán)、帶子，是穿靴子時(shí)用手向上拉的工具?！?pull up by your own bootstraps” 即“通過拉靴子讓自己上升”，意思是“不可能發(fā)生的事情”。后來意思發(fā)生了轉(zhuǎn)變，隱喻“不需要外界幫助，僅依靠自身力量讓自己變得更好” 解決決策樹過擬合的另一種方法 ——隨機(jī)森林 組合模型 ——Bagging的策略（三個(gè)臭皮匠頂個(gè)諸葛亮的意思） * bootstrap aggregation * 從樣本集中重采樣 (有重復(fù)的 )選出 n個(gè)樣本 * 在所有屬性上，對(duì)這 n個(gè)樣本建立分類器 (ID 、 CART、 SVM、 Logistic回歸等 ) *重復(fù)以上兩步 m次，即獲得了 m個(gè)分類器 *將數(shù)據(jù)放在這 m個(gè)分類器上，最后根據(jù)這 m個(gè)分類器 的投票結(jié)果，決定數(shù)據(jù)屬于哪一類 解決決策樹過擬合的另一種方法 ——隨機(jī)森林 解決決策樹過擬合的另一種方法 ——隨機(jī)森林 隨機(jī)森林應(yīng)用非常廣泛，根據(jù)目標(biāo)變量的取值類型大致可分為兩類 一種是 分類 ：當(dāng)目標(biāo)變量取值為離散型時(shí)（屬性變量、種類變量、有序變量、多級(jí)變量等），采用該法可進(jìn)行分類； 當(dāng)目標(biāo)變量為連續(xù)型，則可做回歸，對(duì)應(yīng)的預(yù)測(cè)結(jié)果是目標(biāo)變量的分布。 優(yōu)點(diǎn)：可以產(chǎn)生高準(zhǔn)確度的分類器 解決決策樹過擬合的另一種方法 ——隨機(jī)森林 隨機(jī)森林在 bagging基礎(chǔ)上做了修改。 * 從樣本集中用 Bootstrap采樣選出 n個(gè)樣本； * 從所有屬性中隨機(jī)選擇 k個(gè)屬性，選擇最佳分割屬性 作為節(jié)點(diǎn)建立 CART決策樹； * 重復(fù)以上兩步 m次，即建立了 m棵 CART決策樹 * 這 m個(gè) CART形成隨機(jī)森林，通過投票表決結(jié)果，決 ? 定數(shù)據(jù)屬于哪一類 解決決策樹過擬合的另一種方法 ——隨機(jī)森林 隨機(jī)森林 /Bagging和決策樹的關(guān)系 * 當(dāng)然可以使用決策樹作為基本分類器 * 但也可以使用 SVM、 Logistic回歸等其他分類器，習(xí)慣上， ? 這些分類器組成的“總分類器”，仍然叫做隨機(jī) 森林 。 回歸問題 下圖離散點(diǎn)是樣本集合，描述了臭氧 (橫軸 )和溫度 (縱軸 )的關(guān)系，試擬合二者的變化曲線 使用 Bagging 記原始數(shù)據(jù)為 D，長(zhǎng)度為N(即圖中有 N個(gè)離散點(diǎn) ) ? 算法過程 ?做 100次 bootstrap，每次得到的數(shù)據(jù) Di，Di的長(zhǎng)度為 N ?對(duì)于每一個(gè) Di，使用 局部回歸 (LOESS)擬合一條曲線 (圖中灰色線是其中的 10條曲線 ) ?將這些曲線取平均，即得到紅色的最終擬合曲線 ?顯然，紅色的曲線更加穩(wěn)定， 并且沒有明顯過擬合 投票機(jī)制 ? 簡(jiǎn)單投票機(jī)制 ? 一票否決 (一致表決 ) ? 少數(shù)服從多數(shù) ? 有效多數(shù) (加權(quán) ) ? 閾值表決 ? 貝葉斯投票機(jī)制 貝葉斯投票機(jī)制 ? 簡(jiǎn)單投票法假設(shè)每個(gè)分類器都是平等的。 ? 在實(shí)際生活中，我們聽取一個(gè)人的意見，會(huì)考慮這個(gè)人過去的意見是否有用，從而加大或者減少權(quán)值。 ? 貝葉斯投票機(jī)制基于每個(gè)基本分類器在過去的分類表現(xiàn)設(shè)定一個(gè)權(quán)值，然后按照這個(gè)權(quán)值進(jìn)行投票。 投票機(jī)制舉例 ? 假定有 N個(gè)用戶可以為 X個(gè)電影投票 (假定投票者不能給同一電影重復(fù)投票 )，投票有 5星共 5檔。 ? 如何根據(jù)用戶投票，對(duì)電影排序？ ? 本質(zhì)仍然是分類問題：對(duì)于某個(gè)電影，有 N個(gè)決策樹，每個(gè)決策樹對(duì)該電影有 1個(gè)分類 ( 5類 )，求這個(gè)電影應(yīng)該屬于哪一類 (可以是小數(shù)：分類問題變成了回歸問題 ) 一種可能的方案 ? WR：加權(quán)得分 (weighted rating) ? R：該電影的用戶投票的平均得分 (Rating) ? C：所有電影的平均得分 ? v：該電影的投票人數(shù) (votes) ? m：排名前 250名的電影的最低投票數(shù) ? 根據(jù)總投票人數(shù)， 250可能有所調(diào)整 ? 按照 v=0和 m=0分別分析 演講完畢，謝謝觀看！
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1