決策樹與隨機森林ppt課件(編輯修改稿)
2025-02-02 05:07 本頁面
【文章內(nèi)容簡介】 件熵 H(D|A) ? 計算信息增益： g(D,A)=H(D) – H(D|A) ? ? ????KkkkDCDCDH1l og20/60 經(jīng)驗條件熵 H(D|A) ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ?? ???? ?? ?? ???????????ni iikiikKkiniikikKkiniikikiKkkiikikikiikikDDDDDDADpADpApADpADpApADpADpApADpADpADH1 11 11 1,l o g|l o g||l o g||l o g||l o g,|21/60 其他目標 ? 信息增益率： gr(D,A) = g(D,A) / H(A) ? 基尼指數(shù)： ? ? ? ?21121111????????????????????KkkKkkKkkkDCppppGi n i22/60 討論 (一家之言 ) ? 考察基尼指數(shù)的圖像、熵、分類誤差率三者之間的關系 ? 將 f(x)=lnx在 x0=1處一階展開，忽略高階無窮小，得到 f(x)≈1x ? ?? ?????????KkkkKkkkppppXH111ln23/60 三種決策樹學習算法 ? 適應信息增益來進行特征選擇的決策樹學習過程，即為 ID3決策。 ? 所以如果是取值更多的屬性，更容易使得數(shù)據(jù)更“純” ，其信息增益更大，決策樹會首先挑選這個屬性作為樹的頂點。結(jié)果訓練出來的形狀是一棵龐大且深度很淺的樹，這樣的劃分是極為不合理的。 ? ：信息增益率 gr(D,A) = g(D,A) / H(A) ? CART：基尼指數(shù) ? 總結(jié)：一個屬性的信息增益越大，表明屬性對樣本的熵減少的能力更強，這個屬性使得數(shù)據(jù)由不確定性變成確定性的能力越強。 24/60 決策樹的例子 ? 對于下面的數(shù)據(jù)，希望分割成紅色和綠色兩個類 25/60 決策樹的生成過程 26/60 決策樹的生成過程 27/60 決策樹的生成過程 28/60 決策樹的生成過程 29/60 決策樹的生成過程 30/60 決策樹的生成過程 31/60 決策樹的生成過程 32/60 決策樹的生成過程 33/60 決策樹的生成過程 34/60 決策樹的過擬合 ? 決策樹對訓練屬于有很好的分類能力，但對未知的測試數(shù)據(jù)未必有好的分類能力，泛化能力弱，即可能發(fā)生過擬合現(xiàn)象。 ? 剪枝 ? 隨機森林 35/60 Bootstraping ? Bootstraping的名稱來自成語“ pull up by your own bootstraps” ，意思是依靠你自己的資源，稱為自助法，它是一種有放回的抽樣方法。 ? 注： Bootstrap本義是指高靴子口后面的懸掛物、小環(huán)、帶子，是穿靴子時用手向上拉的工具?！?pull up by your own bootstraps” 即“通過拉靴子讓自己上升”，意思是“不可能發(fā)生的事情”。后來意思發(fā)生了轉(zhuǎn)變，隱喻“不需要外界幫助，僅依靠自身力量讓自己變得更好”。 36/60 Bagging的策略 ? bootstrap aggregation ? 從樣本集中重采樣 (有重復的 )選出 n個樣本 ? 在所有屬性上，對這 n個樣本建立分類器(ID
教學課件相關推薦
鄂ICP備17016276號-1