19決策樹與隨機(jī)森林(文件)
【正文】 生了轉(zhuǎn)變，隱喻“不需要外界幫助，僅依靠自身力量讓自己變得更好”。 23 決策樹的例子 ? 對于下面的數(shù)據(jù)，希望分割成紅色和綠色兩個(gè)類 24 決策樹的生成過程 25 決策樹的生成過程 26 決策樹的生成過程 27 決策樹的生成過程 28 決策樹的生成過程 29 決策樹的生成過程 30 決策樹的生成過程 31 決策樹的生成過程 32 決策樹的生成過程 33 決策樹的過擬合 ? 決策樹對訓(xùn)練屬于有很好的分類能力，但對未知的測試數(shù)據(jù)未必有好的分類能力，泛化能力弱，即可能發(fā)生過擬合現(xiàn)象。 18 信息增益的計(jì)算方法 ? 計(jì)算數(shù)據(jù)集 D的經(jīng)驗(yàn)熵 ? 計(jì)算特征 A對數(shù)據(jù)集 D的經(jīng)驗(yàn)條件熵 H(D|A) ? 計(jì)算信息增益： g(D,A)=H(D) – H(D|A) ? ? ????KkkkDCDCDH1log19 經(jīng)驗(yàn)條件熵 H(D|A) ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ?? ???? ?? ?? ???????????ni iikiikKkiniikikKkiniikikiKkkiikikikiikikDDDDDDADpADpApADpADpApADpADpApADpADpADH1 11 11 1,log|log||log||log||log,|20 其他目標(biāo) ? 信息增益率： gr(D,A) = g(D,A) / H(A) ? 基尼指數(shù)： ? ? ? ?21121111????????????????????KkkKkkKkkkDCppppGini21 討論 (一家之言 ) ? 考察基尼指數(shù)的圖像、熵、分類誤差率三者之間的關(guān)系 ? 將 f(x)=lnx在 x0=1處一階展開，忽略高階無窮小，得到 f(x)≈1x ? ?? ?????????KkkkKkkkppppXH111ln22 三種決策樹學(xué)習(xí)算法 ? 適應(yīng)信息增益來進(jìn)行特征選擇的決策樹學(xué)習(xí)過程，即為 ID3決策。設(shè)有 K個(gè)類 Ck， k=1,2,…,K ， |Ck|為屬于類 Ck的樣本個(gè)數(shù)。 ? ID3 ? ? CART 16 信息增益 ? 概念：當(dāng)熵和條件熵中的概率由數(shù)據(jù)估計(jì) (特別是極大似然估計(jì) )得到時(shí)，所對應(yīng)的熵和條件熵分別稱為 經(jīng)驗(yàn)熵 和 經(jīng)驗(yàn)條件熵 。 ? 顯然，屬于有監(jiān)督學(xué)習(xí)。 ? 決策樹學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)。 ?????????Xx xpxpXH 1log4 對熵的理解 ? 熵是隨機(jī)變量 不確定性 的度量，不確定性越大，熵值越大；若隨機(jī)變量退化成定值，熵為 0 ? 均勻分布是“最不確定”的分布 ? 熵其實(shí)定義了一個(gè)函數(shù) (概率分布函數(shù) )到一個(gè)值 (信息熵 )的映射。決策樹與隨機(jī)森林 鄒博 北京 10月機(jī)器學(xué)習(xí)班 ML在線公開課第 1期 2023年 1月 11日 1 目標(biāo)任務(wù)與主要內(nèi)容 ? 復(fù)習(xí) 信息熵 ? 熵、聯(lián)合熵、條件熵、互信息 ? 決策樹 學(xué)習(xí)算法 ? 信息增益 ? ID 、 CART ? Bagging與 隨機(jī)森林 的
化學(xué)相關(guān)推薦
鄂ICP備17016276號-1