19決策樹與隨機森林(文件)
【正文】 生了轉(zhuǎn)變，隱喻“不需要外界幫助，僅依靠自身力量讓自己變得更好”。 23 決策樹的例子 ? 對于下面的數(shù)據(jù)，希望分割成紅色和綠色兩個類 24 決策樹的生成過程 25 決策樹的生成過程 26 決策樹的生成過程 27 決策樹的生成過程 28 決策樹的生成過程 29 決策樹的生成過程 30 決策樹的生成過程 31 決策樹的生成過程 32 決策樹的生成過程 33 決策樹的過擬合 ? 決策樹對訓練屬于有很好的分類能力，但對未知的測試數(shù)據(jù)未必有好的分類能力，泛化能力弱，即可能發(fā)生過擬合現(xiàn)象。 18 信息增益的計算方法 ? 計算數(shù)據(jù)集 D的經(jīng)驗熵 ? 計算特征 A對數(shù)據(jù)集 D的經(jīng)驗條件熵 H(D|A) ? 計算信息增益： g(D,A)=H(D) – H(D|A) ? ? ????KkkkDCDCDH1log19 經(jīng)驗條件熵 H(D|A) ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ?? ???? ?? ?? ???????????ni iikiikKkiniikikKkiniikikiKkkiikikikiikikDDDDDDADpADpApADpADpApADpADpApADpADpADH1 11 11 1,log|log||log||log||log,|20 其他目標 ? 信息增益率： gr(D,A) = g(D,A) / H(A) ? 基尼指數(shù)： ? ? ? ?21121111????????????????????KkkKkkKkkkDCppppGini21 討論 (一家之言 ) ? 考察基尼指數(shù)的圖像、熵、分類誤差率三者之間的關(guān)系 ? 將 f(x)=lnx在 x0=1處一階展開，忽略高階無窮小，得到 f(x)≈1x ? ?? ?????????KkkkKkkkppppXH111ln22 三種決策樹學習算法 ? 適應信息增益來進行特征選擇的決策樹學習過程，即為 ID3決策。設(shè)有 K個類 Ck， k=1,2,…,K ， |Ck|為屬于類 Ck的樣本個數(shù)。 ? ID3 ? ? CART 16 信息增益 ? 概念：當熵和條件熵中的概率由數(shù)據(jù)估計 (特別是極大似然估計 )得到時，所對應的熵和條件熵分別稱為 經(jīng)驗熵 和 經(jīng)驗條件熵 。 ? 顯然，屬于有監(jiān)督學習。 ? 決策樹學習是以實例為基礎(chǔ)的歸納學習。 ?????????Xx xpxpXH 1log4 對熵的理解 ? 熵是隨機變量 不確定性 的度量，不確定性越大，熵值越大；若隨機變量退化成定值，熵為 0 ? 均勻分布是“最不確定”的分布 ? 熵其實定義了一個函數(shù) (概率分布函數(shù) )到一個值 (信息熵 )的映射。決策樹與隨機森林 鄒博 北京 10月機器學習班 ML在線公開課第 1期 2023年 1月 11日 1 目標任務與主要內(nèi)容 ? 復習 信息熵 ? 熵、聯(lián)合熵、條件熵、互信息 ? 決策樹 學習算法 ? 信息增益 ? ID 、 CART ? Bagging與 隨機森林 的
化學相關(guān)推薦
鄂ICP備17016276號-1