決策樹與隨機(jī)森林ppt課件-免費(fèi)閱讀
【正文】 這意味著，對(duì)于所有可能的錯(cuò)誤分類代價(jià)， X分類器的正分類率總是比 Y要高。 ? 對(duì)一個(gè)二分問題來說，會(huì)出現(xiàn)四種情況。后來意思發(fā)生了轉(zhuǎn)變，隱喻“不需要外界幫助，僅依靠自身力量讓自己變得更好”。 19/60 信息增益的計(jì)算方法 ? 計(jì)算數(shù)據(jù)集 D的經(jīng)驗(yàn)熵 ? 計(jì)算特征 A對(duì)數(shù)據(jù)集 D的經(jīng)驗(yàn)條件熵 H(D|A) ? 計(jì)算信息增益： g(D,A)=H(D) – H(D|A) ? ? ????KkkkDCDCDH1l og20/60 經(jīng)驗(yàn)條件熵 H(D|A) ? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ?? ???? ?? ?? ???????????ni iikiikKkiniikikKkiniikikiKkkiikikikiikikDDDDDDADpADpApADpADpApADpADpApADpADpADH1 11 11 1,l o g|l o g||l o g||l o g||l o g,|21/60 其他目標(biāo) ? 信息增益率： gr(D,A) = g(D,A) / H(A) ? 基尼指數(shù)： ? ? ? ?21121111????????????????????KkkKkkKkkkDCppppGi n i22/60 討論 (一家之言 ) ? 考察基尼指數(shù)的圖像、熵、分類誤差率三者之間的關(guān)系 ? 將 f(x)=lnx在 x0=1處一階展開，忽略高階無窮小，得到 f(x)≈1x ? ?? ?????????KkkkKkkkppppXH111ln23/60 三種決策樹學(xué)習(xí)算法 ? 適應(yīng)信息增益來進(jìn)行特征選擇的決策樹學(xué)習(xí)過程，即為 ID3決策。 ? ID3 ? ? CART 17/60 信息增益 ? 概念：當(dāng)熵和條件熵中的概率由數(shù)據(jù)估計(jì) (特別是極大似然估計(jì) )得到時(shí)，所對(duì)應(yīng)的熵和條件熵分別稱為 經(jīng)驗(yàn)熵 和 經(jīng)驗(yàn)條件熵 。 ? 決策樹學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)。 ML在線公開課第 1期 2022年 1月 11日 2/60 目標(biāo)任務(wù)與主要內(nèi)容 ? 復(fù)習(xí) 信息熵 ? 熵、聯(lián)合熵、條件熵、互信息 ? 決策樹 學(xué)習(xí)算法 ? 信息增益 ? ID 、 CART ? Bagging與 隨機(jī)森林 的思想 ? 投票機(jī)制 ? 分類算法的 評(píng)價(jià)指標(biāo) ? ROC曲線和 AUC值 3/60 決策樹的實(shí)例 (Weka自帶測(cè)試數(shù)據(jù) ) 注： Weka的全名是懷卡托智能分析環(huán)境 (Waikato Environment for Knowledge Analysis)，是一款免費(fèi)的，非商業(yè)化 (與之對(duì)應(yīng)的是 SPSS公司商業(yè)數(shù)據(jù)挖掘產(chǎn)品 Clementine )的，基于 JAVA環(huán)境下開源的機(jī)器學(xué)習(xí)(machine learning)以及數(shù)據(jù)挖掘 (data minining)軟件。 ? P(x)?H (函數(shù) ?數(shù)值 ) ? 泛函 ? 回憶一下關(guān)于“變分推導(dǎo)”章節(jié)中對(duì)于泛函的內(nèi)容。 ? 從一類無序、無規(guī)則的事物 (概念 )中推理出決策樹表示的分類規(guī)則。 Σk|Ck|=|D|。 ? 剪枝 ? 隨機(jī)森林 35/60 Bootstraping ? Bootstraping的名稱來自成語(yǔ)“ pull up by your own bootstraps” ，意思是依靠你自己的資
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1