決策樹(shù)與隨機(jī)森林ppt課件-文庫(kù)吧在線文庫(kù)
【正文】 樹(shù)學(xué)習(xí)算法的最大優(yōu)點(diǎn)是，它可以自學(xué)習(xí)。 ? 定義：特征 A對(duì)訓(xùn)練數(shù)據(jù)集 D的信息增益 g(D,A)，定義為集合 D的經(jīng)驗(yàn)熵 H(D)與特征 A給定條件下 D的經(jīng)驗(yàn)條件熵 H(D|A)之差，即： ? g(D,A)=H(D) – H(D|A) ? 顯然，這即為訓(xùn)練數(shù)據(jù)集 D和特征 A的互信息。結(jié)果訓(xùn)練出來(lái)的形狀是一棵龐大且深度很淺的樹(shù)，這樣的劃分是極為不合理的。 ? 從樣本集中用 Bootstrap采樣選出 n個(gè)樣本； ? 從所有屬性中隨機(jī)選擇 k個(gè)屬性，選擇最佳分割屬性作為節(jié)點(diǎn)建立 CART決策樹(shù)； ? 重復(fù)以上兩步 m次，即建立了 m棵 CART決策樹(shù) ? 這 m個(gè) CART形成隨機(jī)森林，通過(guò)投票表決結(jié)果，決定數(shù)據(jù)屬于哪一類 41/60 應(yīng)用實(shí)例： Kinect RealTime Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton etc,2022, 42/60 隨機(jī)森林 /Bagging和決策樹(shù)的關(guān)系 ? 當(dāng)然可以使用決策樹(shù)作為基本分類器 ? 但也可以使用 SVM、 Logistic回歸等其他分類器，習(xí)慣上，這些分類器組成的“總分類器”，仍然叫做隨機(jī) 森林 。相應(yīng)地，如果實(shí)例是負(fù)類被預(yù)測(cè)成負(fù)類，稱之為真負(fù)類 (True negative),正類被預(yù)測(cè)成負(fù)類則為假負(fù)類 (false negative)。 ? 如果 X并不總是位于 Y的左上側(cè)，可以使用 ROC曲線下方的面積作為度量，即： AUC值。 ? Receiver Operating Characteristic，接受者操作特性曲線 55/60 ROC曲線 ? 以假正類率 FPR為橫軸，真正類率 TPR為縱軸，得到 ROC曲線 ? 虛報(bào)概率 (代價(jià) )為橫軸，擊中概率 (收益 )為縱軸 56/60 ROC曲線的分析 ? 對(duì)于一個(gè)分類器， ? 每個(gè)閾值對(duì)應(yīng)一個(gè) (TPR， FPR)； ? 閾值最大時(shí)，沒(méi)有實(shí)例被分成正例，因此，TP=FP=0，對(duì)應(yīng)于原點(diǎn) (0,0)； ? 閾值最小時(shí)，所有實(shí)例都被分成正例，TN=FN=1，對(duì)應(yīng)于右上角的點(diǎn) (1,1)； ? 隨著閾值從最大變化到最小， TP和 FP都逐漸增大。 49/60 投票機(jī)制舉例 ? 假定有 N個(gè)用戶可以為 X個(gè)電影投票 (假定投票者不能給同一電影重復(fù)投票 )，投票有 5星共 5檔。 ? 注： Bootstrap本義是指高靴子口后面的懸掛物、小環(huán)、帶子，是穿靴子時(shí)用手向上拉的工具。設(shè)特征 A有n個(gè)不同的取值 {a1,a2…an} ，根據(jù)特征 A的取值將 D劃分為 n個(gè)子集 D1,D2,…Dn,|Di| 為 Di的樣本個(gè)數(shù)， Σi|Di|=D。 16/60 決策樹(shù)學(xué)習(xí)的生成算法 ? 建立決策樹(shù)的關(guān)鍵，即在當(dāng)前狀態(tài)下選擇哪個(gè)屬性作為分類依據(jù)。 6/60 聯(lián)合熵和條件熵 ? 兩個(gè)隨機(jī)變量 X， Y的聯(lián)合分布，可以形成聯(lián)合熵 Joint Entropy，用 H(X,Y)表示 ? H(X,Y) – H(Y) ? (X,Y)發(fā)生所包含的信息熵，減去 Y單獨(dú)發(fā)生包含的信息熵 ——在 Y發(fā)生的前提下， X發(fā)生“新”帶來(lái)的信息熵 ? 該式子 定義 為 Y發(fā)生前提下， X的熵： ? 條件熵 H(X|Y) = H(X,Y) – H(Y) 7/60 推導(dǎo)條件熵的定義式 ????? ????????????????????????yxyxyxyxy xyxyyxyxpyxpypyxpyxpypyxpyxpyxpypyxpyxpyxpypypyxpyxpYHYXH,,)|(l o g),()(),(l o g)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1