19決策樹(shù)與隨機(jī)森林-文庫(kù)吧
2025-01-09 01:04 本頁(yè)面
【正文】 pyxpYXI, )()(),(log),(),(9 計(jì)算 H(X)I(X,Y) )|()|(log),()(),(log),()()(),(log),()(log),()()(),(log),()(log),()()(),(log),()(log)(),()(,,YXHyxpyxpypyxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpyxpypxpyxpyxpxpxpYXIXHyxyxyxyxyxx yyxx????????????????????????????? ???10 整理得到的等式 ? H(X|Y) = H(X,Y) H(Y) ? 條件熵定義 ? H(X|Y) = H(X) I(X,Y) ? 根據(jù)互信息定義展開(kāi)得到 ? 有些文獻(xiàn)將 I(X,Y)=H(Y) – H(Y|X)作為互信息的定義式 ? 對(duì)偶式 ? H(Y|X)= H(X,Y) H(X) ? H(Y|X)= H(Y) I(X,Y) ? I(X,Y)= H(X) + H(Y) H(X,Y) ? 有些文獻(xiàn)將該式作為互信息的定義式 ? 試證明： H(X|Y) ≤H(X) ， H(Y|X) ≤H(Y) 11 強(qiáng)大的 Venn圖：幫助記憶 12 決策樹(shù)示意圖 13 決策樹(shù) (Decision Tree) ? 決策樹(shù)是一種樹(shù)型結(jié)構(gòu)，其中每個(gè)內(nèi)部結(jié)點(diǎn)表示在一個(gè)屬性上的測(cè)試，每個(gè)分支代表一個(gè)測(cè)試輸出，每個(gè)葉結(jié)點(diǎn)代表一種類別。 ? 決策樹(shù)學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)。 ? 決策樹(shù)學(xué)習(xí)采用的是自頂向下的遞歸方法，其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹(shù)，到葉子節(jié)點(diǎn)處的熵值為零，此時(shí)每個(gè)葉節(jié)點(diǎn)中的實(shí)例都屬于同一類。 14 決策樹(shù)學(xué)習(xí)算法的特點(diǎn) ? 決策樹(shù)學(xué)習(xí)算法的最大優(yōu)點(diǎn)是，它可以自學(xué)習(xí)。在學(xué)習(xí)的過(guò)程中，不需要使用者了解過(guò)多背景知識(shí)，只需要對(duì)訓(xùn)練實(shí)例進(jìn)行較好的標(biāo)注，就能夠進(jìn)行學(xué)習(xí)。 ? 顯然，屬于有監(jiān)督學(xué)習(xí)。 ? 從一類無(wú)序、無(wú)規(guī)則的事物 (概念 )中推理出決策樹(shù)表示的分類規(guī)則。 15 決策樹(shù)學(xué)習(xí)的生成算法 ? 建立決策樹(shù)的關(guān)鍵，即在當(dāng)前狀態(tài)下選擇哪個(gè)屬性作為分類依據(jù)。根據(jù)不同的目標(biāo)函數(shù)，建立決策樹(shù)主要有一下三種算法。 ? ID3 ? ? CART 16 信息增益 ? 概念：當(dāng)熵和條件熵中的概率由數(shù)據(jù)估計(jì) (特別是極大似然估計(jì) )得到時(shí)，所對(duì)應(yīng)的熵和條件熵分別稱為 經(jīng)驗(yàn)熵 和 經(jīng)驗(yàn)條件熵 。 ? 信息增益表示得知特征 A的信息而使得類 X的信息的不確定性減少的程度。 ? 定義：特征 A對(duì)訓(xùn)練數(shù)據(jù)集 D的信息增益 g(D,A)，定義為集合 D的經(jīng)驗(yàn)熵 H(D)與特征 A給定條件下 D的經(jīng)驗(yàn)條件熵 H(D|A)之差，即： ? g(D,A)=H(D) – H(D|A) ? 顯然，這即為訓(xùn)練數(shù)據(jù)集 D和特征 A的互信息。 17 基本記號(hào) ? 設(shè)訓(xùn)練數(shù)據(jù)集為 D， |D|表示其容量，即樣本個(gè)數(shù)。設(shè)有 K個(gè)類 Ck， k=1,2,…,K ， |Ck|為屬于類 Ck的樣本個(gè)數(shù)。 Σk|Ck|=|D|。設(shè)特征 A有n個(gè)不同的取值 {a1,a2…an} ，根據(jù)特征 A的取值將 D劃分為 n個(gè)子集 D1,D2,…Dn,|Di| 為 Di的樣本個(gè)數(shù)， Σi|Di|=D。記子集 Di中屬于類 Ck的樣本的集合為 Dik， |Dik|為 Dik的樣本個(gè)數(shù) 。 18 信息增益的計(jì)算方法 ? 計(jì)算數(shù)據(jù)集 D的經(jīng)驗(yàn)熵 ? 計(jì)算特征 A對(duì)數(shù)據(jù)集 D的經(jīng)驗(yàn)條件熵 H(D|A) ?
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1