決策樹和決策規(guī)則概述-資料下載頁(yè)
2025-01-12 21:56本頁(yè)面
【正文】 ? 分區(qū)前的熵是： Info(T)=8/13log2(8/13)5/13log2(5/13) = ? 屬性 1檢驗(yàn)的信息： infox1(T)=5/13(2/5log2(2/5)3/5log2(3/5)) +3/13(3/3log2(3/3)0/3log2(0/3)) +5/13(3/5log2(3/5)2/5log2(2/5)) = ? 該檢驗(yàn)所獲得的信息系數(shù) F(F=13/14)修正： Gain(x1)=13/14()= ? 該值比上個(gè)例子的值 。然后，該分區(qū)信息仍是根據(jù)整個(gè)訓(xùn)練集來(lái)確定的，而且更大，因?yàn)閷?duì)未知值有一個(gè)額外的類別。 Splitinfo(xi) =(5/14log(5/14)+3/14log(3/14) +5/14log(5/14)+1/14log(1/14))= ? 另外，每個(gè)樣本都有一個(gè)相關(guān)的新參數(shù) ,即概率。顯然，當(dāng)一個(gè)值已知的樣本從 T分配給 Ti時(shí)，它屬于 Ti的概率是 1，屬于其他所有子集的概率是 0。 ? 當(dāng)一值是未知時(shí)，只能得出不穩(wěn)定的概率描述。因此 Ti中的每個(gè)樣本是用權(quán)重 w聯(lián)系起來(lái)的，它表示屬于每個(gè)子集的樣本概率。 ? 為了使該解決方法更具一般性，必須認(rèn)為分區(qū)前樣本的概率并不總是等于 1。 因此，分區(qū)后丟失值的新參數(shù) wnew為： wnew=woldP(Ti) ? 對(duì)于屬性 1的檢驗(yàn) x1分區(qū)結(jié)果，丟失值的記錄將被表示在 3個(gè)子集中。如圖 77所示。 ? 因?yàn)樽畛醯?(舊的 )w值等于 1，新的權(quán)值 wi等于概率 5/13,3/13,和 5/13。在， Ti的算式如下： |T1|=5+5/13, |T2|=3+3/13, |T3|=5+5/13 ? 對(duì)屬性 2和屬性 3檢驗(yàn)分區(qū)，最終決策樹如圖 78中所示的形式。 ? 上圖與圖 76結(jié)構(gòu)相同，但是因?yàn)樽罱K分類的不明確性，每個(gè)決策都以形式 (|Ti|/E)和兩個(gè)參數(shù)關(guān)聯(lián)。 |Ti|是到葉節(jié)點(diǎn)的部分樣本和， E是屬于除了指定類以外的類的樣本的數(shù)量。 ? 例如， ()的意思是： (3+5/13)個(gè)訓(xùn)練樣本到達(dá)葉節(jié)點(diǎn)，其中 (5/13)并不屬于分配給葉的類。 ? 可以用百分?jǐn)?shù)表示參數(shù) |Ti|和 E： 3/100%=所給葉的 88%的樣本將被分給類 2 100%=所給葉的 12%的樣本將被分給類 1
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1