決策樹(shù)和決策規(guī)則培訓(xùn)教材-wenkub.com
2025-01-11 18:38 本頁(yè)面
【正文】 100%=所給葉的 88%的樣本將被分給類 2 ? 上圖與圖 76結(jié)構(gòu)相同，但是因?yàn)樽罱K分類的不明確性，每個(gè)決策都以形式 (|Ti|/E)和兩個(gè)參數(shù)關(guān)聯(lián)。P(Ti) ? 對(duì)于屬性 1的檢驗(yàn) x1分區(qū)結(jié)果，丟失值的記錄將被表示在 3個(gè)子集中。 ? 當(dāng)一值是未知時(shí)，只能得出不穩(wěn)定的概率描述。 ? 分區(qū)前的熵是： Info(T)=8/13log2(8/13)5/13log2(5/13) = ? 屬性 1檢驗(yàn)的信息： infox1(T)=5/13(2/5log2(2/5)3/5log2(3/5)) +3/13(3/3log2(3/3)0/3log2(0/3)) +5/13(3/5log2(3/5)2/5log2(2/5)) = ? 該檢驗(yàn)所獲得的信息系數(shù) F(F=13/14)修正： Gain(x1)=13/14()= ? 該值比上個(gè)例子的值 。 ? 例如：一個(gè)改進(jìn)了的 。 ? Ｆ＝數(shù)據(jù)庫(kù)中一個(gè)給出的屬性值具有已知值的樣本的數(shù)量 /數(shù)據(jù)集中樣本數(shù)量總和。 ? 第一種解決方案很簡(jiǎn)單，但當(dāng)樣本集中存在大量丟失值時(shí)不能采用這種方法。但是在一個(gè)數(shù)據(jù)庫(kù)，經(jīng)常會(huì)缺少某些樣本的一些屬性。 ? 另外，決策樹(shù)可以用可執(zhí)行代碼（或偽代碼）的形式表示。 ? 對(duì)于余下的節(jié)點(diǎn)，在 T1中有 5個(gè)樣本，最優(yōu)檢驗(yàn)有兩個(gè)選擇：屬性 2≤70和屬性 2＞ 70的檢驗(yàn) x4。 從這 8個(gè)值里選擇最優(yōu)的閾值 (最高信息增益 )，最優(yōu)的 Z=80。通常選擇區(qū)間的中點(diǎn)為閾值。下面先介紹一下 算法中一般包含 3種類型的檢驗(yàn)結(jié)構(gòu)： “ 標(biāo)準(zhǔn) ” 檢驗(yàn)，對(duì)屬性的每個(gè)可能值有一個(gè)分枝和輸出。所需信息為子集的熵的加權(quán)和 : ))()/()(1iniix TinfoTTTinfo ??? ??? 分區(qū)所對(duì)應(yīng)的信息增益 : ? 上式度量了按照檢驗(yàn) X進(jìn)行分區(qū)的 T所得到的信息。僅有的指導(dǎo)信息是在 T和它的子集 Ti中的類分布。這種情況下，是把 T精化成朝向一個(gè)單類樣本集的樣本子集。那么 T的決策樹(shù)是由類 Cj標(biāo)識(shí)的一個(gè)葉節(jié)點(diǎn)。在每個(gè)非葉決策點(diǎn)處，確定該節(jié)點(diǎn)的屬性檢驗(yàn)結(jié)果，把注意力轉(zhuǎn)移到所選擇子樹(shù)的根節(jié)點(diǎn)上。 ID3的屬性選擇是根據(jù)一個(gè)假設(shè)，即：決策樹(shù)的復(fù)雜度和所給屬性值表達(dá)的信息量是密切相關(guān)的。 3. 到達(dá)決策樹(shù)的葉節(jié)點(diǎn)的每條路徑表示一個(gè)分類規(guī)則。 ? ID3算法的基本
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1