決策樹和決策規(guī)則概述-文庫吧資料
2025-01-16 21:56本頁面
【正文】 9/14(7/9log2(7/9)2/9log2(2/9)) +5/14(2/5log2(2/5)3/5log2(3/5)) = 相應(yīng)的增益 : Gain(x3)== ? 屬性 1的增益最高，選擇該屬性進行首次分區(qū)。 ? 對于上例，屬性 2的值的集合是 : {65,70,75,78,80,85,90,95,96} 可能的閾值 Z的集合是 : {65,70,75,78,80,85,90,95}。 ? 而 {vi,vi+1}的最小值 vi為閾值。 ? 數(shù)值型屬性檢驗： 對于屬性 Y，按訓(xùn)練樣本進行分類，分類順序用 {v1,v2,…,vm}表示，因此對 Y僅有 m1個分區(qū)，要系統(tǒng)在檢查所有分區(qū)以求得最優(yōu)分區(qū)。 Y有連續(xù)的數(shù)值，通過將該值和閾值 Z比較，用輸出 Y≤Z和 Y＞ Z定義二元檢驗。 )()()( TinfoTinfoXGain x??? 9個樣本屬于類 1， 5個屬于類 2，因此分區(qū)前的熵為 （基于類的熵計算） info(T)=9/14log2(9/14)5/14log2(5/14) = ? 按屬性 1分區(qū)可得子集的熵的加權(quán)和： infox1(T)=5/14(2/5log2(2/5)3/5log2(3/5)) +4/14(4/4log2(4/4)0/4log2(0/4)) +5/14(3/5log2(3/5)2/5log2(2/5)) = 相應(yīng)的增益 : Gain(x1)== ? 按屬性 3分區(qū)可得子集的熵的加權(quán)和： infox2(T)=6/14(3/6log2(3/6)3/6log2(3/6)) +8/14(6/8log2(6/8)2/8log2(2/8)) = 相應(yīng)的增益 : Gain(x2)== ? 由于屬性 2是數(shù)值型的連續(xù)數(shù)據(jù)，不能簡單按上面方式計算。該增益標(biāo)準(zhǔn)選擇了使 Gain(X)最大化的檢驗 X，即此標(biāo)準(zhǔn)選擇的具有最高增益的那個屬性。 ? 集合 S的期望信息 (熵 )如下： ? T被分區(qū)之后的一個相似度標(biāo)準(zhǔn)， T按照一個屬性檢驗 X的幾個輸出進行分區(qū)。 ? 如果 S是任意樣本集，設(shè) freq(Ci,S)代表 S中屬于 Ci的樣本數(shù)量， |S|表示集合 S中的樣本數(shù)量。 T的決策樹包
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1