決策樹和決策規(guī)則概述-全文預(yù)覽
【正文】 ，因此對(duì) Y僅有 m1個(gè)分區(qū)，要系統(tǒng)在檢查所有分區(qū)以求得最優(yōu)分區(qū)。 )()()( TinfoTinfoXGain x??? 9個(gè)樣本屬于類 1， 5個(gè)屬于類 2，因此分區(qū)前的熵為 （基于類的熵計(jì)算） info(T)=9/14log2(9/14)5/14log2(5/14) = ? 按屬性 1分區(qū)可得子集的熵的加權(quán)和： infox1(T)=5/14(2/5log2(2/5)3/5log2(3/5)) +4/14(4/4log2(4/4)0/4log2(0/4)) +5/14(3/5log2(3/5)2/5log2(2/5)) = 相應(yīng)的增益 : Gain(x1)== ? 按屬性 3分區(qū)可得子集的熵的加權(quán)和： infox2(T)=6/14(3/6log2(3/6)3/6log2(3/6)) +8/14(6/8log2(6/8)2/8log2(2/8)) = 相應(yīng)的增益 : Gain(x2)== ? 由于屬性 2是數(shù)值型的連續(xù)數(shù)據(jù)，不能簡(jiǎn)單按上面方式計(jì)算。 ? 集合 S的期望信息 (熵 )如下： ? T被分區(qū)之后的一個(gè)相似度標(biāo)準(zhǔn)， T按照一個(gè)屬性檢驗(yàn) X的幾個(gè)輸出進(jìn)行分區(qū)。 T的決策樹包含標(biāo)識(shí)檢驗(yàn)的一個(gè)決策點(diǎn)和每個(gè)可能輸出的一個(gè)分枝 (如圖 73a中的 A,B和 C節(jié)點(diǎn) ) ? 假設(shè)選擇有 n個(gè)輸出 (所給屬性的 n個(gè)值 )的檢驗(yàn)，把訓(xùn)練樣本集 T分區(qū)成子集 T1,T2,…,Tn。 3. T包含屬于不同類的樣本。用 {C1,C2,…,CK}來表示這些類，集合 T所含的內(nèi)容信息有 3種可能性： 1. T包含一個(gè)或更多的樣本，全部屬于單個(gè)的類 Cj。決策樹可以用來對(duì)一個(gè)新樣本進(jìn)行分類，這種分類從該樹的根節(jié)點(diǎn)開始，然后移動(dòng)樣本直至達(dá)葉節(jié)點(diǎn)。 ? 基于信息論的方法堅(jiān)持對(duì)數(shù)據(jù)庫(kù)中一個(gè)樣本進(jìn)行分類時(shí)所做檢驗(yàn)的數(shù)量最小。 2. 這個(gè)算法遞歸地應(yīng)用于每個(gè)子節(jié)點(diǎn)，直到一個(gè)節(jié)點(diǎn)上的所有樣本都分區(qū)到某個(gè)類中。 ? 生成決策樹的一個(gè)著名的算法是Quinlan的 ID3算法， 。該問題有兩個(gè)屬性 X,Y。 決策樹 ? 從數(shù)據(jù)中生成分類器的一個(gè)特別有效的方法是生成一個(gè)決策樹。由一組輸入的屬性值向量 (也叫屬性向量 )和相應(yīng)的類，用基于歸納學(xué)習(xí)算法得出分類。 ? 一般來說，分類是把數(shù)據(jù)項(xiàng)映射到其中一個(gè)事先定義的類中的
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1