數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7(文件)
【正文】 1 F = 1 G = 1: Class1 G = 0 J = 0: Class0 J = 1 K = 0: Class0 K = 1: Class1 決 策 樹： 規(guī)則： IF F=1, G=0, J=1, K=1 THEN class1 ?： ?產(chǎn)生的分類規(guī)則易于理解，準(zhǔn)確率較高。 如果使用葉結(jié)點(diǎn)或者樹枝代替原來的子樹之后，誤差率若能夠下降，則使用此葉結(jié)點(diǎn)或者樹枝代替原來的子樹。 剪枝之后的決策樹的葉結(jié)點(diǎn)不再只包含一類實例。 (1)什么時候剪枝？ 有兩種剪枝策略： （ 1）在樹生成過程中判斷是否還繼續(xù)擴(kuò)展決策樹。 ?有辦法可以減少計算量。 連續(xù)屬性的處理 ?？實際上它先把連續(xù)屬性轉(zhuǎn)換為離散屬性再進(jìn)行處理。 用信息增益率來選擇屬性 ?一般來說率就是用來取平衡用的 ， 就像方差 。但是，在應(yīng)用中， ID3算法不能處理連續(xù)屬性、計算信息增益時偏向于選擇取值較多的屬性等不足。 （ 5） 當(dāng)訓(xùn)練集增加時， ID3的決策樹會隨之變化。雖然它將多個特征用一棵樹連在一起，但聯(lián)系還是松散的。 ⒉ 缺點(diǎn) （ 1） 互信息的計算依賴于特征取值的數(shù)目較多的特征，這樣不太合理。 該算法的計算時間是例子個數(shù)、特征個數(shù)、結(jié)點(diǎn)個數(shù)之積的線性函數(shù)。 （ 2） 在 F3中，對四個特征求互信息，得到風(fēng)特征互信息最大，則以它為該分枝根結(jié)點(diǎn)。 NO. 屬性 類別 天氣 氣溫 濕度 風(fēng) 1 晴 熱 高 無風(fēng) N 2 晴 熱 高 有風(fēng) N 3 多云 熱 高 無風(fēng) P 4 雨 適中 高 無風(fēng) P 5 雨 冷 正常 無風(fēng) P 6 雨 冷 正常 有風(fēng) N 7 多云 冷 正常 有風(fēng) P 8 晴 適中 高 無風(fēng) N 9 晴 冷 正常 無風(fēng) P 10 雨 適中 正常 無風(fēng) P 11 晴 適中 正常 有風(fēng) P 12 多云 適中 高 有風(fēng) P 13 多云 熱 正常 無風(fēng) P 14 雨 適中 高 有風(fēng) N 實例計算 對于氣候分類問題進(jìn)行具體計算有： ⒈ 信息熵的計算 對 9個正例和 5個反例有： P（ u1） =9/14 P（ u2） =5/14 H（ U） =（ 9/14） log（ 14/9） +（ 5/14） log（ 14/5）= ⒉ 條件熵計算 條件熵： A1=天氣 取值 v1=晴 ， v2=多云 ， v3=雨 在 A1處取值晴的例子 5個 ， 取值多云的例子 4 個 ， 取值雨的例子 5 個 ， 故： P（ v1） =5/14 P（ v2） =4/14 P（ v3） =5/14 取值為晴的 5 個例子中有 2 個正例 、 3個反例 ， 故： P（ u1/v1） =2/5， P（ u2/v1） =3/5 同理有： P（ u1/v2） =4/4， P（ u2/v2） =0 P（ u1/v3） =2/5， P（ u2/v3） =3/5 H(U/V)=(5/14)((2/5)log(5/2)+(3/5)log(5/3))+(4/14)((4/4)log(4/4) +0)+(5/14)((2/5)log(5/2)+(3/5)log(5/3)) = ⒊ 互信息計算 對 A1=天氣 處有： I（天氣） =H（ U） H（ U|V） = = bit 類似可得： I（氣溫） = bit I（濕度） = bit I（風(fēng)） = bit ⒋ 建決策樹的樹根和分枝 ID3算法將選擇互信息最大的特征天氣作為樹根，在 14個例子中對天氣的 3個取值進(jìn)行分枝， 3 個分枝對應(yīng) 3 個子集，分別是 : F1={1， 2， 8， 9， 11}， F2={3， 7， 12， 13}， F3={4， 5， 6， 10， 14} 其中 F2中的例子全屬于 P類，因此對應(yīng)分枝標(biāo)記為 P，其余兩個子集既含有正例又含有反例，將遞歸調(diào)用建樹算法。其中 PE、 NE分別表示正例集和反例集，它們共同組成訓(xùn)練集。 實際上，能正確分類訓(xùn)練集的決策樹不止一棵。其它結(jié)點(diǎn)由實體的特征組成，每個特征的不同取值對應(yīng)一分枝。將一些已知的正例和反例放在一起便得到訓(xùn)練集。最后得到一棵決策樹。 ? 決策樹是一種知識表示形式，它是對所有樣本數(shù)據(jù)的高度概括。 對輸入端 U只有 U1， U2兩類 ， 互信息的計算公式為 : ＝ ＝ ∑ ∑ ∑ ＝ － 決策樹方法 ? ? 決策樹是用樣本的屬性作為結(jié)
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1