決策樹(shù)(完整)(參考版)
2025-01-24 17:54本頁(yè)面
【正文】 優(yōu)點(diǎn)： 學(xué)習(xí)結(jié)果解釋性強(qiáng)，每個(gè)劃分都對(duì)應(yīng)一個(gè)屬性取值 2個(gè)屬性 ~二維平面 不足： 1diiiw a t???可以從該結(jié)點(diǎn)所含的樣本集 D和屬性集 A上學(xué)得 ,iwt。 出于成本和隱私的考慮 1. 屬性值缺失 時(shí)，如何 進(jìn)行劃分屬性選擇？ （如何計(jì)算信息增益） 2. 給定劃分屬性，若樣本在該屬性上的值缺失，如何對(duì)樣本進(jìn)行劃分？ （對(duì)于缺失屬性值的樣本如何將它從父結(jié)點(diǎn)劃分到子結(jié)點(diǎn)中） :D訓(xùn)練集 :D訓(xùn)練集中在屬性 a上沒(méi)有缺失值的樣本子集 :v被屬性 a劃分后的樣本子集 kD中屬于第 k類的樣本子集 無(wú)缺失值樣本中在屬性 上取值 的樣本 所占比例 :?無(wú)缺失值樣本 所占比例 :kp無(wú)缺失值樣本中第 k類所占比例 :vr vaa無(wú)缺失值的樣本子集 上的信息增益 D對(duì)于問(wèn)題 2： 對(duì)于有缺失值的樣本如何將它從父結(jié)點(diǎn)劃分到子結(jié)點(diǎn)中 ?若樣本 在劃分屬性 a上的取值已知，則將 劃入 與其取值對(duì)應(yīng)的子結(jié)點(diǎn) ，且樣本權(quán)值在子結(jié)點(diǎn)中保持為 ?若樣本 在劃分屬性 a上的取值未知，則將 同時(shí)劃入 所有子結(jié)點(diǎn) ，且樣本權(quán)值在子結(jié)點(diǎn)中調(diào)整為 ，就是讓同一個(gè)樣本以不同的概率劃入不同的子結(jié)點(diǎn)中。 連續(xù)屬性離散化技術(shù)：二分法 樣本集 連續(xù)屬性 ，有 n個(gè)不同的取值，將 n個(gè)取值從小到大排序： 劃分點(diǎn) t（數(shù)值） 將 劃分為兩個(gè)子集 和 12{ , , ..., }na a aDaD tD?tD? 1 2 1{ , , ..., , , ..., }i i na a a a a?t?t?tt顯然，對(duì)相鄰的屬性取值 來(lái)說(shuō)， t在區(qū)間 中取任意值所產(chǎn)生的劃分結(jié)果都相同 ia 1i? ?1,iiaa???根結(jié)點(diǎn)的信息熵仍為 ： ( ) 98E nt D ? 220 0 4 4( ) ( l og l og ) 04 4 4 4tEn t D? ? ? ? ?+228 8 5 5( ) ( l og l og ) 113 13 13 13tEn t D ? ? ? ?( , )4 13( ) [ ( ) ( ) ]17 17ttG ain DEn t D En t D En t D??? ? ? ? ??密 度 ,根結(jié)點(diǎn)包含 17個(gè)訓(xùn)練樣本，密度有 17個(gè)不同取值 候選劃分點(diǎn)集合包含 16個(gè)候
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1