決策樹信息論c45算法-文庫吧資料
2025-01-18 19:41本頁面
【正文】 編程語言的實(shí)現(xiàn) 網(wǎng)絡(luò)鏈接： 本機(jī)文件： 數(shù)據(jù)挖掘中 ID3算法實(shí)現(xiàn) .txt ID3算法 優(yōu)點(diǎn) 1. 算法簡單 2. 易于理解 缺點(diǎn) 1. 偏向分割屬性中取值多的一個(gè) 2. 只能處理離散屬性 3. ID3不包括樹剪枝，易受噪聲和波動影響 4. 不宜對變化的數(shù)據(jù)集進(jìn)行學(xué)習(xí) ID3缺點(diǎn) 1：偏向分割屬性中取值較多的一個(gè) 原因：分割屬性取值越多，每個(gè)值對應(yīng)的子集規(guī)模越小。 ID3算法 :建樹算法 ? 自頂向下： ? 從父節(jié)點(diǎn)開始，逐層向下 ? 貪心： 例如“ 100個(gè)數(shù)，挑出 5個(gè)很小的數(shù)” 貪心法 ? 在每層總?cè)』バ畔⒘孔钚〉膶傩? ? 但不保證整個(gè)決策樹是最優(yōu)的 ? 如果各屬性彼此獨(dú)立則最優(yōu) ? 如果有相關(guān)性，可能非最優(yōu) ? 遞歸： – 一個(gè)程序在過程中有調(diào)用自身 – 將大型復(fù)雜的問題層層轉(zhuǎn)化為一個(gè)與原問題相似的規(guī)模較小的問題來求解 ID3算法 :建樹算法 1) 對窗口的所有分割屬性，計(jì)算各自的互信息量； 2) 選擇互信息最大的特征 Ak，作為內(nèi)部節(jié)點(diǎn) 3) 把在 Ak處取值相同的屬性歸于同一子集，將當(dāng)前表格的行劃分成不同的子集； 4) 判斷子集，若各子集中類別屬性相同，則在決策樹上作相應(yīng)類別標(biāo)記，并返回 5) 否則將子集作為 1)中的窗口，進(jìn)行 迭代 計(jì)算。 ? XXX熵 ===XXX的信息量的加權(quán) 后驗(yàn)熵 =后驗(yàn)概率的信息量的加權(quán) 信息論基礎(chǔ) jjH ( X ) :Xyy后 驗(yàn) 熵 后 驗(yàn) 概 率 的 信 息 量 的 加 權(quán)在 得 知 的 輔 助 條 件 后事 件 的 平 均 信 息 量 （ 不 確 定 程 度 ）j j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?? 對事件 X的全部結(jié)果在某一輔助條件下進(jìn)行討論： 信息論基礎(chǔ) j j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?? 對事件 X的全部結(jié)果在某一輔助條件下進(jìn)行討論： 例：在民意調(diào)查的結(jié)果幫助下（ y1） 計(jì)算 2023年誰是總統(tǒng)的不確定性 H(誰當(dāng)選 |民調(diào)奧領(lǐng)先 )=？ 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 先驗(yàn)概率 ? 信息量 ? 熵 =自信息量 ? 后驗(yàn)概率 ? 后驗(yàn)墑 ? 條件熵 jP ( x )i yj j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) H ( X )XYY條 件 熵 ：在 得 知 的 全 部 可 能 輔 助 條 件 后事 件 的 平 均 信 息 量 （ 不 確 定 程 度 ）? 對事件 X的全部結(jié)果在全部輔助條件下進(jìn)行討論： j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) ? 條件熵 即對后驗(yàn)墑的所有可能輔助條件 Yj累計(jì) jj2j=1H(X)=P(x)log()Niiiyy?j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 先驗(yàn)概率 ? 信息量 ? 熵 =自信息量 ? 后驗(yàn)概率 ? 后驗(yàn)墑 ? 條件熵 jP ( x )i yj j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) 2I ( x ) = l og P ( x )ii2=1H ( X ) = P ( x ) l og P ( x )Niii?P(x )i辨析 ? 信息量 ? 熵 =自信息量 ? 先驗(yàn)概率 ? 后驗(yàn)概率 ? 后驗(yàn)墑 ? 條件熵 ? 互信息量 j( x )i yj j 2 j=1H ( X ) = P ( x ) l og P ( x )Niiiy y y?？ ？ — — ID3j 2 j= 1 = 1H ( X ) = ( y ) P ( x ) l og P ( x )MNj i ijiY P y y?? 信息論基礎(chǔ) 對于條件墑 H(X|Y) ? 由于輔助條件 Y的存在 ? 由熵 —— 不確定程度 —— 事件 X的平均信息量 ? 所以一般情況下 H(X)=H(X|Y) I(X|Y)=H(X)H(X|Y) 信息論基礎(chǔ) jj 2 j= 1 = 12= 1 = 12=1YXP ( x ,x ) P ( x ) P ( y )P ( x ) = = =P ( x )( y ) ( x )H ( X ) = ( y ) P ( x ) l og P ( x )=
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1