分支合并對決策樹歸納學(xué)習(xí)的影響(編輯修改稿)
2024-11-15 11:54 本頁面
【文章內(nèi)容簡介】 in越小，數(shù)據(jù)間的聯(lián)系就越大呢？ ? 基于這種考慮，提出新的分支合并算法：對于當(dāng)前節(jié)點的所有子節(jié)點，計算每兩個子節(jié)點間數(shù)據(jù)的 Margin，將 Margin比較小的分支合并為一個。 實驗結(jié)果 ? 表 1 基于正例比例決策樹 和 ID3的比較結(jié)果 ? 實驗結(jié)果 ? 基于 Margin的分支合并決策樹算法與 ID3比較結(jié)果。 一個定理 (證明過程省略 ) ? 假定在決策樹的一個非葉節(jié)點上 , 選擇某個屬性 A作為擴(kuò)展屬性 ,A 的取值范圍是 ， ? 則可以通過某種合并策略可以將 m 個屬性值中的某些進(jìn)行合并 。 但無論采用什么樣的分支合并策略 ， 合并后屬性 A的信息增益都不會增加 。 1 2 m{ A , A , , A }信息補償 ? 從上面定理的證明我們可以知道，進(jìn)行分支合并后熵會增大，根據(jù) Quinlan 的極小熵原則，我們不應(yīng)該進(jìn)行分支合并。但是兩個實驗數(shù)據(jù)又說明進(jìn)行分支合并后會降低樹的規(guī)模，提高樹的泛化能力。 ? 為了解釋這個問題，我們提出了信息補償。 信息補償 ? 在分支合并后，熵會增加，我們稱為信息丟失，而在合并后繼續(xù)選取擴(kuò)展屬性，這個時候如果一個分支得到的信息增益大于合并前兩個分支的信息增益的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1