分支合并對決策樹歸納學習的影響-文庫吧資料
2024-10-25 11:54本頁面
【正文】 合并算法。 信息補償 ? 在分支合并后，熵會增加，我們稱為信息丟失，而在合并后繼續(xù)選取擴展屬性，這個時候如果一個分支得到的信息增益大于合并前兩個分支的信息增益的加權(quán)和，那么我們可以說信息得到了一個補償，稱作信息補償。但是兩個實驗數(shù)據(jù)又說明進行分支合并后會降低樹的規(guī)模，提高樹的泛化能力。 但無論采用什么樣的分支合并策略 ， 合并后屬性 A的信息增益都不會增加 。 實驗結(jié)果 ? 表 1 基于正例比例決策樹 和 ID3的比較結(jié)果 ? 實驗結(jié)果 ? 基于 Margin的分支合并決策樹算法與 ID3比較結(jié)果。 .0 1 k 1 k k + 1 2 k 1 2 k0 0 5 1? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ?兩種分支合并算法 ? 基于 Margin的分支合并 ? 某種程度來說，數(shù)據(jù)間的 Margin越大，則其聯(lián)系越小，也就越容易分開。 分支合并介紹 分支合并介紹 分支合并研究現(xiàn)狀 ? 洪家榮于 1995在 《 一種新的決策樹歸納學習算法 》 中最早提出： ID3及其它已有的決策樹算法只是試圖減少樹的深度，而忽略了對決策樹葉子數(shù)目的研究 , 然而正是后者對決策樹的精度起主要作
教學課件相關(guān)推薦
鄂ICP備17016276號-1