分支合并對決策樹歸納學習的影響(更新版)
【正文】 ? 在某一個中間節(jié)點選擇完擴展屬性后，對該屬性發(fā)出的所有分支（除去葉節(jié)點）中的每兩個進行預合并，計算合并后繼續(xù)擴展得到的信息補償，選擇信息補償最大的兩個分支進行真正的合并。 回顧（ 1） ? 上次介紹了決策樹歸納學習中的分支合并及其發(fā)展現(xiàn)狀，又給出兩種分支合并算法，分別是基于最大 Margin的分支合并算法和基于正例比的分支合并算法。 實驗結(jié)果 ? 表 1 基于正例比例決策樹 和 ID3的比較結(jié)果 ? 實驗結(jié)果 ? 基于 Margin的分支合并決策樹算法與 ID3比較結(jié)果。 則最終產(chǎn)生的樹與沒有進行分支合并所產(chǎn)生的樹 ， 從結(jié)構(gòu)、規(guī)模、復雜性、精度等方面上將有很大區(qū)別 。 1 2 m{ A , A , , A }信息補償 ? 從上面定理的證明我們可以知道，進行分支合并后熵會增大，根據(jù) Quinlan 的極小熵原則，我們不應該進行分支合并。 回顧（ 3） ? 我們希望信息補償為正，而且如果補償?shù)男畔⒈葋G失信息多的話，即 IGComIGLoss0，那么就可以說經(jīng)過分支合并后，雖然存在信息丟失，但是通過繼續(xù)選擇擴展屬性，可以對信息進行一個補償?shù)淖饔?，也就在某種程度上為分支合并提供了解釋。 謝謝！
教學課件相關(guān)推薦
鄂ICP備17016276號-1