分支合并對(duì)決策樹歸納學(xué)習(xí)的影響(更新版)
【正文】 ? 在某一個(gè)中間節(jié)點(diǎn)選擇完擴(kuò)展屬性后，對(duì)該屬性發(fā)出的所有分支（除去葉節(jié)點(diǎn)）中的每兩個(gè)進(jìn)行預(yù)合并，計(jì)算合并后繼續(xù)擴(kuò)展得到的信息補(bǔ)償，選擇信息補(bǔ)償最大的兩個(gè)分支進(jìn)行真正的合并。 回顧（ 1） ? 上次介紹了決策樹歸納學(xué)習(xí)中的分支合并及其發(fā)展現(xiàn)狀，又給出兩種分支合并算法，分別是基于最大 Margin的分支合并算法和基于正例比的分支合并算法。 實(shí)驗(yàn)結(jié)果 ? 表 1 基于正例比例決策樹 和 ID3的比較結(jié)果 ? 實(shí)驗(yàn)結(jié)果 ? 基于 Margin的分支合并決策樹算法與 ID3比較結(jié)果。 則最終產(chǎn)生的樹與沒有進(jìn)行分支合并所產(chǎn)生的樹 ， 從結(jié)構(gòu)、規(guī)模、復(fù)雜性、精度等方面上將有很大區(qū)別 。 1 2 m{ A , A , , A }信息補(bǔ)償 ? 從上面定理的證明我們可以知道，進(jìn)行分支合并后熵會(huì)增大，根據(jù) Quinlan 的極小熵原則，我們不應(yīng)該進(jìn)行分支合并。 回顧（ 3） ? 我們希望信息補(bǔ)償為正，而且如果補(bǔ)償?shù)男畔⒈葋G失信息多的話，即 IGComIGLoss0，那么就可以說經(jīng)過分支合并后，雖然存在信息丟失，但是通過繼續(xù)選擇擴(kuò)展屬性，可以對(duì)信息進(jìn)行一個(gè)補(bǔ)償?shù)淖饔?，也就在某種程度上為分支合并提供了解釋。 謝謝！
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1