分支合并對決策樹歸納學(xué)習(xí)的影響(完整版)
【正文】 表示： ? 信息丟失 IGLoss0； ? 信息補(bǔ)償 IGCom有正有負(fù)； ? 并且 IGComIGLoss0。 ? 為了解釋這個問題，我們提出了信息補(bǔ)償。 兩種分支合并算法 ? 基于正例比的分支合并 ? 基于 Margin的分支合并 兩種分支合并算法 ? 基于正例比的分支合并： 考慮兩類問題 ， 將 [0,1]區(qū)間分為若干個小區(qū)間 ， 然后計(jì)算每個分支中正例所占比例 ， 將比例落入同一個小區(qū)間的分支合并為一個分支 。 .0 1 k 1 k k + 1 2 k 1 2 k0 0 5 1? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ?兩種分支合并算法 ? 基于 Margin的分支合并 ? 某種程度來說，數(shù)據(jù)間的 Margin越大，則其聯(lián)系越小，也就越容易分開。 信息補(bǔ)償 ? 在分支合并后，熵會增加，我們稱為信息丟失，而在合并后繼續(xù)選取擴(kuò)展屬性，這個時候如果一個分支得到的信息增益大于合并前兩個分支的信息增益的加權(quán)和，那么我們可以說信息得到了一個補(bǔ)償，稱作信息補(bǔ)償。 信息補(bǔ)償?shù)膶?shí)驗(yàn) ? 這個實(shí)驗(yàn)并沒有達(dá)到我們預(yù)想的結(jié)果。 基于最大 IGCom的分支合并
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1