分支合并對(duì)決策樹歸納學(xué)習(xí)的影響-在線瀏覽
2024-12-06 11:54本頁面
【正文】 當(dāng)前 結(jié)點(diǎn)的兩個(gè)兒子結(jié)點(diǎn)合并為一個(gè)（簡(jiǎn)稱分支合并）并繼續(xù)樹的生長 ， 直至完成樹的構(gòu)建。 則最終產(chǎn)生的樹與沒有進(jìn)行分支合并所產(chǎn)生的樹 ， 從結(jié)構(gòu)、規(guī)模、復(fù)雜性、精度等方面上將有很大區(qū)別 。 兩種分支合并算法 ? 基于正例比的分支合并 ? 基于 Margin的分支合并 兩種分支合并算法 ? 基于正例比的分支合并： 考慮兩類問題 ， 將 [0,1]區(qū)間分為若干個(gè)小區(qū)間 ， 然后計(jì)算每個(gè)分支中正例所占比例 ， 將比例落入同一個(gè)小區(qū)間的分支合并為一個(gè)分支 。那么是否可以說Margin越小，數(shù)據(jù)間的聯(lián)系就越大呢？ ? 基于這種考慮，提出新的分支合并算法：對(duì)于當(dāng)前節(jié)點(diǎn)的所有子節(jié)點(diǎn)，計(jì)算每兩個(gè)子節(jié)點(diǎn)間數(shù)據(jù)的 Margin，將 Margin比較小的分支合并為一個(gè)。 一個(gè)定理 (證明過程省略 ) ? 假定在決策樹的一個(gè)非葉節(jié)點(diǎn)上 , 選擇某個(gè)屬性 A作為擴(kuò)展屬性 ,A 的取值范圍是 ， ? 則可以通過某種合并策略可以將 m 個(gè)屬性值中的某些進(jìn)行合并 。 1 2 m{ A , A , , A }信息補(bǔ)償 ? 從上面定理的證明我們可以知道，進(jìn)行分支合并后熵會(huì)增大，根據(jù) Quinlan 的極小熵原則，我們
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1