分支合并對決策樹歸納學(xué)習(xí)的影響(留存版)
【正文】 息補償?shù)姆种Ш喜⒎椒ǎ蠖鄶?shù)情況下 IGCom0，并且有時可以達到 IGComIGLoss0 ，其預(yù)測精度也要高于 ID3。 一個定理 (證明過程省略 ) ? 假定在決策樹的一個非葉節(jié)點上 , 選擇某個屬性 A作為擴展屬性 ,A 的取值范圍是 ， ? 則可以通過某種合并策略可以將 m 個屬性值中的某些進行合并 。 但無論采用什么樣的分支合并策略 ， 合并后屬性 A的信息增益都不會增加 。 進一步的工作 ? 下一步的工作就是再找?guī)讉€數(shù)據(jù)進行實驗，進一步驗證信息補償?shù)拇嬖诳赡苄裕? ? 如果 IGComIGLoss0，查看其子孫節(jié)點的信息補償情況； ? 以及深入分析分支合并與信息的關(guān)系。但是兩個實驗數(shù)據(jù)又說明進行分支合并后會降低樹的規(guī)模，提高樹的泛化能力。那么是否可以說Margin越小，數(shù)據(jù)間的聯(lián)系就越大呢？ ? 基于這種考慮，提出新的分支合并算法：對于當前節(jié)點的所有子節(jié)點，計算每兩個子節(jié)點間數(shù)據(jù)的 Margin，將 Margin比較小的分支合并為一個。 ? 但是我們又進一步分析了 IGCom0的情況，并且提出了一種基于 IGCom的分支合并算法 — 基于最大 IGCom的分支合并算法。 ? 目前這個工作正在研究當中。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1