決策樹c45算法總結(參考版)
2025-01-16 19:39本頁面
【正文】 ，它使用訓練集生成決策樹又用它來進行剪枝，不需要獨立的剪枝集 。將訓練完的決策樹轉(zhuǎn)換成規(guī)則，通過刪除不會降低估計精度的前件修剪每一條規(guī)則。對決策樹進行編碼，通過剪枝得到編碼最小的樹。 3) 最小描述長度準則。 2) 最小代價與復雜性折中的剪枝。 過擬合問題 后剪枝： 1) 減少分類錯誤修剪法。從已有節(jié)點獲得的所有信息增益統(tǒng)計其分布，如果繼續(xù)生長得到的信息增 益與該分布相比不顯著，則停止樹的生長。當某節(jié)點的信息增益小于某閾值時，停止樹生長。劃分數(shù)據(jù)成訓練樣本和測試樣本，使用用訓練樣本進行訓練，使用測試樣本進行樹生長檢驗。所謂先剪枝，實際上是控制決策樹的生長；后剪枝 是指，對完全生成的決策樹進行修剪 。 過擬合問題 過擬合： 有監(jiān)督的算法需要考慮泛化能力，在有限樣本的條件下，決策樹超過一定規(guī)模后，訓練錯誤率減小，但測試錯誤率 會增加。 d) 走所有分支，根據(jù)不同輸出結果的概率進行組合。 b) 走最常見的值的分支。 f) 確定最可能的取值，按比例僅分配給一個子數(shù)據(jù)集。 c ) 根據(jù)其他非缺失屬性的比例，分配到子數(shù)據(jù)集中。 2）具有缺失值的樣本在進行數(shù)據(jù)分裂時，分配給哪個子數(shù)據(jù)集？ 解決 方案： a) 忽略該類樣本。 c ) 依據(jù)缺失比例，折算信息增益 /信息增益率。 《 Unknown attribute values in induction.》 JR Quinlan ML, 1989 Citeseer ? 三種情況： 1）在具有缺失值的屬性上如何計算信息增益率？ 解決方案： a) 忽略該類樣本。 Temperature： 40 48 60 72 80 90 Play Tennis: No No Yes Yes Yes Yes 《 On the handling of continuousvalued attributes in decision tree generation》 UM Fayyad, KB Irani Machine learning, 1992 Springer 《 Multiinterval discretization of continuousvalued attributes for classification learning》 U Fayyad, K Irani 1993 處理缺失值 ID3算法：不能處理缺失值。 ：以二值離散的方式處理連續(xù)型數(shù)據(jù)。 3）所有屬性都已經(jīng)被分裂過。 增益 比（ Gain ratio）：增益 /屬性熵 樹停止生長條件 1）節(jié)點內(nèi)的數(shù)據(jù)已經(jīng)完全屬于同一類別。增益準則的一個缺陷是它偏向于選擇具有更多取值的屬性作為節(jié)點分裂屬性。同樣 方法計算當選擇 temperature、 humidity、windy
外語相關推薦
鄂ICP備17016276號-1