關于決策樹剪枝的兩點探討(編輯修改稿)
2025-07-17 05:02 本頁面
【文章內(nèi)容簡介】 性作為當前結點的測試屬性。該屬性使得結果劃分中的樣本分類所需的信息量最小，并反映劃分的最小隨機性或“不純性”。這種信息理論方法使得對一個對象分類所需的期望測試數(shù)目達到最小，并盡量確保一棵簡單的(但不必是最簡單的)樹來刻畫相關的信息。在ID3算法中，計算信息增益時，由于信息增益存在一個內(nèi)在偏置，它偏袒具有較多值的屬性，太多的屬性值把訓練樣例分割成非常小的空間。因此，這個屬性可能會有非常高的信息增益，而且被選作樹的根結點的決策屬性，并形成一棵深度只為一級但卻非常寬的樹，這棵樹可以理想地分類訓練數(shù)據(jù)。但是這個決策樹對于測試數(shù)據(jù)的分類性能可能會相當差，因為它過分地完美地分割了訓練數(shù)據(jù)，不是一個好的分類器。解決此類問題最好的方法是對屬性值進行分類，以減少其取值的數(shù)量。比如，某學院的專業(yè)數(shù)量有20多個，為了降低模型的復雜度，在進行數(shù)據(jù)處理時，對各專業(yè)按照其性質進行分類，可以有效地減少屬性的取值，從而降低模型的復雜度。假設有表格數(shù)據(jù)如表1所示。姓名性別專業(yè)名稱成績班干否英語水平計算機水平綜合能力工資待遇專業(yè)對口否主觀意愿行業(yè)發(fā)展就業(yè)否何石竹103022231130羅幼才204132331030王天麟112021220131趙遠威132021121131楊飛11403
環(huán)評公示相關推薦
鄂ICP備17016276號-1