決策樹(完整)(編輯修改稿)
2025-02-09 17:54 本頁面
【文章內(nèi)容簡介】 器學(xué)習能力低下， 對訓(xùn)練樣本的一般性質(zhì)尚未學(xué)好。 過擬合無法徹底避免，只能做到“緩解”。 剪枝，即通過主動去掉一些分支來降低過擬合的風險。 預(yù)剪枝 決策樹的剪枝策略 后剪枝 ???預(yù)剪枝 ：在決策樹生成過程中，對每個結(jié)點在劃分前先進行估計，若當前結(jié)點的劃分不能帶來決策樹泛化性能提升，則停止劃分并將當前結(jié)點標記為葉結(jié)點 后剪枝 ：先從訓(xùn)練集生成一棵完整的決策樹，然后自底向上地對非葉結(jié)點進行考察，若將該結(jié)點對應(yīng)的子樹替換為葉結(jié)點能帶來決策樹泛化性能提升，則將該子樹替換為葉結(jié)點。 留出法：將數(shù)據(jù)集 D劃分為兩個互斥的集合：訓(xùn)練集 S和測試集 T S T??ST? ? ?且 預(yù)剪枝 1,2,3,14 訓(xùn)練集 ： 好瓜 壞瓜1,2,3,6,7,10,14,15,16,17 6,7,15,17 10,16 精度：正確分類的樣本占所有樣本的比例 4,5,13 (T,T,F) 8,9 (T,F) 11,12 (T,T) 驗證集 ： 4,5,8,9,11,12,13 3=75不足 ： ? 基于“貪心”本質(zhì)禁止某些分支展開，帶來了欠擬合的風險 預(yù)剪枝使得決策樹的很多分支都沒有“展開” 優(yōu)點 ： ? 降低過擬合的風險 ? 減少了訓(xùn)練時間開銷和測試時間開銷 后剪枝 先從訓(xùn)練集生成一棵完整的決策樹，然后自底向上地對非葉結(jié)點進行考察，若將該結(jié)點對應(yīng)的子樹替換為葉結(jié)點能帶來決策樹泛化性能提升，則將該子樹替換為葉結(jié)點。 驗證集 ： 4,5,8,9,11,12 4,13 (T,F) 5 (F) 9 (F) 8 (F) 11,12 (T,T) 驗證集精度： 37考察結(jié)點順序：⑥⑤②③① 6,7,15,17 6,7,15 17 6 7,15 7 15 8,9 (T,F) 減去結(jié)點⑥ 驗證集變?yōu)椋? 47訓(xùn)練集 ： 好瓜 壞瓜1,2,3,6,7,10,14,15,16,17 后剪枝 決策樹 預(yù)剪枝 決策樹 ? 保留了更多的分支 ? 欠擬合風險很小 ? 泛化能力優(yōu)于預(yù)剪枝決策樹 ? 訓(xùn)練時間開銷比 未減枝和預(yù)剪枝 決策樹大得多 1. 生產(chǎn)完全決策樹 2. 所有非葉節(jié)點逐一考察 知識回顧： 1. 四類學(xué)習任務(wù) 2. Hunt算法 3種遞歸返回情形、第 8行 3.
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1