決策樹(完整)-在線瀏覽
2025-02-23 17:54本頁面
【正文】 全部樣本 ? 葉結(jié)點：對應決策結(jié)果 “好瓜” “壞瓜” ? 內(nèi)部結(jié)點：對應屬性測試 決策樹學習的目的：為了產(chǎn)生一顆泛化能力強的決策樹，即處理未見示例能力強。 三種度量結(jié)點“純度”的指標： 1. 信息增益 2. 增益率 3. 基尼指數(shù) 1. 信息增益 香農(nóng)提出了“信息熵”的概念，解決了對信息的量化度量問題。 信息熵 對于二分類任務 2y ?一個事件的 信息量 就是這個事件發(fā)生的概率的負對數(shù)。所以信息熵其實是信息量的期望。 決策樹算法第 8行選擇屬性 著名的 ID3決策樹算法 舉例：求解劃分根結(jié)點的最優(yōu)劃分屬性 根結(jié)點的信息熵： 以屬性“色澤”為例計算其信息增益 1817p ?2917p ?數(shù)據(jù)集包含 17個訓練樣例： 8個正例（好瓜）占 9個反例（壞瓜）占 對于二分類任務 2y ?用“色澤”將根結(jié)點劃分后獲得 3個分支結(jié)點的信息熵分別為： 屬性 “色澤 ”的信息增益為： 若把“編號”也作為一個候選劃分屬性，則屬性“編號”的信息增益為： 根結(jié)點的信息熵仍為 ： ( ) 98E nt D ?用“編號”將根結(jié)點劃分后獲得 17個分支結(jié)點的信息熵均為： 1 17221 1 0 0( ) ( ) ( l og l og ) 01 1 1 1En t D En t D? ? ? ? ? ?則“編號”的信息增益為： 1711( , ) ( ) ( ) 817vvG ain D E nt D E nt D?? ? ??編 號遠大于其他候選屬性 信息增益準則對可取值數(shù)目較多的屬性有所偏好 2. 增益率 增益率準則對可取值數(shù)目較少的屬性有所偏好 著名的 信息增益準則 和 信息率準則 的特點：先從候選劃分屬性中找出信息增益高于平均水平的屬性，再從中選擇增益率最高的。 ? 欠擬合 ： 學習器學習能力低下， 對訓練樣本的一般性質(zhì)尚未學好。 剪枝，即通過主動去掉一些分支來降低過擬合的風險。 留出法：將數(shù)據(jù)集 D劃分為兩個互斥的集合：訓練集 S和測試集 T S T??ST? ? ?且 預剪枝 1,2,3,14 訓練集 ： 好瓜 壞瓜1,2,3,6,7,10,14,15,16,17 6,7,15,17 10,16 精度：正確分類的樣本占所有樣本的比例 4,5,13 (T,T,F) 8,9
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1