決策樹學習培訓講義-資料下載頁
2025-01-13 19:37本頁面
【正文】 ?p?p?p25 性能度量 —— 信息增益 ? 屬性的信息增益 ? 使用這個屬性分割樣例而導致的期望熵降低的數(shù)量 ? Values(A)是屬性 A所有可能值的集合 ? Sv 是 S中屬性 A的值為 v的子集 ，即 Sv={s?S|A(s)=v} ? 當對 S的一個任意成員的目標值編碼時， Gain(S,A)的值是在知道屬性 A的值后可以節(jié)省的二進制位數(shù) )(|| ||)(),()(????AValu esvvv SEntr op ySSSEntr op yASGain26 例子 ? 假設 S是有關天氣的訓練樣例集 [9+,5] ? 其中： ? wind=weak的樣例是 [6+,2] ? wind=strong的樣例 [+3,3] ? 問題 :計算屬性 wind的信息增益 ? S的熵： E(S)= (9/14)log(9/14) – (5/14)log(9/14)= )14/6()14/8()()14/6()()14/8()()(||||)(),(},{????????? ??S tro n gWeakS tro n gWeakvvvSEntropySEntropySEntropySEntropySSSEntropyWindSGain27 選擇最好的分類屬性 28 大綱 ? 簡介 ? 決策樹學習算法 ? 應用實例 29 應用實例 ? 問題及數(shù)據(jù)集 ? 根據(jù)其他屬性，判斷周六是否玩網(wǎng)球playTennis=Y/N? 30 Step1: 確定根節(jié)點 ? 分別計算 4個屬性的信息增益 ? Outlook: ? =Sunny [2+,3] ? =Overcast [4+,0] ? =Rain [3+,2] ? Wind: ? =weak的樣例是 [6+,2] ? =strong的樣例 [+3,3] ? Humidity : ? Temperature : ? 因此：根節(jié)點為 Outlook 31 Step 2: 分枝 選擇哪個屬性進行劃分？ 32 Step 3: 循環(huán) 選擇哪個屬性進行劃分？ 33 小結 ? 實例是由“屬性 值”對（ pair）表示的 ? 目標函數(shù)具有離散的輸出值 ? 可能需要析取的描述（ disjunctive description） ? 訓練數(shù)據(jù)可以包含錯誤 ? 訓練數(shù)據(jù)可以包含缺少屬性值的實例 34 作業(yè) ? 61畫出表示下面布爾函數(shù)的決策樹 ? （ a） A?172。B ? （ b） A?[B?C] ? （ c） A XOR B ? （ d） [A?B] ? [C?D] 35 作業(yè) ? 62考慮下面的訓練樣例集合 ? 手動給出決策樹的構造過程 36 作業(yè) ? 63 ID3僅尋找一個一致的假設，而候選消除算法尋找所有一致的假設?？紤]這兩種學習算法間的對應關系 ? （ a）假定給定 EnjoySport的四個訓練樣例，畫出ID3學習的決策樹 ? （ b）學習到的決策樹和從同樣的樣例使用變型空間算法得到的變型空間間有什么關系？樹等價于變型空間的一個成員嗎？ 37 作業(yè) ? 64 實現(xiàn) ID3算法，并以 PlayTennis實例中的訓練集進行訓練，給出最終的決策樹 38
法律信息相關推薦
鄂ICP備17016276號-1