ai_決策樹學(xué)習(xí)_chap6-資料下載頁
2025-03-08 22:07本頁面
【正文】 ?p25 性能度量 —— 信息增益 ? 屬性的信息增益 ? 使用這個(gè)屬性分割樣例而導(dǎo)致的期望熵降低的數(shù)量 ? Values(A)是屬性 A所有可能值的集合 ? Sv 是 S中屬性 A的值為 v的子集 ，即 Sv={s?S|A(s)=v} ? 當(dāng)對(duì) S的一個(gè)任意成員的目標(biāo)值編碼時(shí)， Gain(S,A)的值是在知道屬性 A的值后可以節(jié)省的二進(jìn)制位數(shù) )(|| ||)(),()(????AValu esvvv SEntro pySSSEntro pyASGain26 例子 ? 假設(shè) S是有關(guān)天氣的訓(xùn)練樣例集 [9+,5] ? 其中： ? wind=weak的樣例是 [6+,2] ? wind=strong的樣例 [+3,3] ? 問題 :計(jì)算屬性 wind的信息增益 ? S的熵： E(S)= (9/14)log(9/14) – (5/14)log(9/14)= )14/6()14/8()()14/6()()14/8()()(||||)(),(},{????????? ??Stro ngWeakStro ngWeakvvvSEntro pySEntro pySEntro pySEntro pySSSEntro pyWindSGain27 選擇最好的分類屬性 28 大綱 ? 簡(jiǎn)介 ? 決策樹學(xué)習(xí)算法 ? 應(yīng)用實(shí)例 29 應(yīng)用實(shí)例 ? 問題及數(shù)據(jù)集 ? 根據(jù)其他屬性，判斷周六是否玩網(wǎng)球playTennis=Y/N? 30 Step1: 確定根節(jié)點(diǎn) ? 分別計(jì)算 4個(gè)屬性的信息增益 ? Outlook: ? =Sunny [2+,3] ? =Overcast [4+,0] ? =Rain [3+,2] ? Wind: ? =weak的樣例是 [6+,2] ? =strong的樣例 [+3,3] ? Humidity : ? Temperature : ? 因此：根節(jié)點(diǎn)為 Outlook 31 Step 2: 分枝 選擇哪個(gè)屬性進(jìn)行劃分？ 32 Step 3: 循環(huán) 選擇哪個(gè)屬性進(jìn)行劃分？ 33 小結(jié) ? 實(shí)例是由“屬性 值”對(duì)（ pair）表示的 ? 目標(biāo)函數(shù)具有離散的輸出值 ? 可能需要析取的描述（ disjunctive description） ? 訓(xùn)練數(shù)據(jù)可以包含錯(cuò)誤 ? 訓(xùn)練數(shù)據(jù)可以包含缺少屬性值的實(shí)例 34 作業(yè) ? 61畫出表示下面布爾函數(shù)的決策樹 ? （ a） A?172。B ? （ b） A?[B?C] ? （ c） A XOR B ? （ d） [A?B] ? [C?D] 35 作業(yè) ? 62考慮下面的訓(xùn)練樣例集合 ? 手動(dòng)給出決策樹的構(gòu)造過程 36 作業(yè) ? 63 ID3僅尋找一個(gè)一致的假設(shè)，而候選消除算法尋找所有一致的假設(shè)。考慮這兩種學(xué)習(xí)算法間的對(duì)應(yīng)關(guān)系 ? （ a）假定給定 EnjoySport的四個(gè)訓(xùn)練樣例，畫出ID3學(xué)習(xí)的決策樹 ? （ b）學(xué)習(xí)到的決策樹和從同樣的樣例使用變型空間算法得到的變型空間間有什么關(guān)系？樹等價(jià)于變型空間的一個(gè)成員嗎？ 37 作業(yè) ? 64 實(shí)現(xiàn) ID3算法，并以 PlayTennis實(shí)例中的訓(xùn)練集進(jìn)行訓(xùn)練，給出最終的決策樹 38 演講完畢，謝謝觀看！
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1