建立模型之決策樹講義(存儲版)
【正文】 ? 從 “ 哪一個(gè)屬性將在樹的根節(jié)點(diǎn)被測試 ” 開始 ？ ? 使用 統(tǒng)計(jì)測試 來確定每一個(gè)實(shí)例屬性 單獨(dú) 分類 訓(xùn)練樣例的能力 ? ID3的算法執(zhí)行過程 ① 對樣例集合 S 分類能力 最好的 屬性 被選作樹的根節(jié)點(diǎn) ② 根節(jié)點(diǎn)的每個(gè)可能值產(chǎn)生一個(gè)分支 ③ 訓(xùn)練樣例排列到適當(dāng)?shù)姆种? ? 重復(fù)上面的過程，直到訓(xùn)練樣例被安排到適當(dāng)?shù)娜~子上確定對應(yīng)的分類 2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 20 / 34 最佳分類屬性 ? 信息增益 ? 用來衡量給定的屬性區(qū)分訓(xùn)練樣例的能力， 中間（間接）表示屬性 ? ID3算法在生成 樹 的每一步使用 信息增益 從候選屬性中選擇屬性 ? 用熵度量樣例的均一性 2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 21 / 34 最佳分類屬性 ? 信息增益 ? 用熵度量樣例的均一性 ? 熵刻畫了任意樣例集合 S 的純度 ? 給定包含關(guān)于某個(gè)目標(biāo)概念的正反樣例的樣例集 S，那么 S 相對這個(gè)布爾型分類（函數(shù)）的熵為 ? 信息論中對熵的一種解釋： 熵 確定了 要編碼集合 S中任意成員的分類所需要的最少二進(jìn)制位數(shù)；熵值越大，需要的位數(shù)越多 。 2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 39 / 34 避免過度擬合數(shù)據(jù)（ 5） ? 方法評述 ? 第一種方法是最普通的，常被稱為訓(xùn)練和驗(yàn)證集法 ? 可用的數(shù)據(jù)分成兩個(gè)樣例集合： ? 訓(xùn)練集合，形成學(xué)習(xí)到的假設(shè) ? 驗(yàn)證集合，評估這個(gè)假設(shè)在后續(xù)數(shù)據(jù)上的精度 ? 方法的動(dòng)機(jī)：即使學(xué)習(xí)器可能會被訓(xùn)練集合誤導(dǎo)，但驗(yàn)證集合不大可能表現(xiàn)出同樣的隨機(jī)波動(dòng) ? 驗(yàn)證集合應(yīng)該足夠大，以便它本身可提供具有統(tǒng)計(jì)意義的實(shí)例樣本。hH?2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 34 / 34 Overfitting 2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 35 / 34 避免過度擬合必須控制樹尺寸 ? High accuracy, small error ? Low accuracy, big error 2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 36 / 34 避免過度擬合數(shù)據(jù)（ 2） ? 導(dǎo)致過度擬合的原因 ? 一種可能原因是訓(xùn)練樣例含有隨機(jī)噪聲 ? 當(dāng)訓(xùn)練數(shù)據(jù)沒有噪聲時(shí)，過度擬合也有可能發(fā)生，特別是當(dāng)少量的樣例被關(guān)聯(lián)到葉子節(jié)點(diǎn)時(shí)，很可能出現(xiàn)巧合的規(guī)律性，使得一些屬性恰巧可以很好地分割樣例，但卻與實(shí)際的目標(biāo)函數(shù)并無關(guān)系。 ? 分類預(yù)測：決策樹表示 ? 決策樹學(xué)習(xí)結(jié)果：表示為決策樹形式的 離散值 （布爾）函數(shù)； ? Node, test attributes ? Branches, values ? Root Node, first attribute ? Leaf Nodes, discrete values ? 決策樹的表示？ 2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 10 / 34 ? 兩類問題 , 右圖 IF (Outlook = Sunny) ^ (Humidity = High) THEN PlayTennis =? IF (Outlook = Sunny)^ (Humidity = Normal) THEN PlayTennis = ? 兩步驟求解過程： Training examples: Day Outlook Temp. Humidity Wind Play Tennis D1 Sunny Hot High Weak No D2 Overcast Hot High Strong Yes 1. 歸納推理求得一般性結(jié)論（ 決策樹生成 ?學(xué)習(xí) ） 2. 由決策樹 演繹推理得到新樣例對應(yīng)的結(jié)果 ； Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Yes No Strong Weak Yes No 決策樹學(xué)習(xí) 和分類預(yù)測 2023/1/20 數(shù)據(jù)庫新技術(shù) (數(shù)據(jù)挖掘 ) 11 / 34 決策樹生成算法 ——有指導(dǎo)學(xué)習(xí) ? 樣本數(shù)據(jù)中既包含輸入字段、也包含輸出字段 ? 學(xué)習(xí)階段，生成決策樹模型 ? 基于特定屬性值比較，放置樣本在生成樹上 ? 修剪生成
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1