決策樹模型概述-在線瀏覽
2025-02-14 19:46本頁面
【正文】 確定度 是否適合打壘球 的決策表 天氣 溫度 濕度 風速 活動 晴 炎 熱 高 弱 取消 晴 炎 熱 高 強 取消 陰 炎 熱 高 弱 進行 雨 適中 高 弱 進行 雨 寒冷 正常 弱 進行 雨 寒冷 正常 強 取消 陰 寒冷 正常 強 進行 晴 適中 高 弱 取消 晴 寒冷 正常 弱 進行 雨 適中 正常 弱 進行 晴 適中 正常 強 進行 陰 適中 高 強 進行 陰 炎 熱 正常 弱 進行 雨 適中 高 強 取消 是否 進行 壘球 活動 進行 取消 晴 陰 雨 晴 陰 雨 進行 取消 活動 的熵 活動 有 2個屬性值， 進行 ， 取消 。其熵分別為： H(活動 |戶外 =晴 ) = (2/5)*log2(2/5) (3/5)*log2(3/5) = H(活動 |戶外 =陰 ) = (4/4)*log2(4/4) = 0 H(活動 |戶外 =雨 ) = (3/5)*log2(3/5) (2/5)*log2(2/5) = 進行 取消 晴 陰 雨 已知 戶外 時 活動 的 條件 熵 H(活動 |戶外 )=5/14*H(活動 |戶外 =晴 )+4/14*H(活動 |戶外 =陰 ) +5/14* H(活動 |戶外 =雨 ) = (5/14)* + (4/14)*0 +(5/14)* = 晴 陰 雨 平均互信息 I(活動 。天氣 ) = H(活動 ) H(活動 |天氣 ) = = I(活動 。濕度 ) = H(活動 ) H(活動 |濕度 ) = = I(活動 。a)的屬性賦給 a； 將屬性 a的值賦給 {aj|j=1,2,…,m}； 將分別由對應于 a的值的 aj的記錄組成的 U的子集賦值給 {uj|j=1,2,…,m}； 返回一棵樹，其根標記為 a，樹枝標記為 a1, a2,…, am； 再分別構造以下樹： ID3(A{a},d,u1)， ID3(A{a},d,u2)， …， ID3(A{a},d,um)；//遞歸算法 } 30 決策樹學習的常見問題 決策樹學習的實際問題 確定決策樹增長的深度 處理連續(xù)值的屬性 選擇一個適當?shù)膶傩院Y選度量標準 處理屬性值不完整的訓練數(shù)據(jù) 處理不同代價的屬性 提高計算效率 針對這些問題， ID3被擴展成 31 避免過度擬合數(shù)據(jù) 過度擬合 對于一個假設，當存在其他的假設對訓練樣例的擬合比它差，但事實上在實例的整個分布上表現(xiàn)得卻更好時，我們說這個假設過度擬合訓練樣例 定義：給定一個假設空間 H，一個假設 h?H，如果存在其他的假設 h’?H，使得在訓練樣例上 h的錯誤率比 h’小，但在整個實例分布上 h’的錯誤率比 h小，那么就說假設 h過度擬合訓練數(shù)據(jù) 。 33 避免過度擬合數(shù)據(jù)（ 3） 避免過度擬合的方法 及早停止樹增長 后修剪法 兩種方法的特點 第一種方法更直觀 第一種方法中，精確地估計何時停止樹增長很困難 第二種方法被證明在實踐中更成功 34 避免過度擬合數(shù)據(jù)（ 4） 避免過度擬合的關鍵 使用什么樣的準則來確定最終正確樹的規(guī)模 解決方法 使用與訓練樣例截然不同的一套分離的樣例，來評估通過后修剪方法從樹上修建節(jié)點的效用。 使用一個明確的標準來衡量訓練樣例和決策樹的復雜度，當這個編碼的長度最小時停止樹增長。 可用數(shù)據(jù)分成兩個樣例集合： 訓練集合，形成學習到的假設 驗證集合，評估這個假設在后續(xù)數(shù)據(jù)上的精度 方法的動機：即使學習器可能會被訓練集合誤導，但驗證集合不大可能表現(xiàn)出同樣的隨機波動 驗證集合應該足夠大，以便它本身可提供具有統(tǒng)計意義的實例樣本。 36 錯誤率降低修剪 將樹上的每一個節(jié)點作為修剪得候選對象 修剪步驟 刪除以此節(jié)點為根的子樹，使它成為葉結點 把和該節(jié)點關聯(lián)的訓練樣例的最常見分類賦給它 反復修剪節(jié)點，每次總是選取那些刪除后可以最大 提高決策樹在驗證集合上的精度的節(jié)點 繼續(xù)修剪，直到進一步的修剪是有害的為止 數(shù)據(jù)分成 3個子集 訓練樣例，形成決策樹 驗證樣例，修剪決策樹 測試樣例，精度的無偏估計 如果有大量的數(shù)據(jù)可供使用，那么使用分離的 數(shù)據(jù)集合來引導修剪 37 規(guī)則后修剪 從訓練集合推導出決策樹，增長決策樹直到盡可能好地擬合訓練數(shù)據(jù)，允許過度擬合發(fā)生 將決策樹轉化為等價的規(guī)則集合，方法是為從根節(jié)點到葉節(jié)點的每一條路徑創(chuàng)建一條規(guī)則 通過刪除任何能導致估計精度提高的前件來修剪每一條規(guī)則 按照修剪過的規(guī)則的估計精度對它們進行排序，并按這樣的順序應用這些規(guī)則來分類后來的實例 38 規(guī)則后修剪（ 2） 例子 if (outlook=sunny)?(Humidity=High) then PlayTennis=No 考慮刪除先行詞 (outl
環(huán)評公示相關推薦
鄂ICP備17016276號-1