決策樹學習課件-資料下載頁
2025-01-13 19:37本頁面
【正文】 ? 提高了可讀性 37 決策樹學習的其他常見問題 ?決策樹學習的實際問題 ? 處理連續(xù)值的屬性 ? 選擇一個適當?shù)膶傩院Y選度量標準 ? 信息增益度量存在一個內(nèi)在偏置，偏向具有較多值的屬性 ? 處理屬性值不完整的訓(xùn)練數(shù)據(jù) ? 處理不同代價的屬性 ? 提高計算效率 ?針對這些問題， ID3被擴展成 38 合并連續(xù)值屬性 ?ID3被限制為取離散值的屬性 ? 學習到的決策樹要預(yù)測的目標屬性必須是離散的 ? 樹的決策節(jié)點的屬性也必須是離散的 ?簡單刪除上面第 2個限制的方法 ? 通過動態(tài)地定義新的離散值屬性來實現(xiàn)，即先把連續(xù)值屬性的值域分割為離散的區(qū)間集合 39 合并連續(xù)值屬性（ 2） ?例子， Temperature應(yīng)該定義什么樣的基于閾值的布爾屬性 ? 選擇產(chǎn)生最大信息增益的閾值 ? 按照連續(xù)屬性排列樣例，確定目標分類不同的相鄰實例 產(chǎn)生一組候選閾值，它們的值是相應(yīng)的 A值之間的中間值 ? 可以證明產(chǎn)生最大信息增益的 c值位于這樣的邊界中（ Fayyad1991） ? 通過計算與每個候選閾值關(guān)聯(lián)的信息增益評估這些候選值 ?方法的擴展 ? 連續(xù)的屬性分割成多個區(qū)間，而不是單一閾值的兩個空間 40 屬性選擇的其他度量標準 ?信息增益度量存在一個內(nèi)在偏置，偏向具有較多值的屬性 ?避免方法，其他度量，比如增益比率 ?增益比率通過加入一個被稱作分裂信息的項來懲罰多值屬性，分裂信息用來衡量屬性分裂數(shù)據(jù)的廣度和均勻性 SplitInformation(S,A)= GainRatio(S,A)= ?分裂信息項阻礙選擇值為均勻分布的屬性 ?問題，當某個 Si?S。解決方法 ：采用一些啟發(fā)式規(guī)則， 比如僅對增益高過平均值的屬性應(yīng)用增益比率測試 ???ciiiSSSS12 ||||log||||),(),( ASmati onSplitIn for ASGain41 屬性選擇的其他度量標準（ 2） ?基于距離的度量 ? 定義了數(shù)據(jù)劃分間的一種距離尺度 ? 計算每個屬性產(chǎn)生的劃分與理想劃分間的距離 ? 選擇最接近完美劃分的屬性 ? Lopez de Mantaras定義了這個距離度量，證明了它不偏向有大量值的屬性 ?此外 ?Mingers實驗，不同的屬性選擇度量對最終精度的影響小于后修剪得程度和方法的影響 42 缺少屬性值的訓(xùn)練樣例 ?例子，醫(yī)學領(lǐng)域 ?經(jīng)常需要根據(jù)此屬性值已知的實例來估計這個缺少的屬性值 ?為了評估屬性 A是否是決策節(jié)點 n的最佳測試屬性，要計算決策樹在該節(jié)點的信息增益Gain(S,A)。假定 x,c(x)是 S中的一個訓(xùn)練樣例，并且其屬性 A的值 A(x)未知 43 缺少屬性值的訓(xùn)練樣例（ 2） ?處理缺少屬性值的 ? 一種策略是賦給它節(jié)點 n的訓(xùn)練樣例中該屬性的最常見值 ? 另一種策略是賦給它節(jié)點 n的被分類為 c(x)的訓(xùn)練樣例中該屬性的最常見值 ? 更復(fù)雜的策略，為 A的每個可能值賦予一個概率，而不是簡單地將最常見的值賦給 A(x) 根據(jù)結(jié)點 n的樣例上的不同值出現(xiàn)的頻率，這些概率可以被再次估計。
研究報告相關(guān)推薦
鄂ICP備17016276號-1