決策樹(shù)學(xué)習(xí)課件-資料下載頁(yè)
2025-01-13 19:37本頁(yè)面
【正文】 ? 提高了可讀性 37 決策樹(shù)學(xué)習(xí)的其他常見(jiàn)問(wèn)題 ?決策樹(shù)學(xué)習(xí)的實(shí)際問(wèn)題 ? 處理連續(xù)值的屬性 ? 選擇一個(gè)適當(dāng)?shù)膶傩院Y選度量標(biāo)準(zhǔn) ? 信息增益度量存在一個(gè)內(nèi)在偏置，偏向具有較多值的屬性 ? 處理屬性值不完整的訓(xùn)練數(shù)據(jù) ? 處理不同代價(jià)的屬性 ? 提高計(jì)算效率 ?針對(duì)這些問(wèn)題， ID3被擴(kuò)展成 38 合并連續(xù)值屬性 ?ID3被限制為取離散值的屬性 ? 學(xué)習(xí)到的決策樹(shù)要預(yù)測(cè)的目標(biāo)屬性必須是離散的 ? 樹(shù)的決策節(jié)點(diǎn)的屬性也必須是離散的 ?簡(jiǎn)單刪除上面第 2個(gè)限制的方法 ? 通過(guò)動(dòng)態(tài)地定義新的離散值屬性來(lái)實(shí)現(xiàn)，即先把連續(xù)值屬性的值域分割為離散的區(qū)間集合 39 合并連續(xù)值屬性（ 2） ?例子， Temperature應(yīng)該定義什么樣的基于閾值的布爾屬性 ? 選擇產(chǎn)生最大信息增益的閾值 ? 按照連續(xù)屬性排列樣例，確定目標(biāo)分類(lèi)不同的相鄰實(shí)例 產(chǎn)生一組候選閾值，它們的值是相應(yīng)的 A值之間的中間值 ? 可以證明產(chǎn)生最大信息增益的 c值位于這樣的邊界中（ Fayyad1991） ? 通過(guò)計(jì)算與每個(gè)候選閾值關(guān)聯(lián)的信息增益評(píng)估這些候選值 ?方法的擴(kuò)展 ? 連續(xù)的屬性分割成多個(gè)區(qū)間，而不是單一閾值的兩個(gè)空間 40 屬性選擇的其他度量標(biāo)準(zhǔn) ?信息增益度量存在一個(gè)內(nèi)在偏置，偏向具有較多值的屬性 ?避免方法，其他度量，比如增益比率 ?增益比率通過(guò)加入一個(gè)被稱(chēng)作分裂信息的項(xiàng)來(lái)懲罰多值屬性，分裂信息用來(lái)衡量屬性分裂數(shù)據(jù)的廣度和均勻性 SplitInformation(S,A)= GainRatio(S,A)= ?分裂信息項(xiàng)阻礙選擇值為均勻分布的屬性 ?問(wèn)題，當(dāng)某個(gè) Si?S。解決方法 ：采用一些啟發(fā)式規(guī)則， 比如僅對(duì)增益高過(guò)平均值的屬性應(yīng)用增益比率測(cè)試 ???ciiiSSSS12 ||||log||||),(),( ASmati onSplitIn for ASGain41 屬性選擇的其他度量標(biāo)準(zhǔn)（ 2） ?基于距離的度量 ? 定義了數(shù)據(jù)劃分間的一種距離尺度 ? 計(jì)算每個(gè)屬性產(chǎn)生的劃分與理想劃分間的距離 ? 選擇最接近完美劃分的屬性 ? Lopez de Mantaras定義了這個(gè)距離度量，證明了它不偏向有大量值的屬性 ?此外 ?Mingers實(shí)驗(yàn)，不同的屬性選擇度量對(duì)最終精度的影響小于后修剪得程度和方法的影響 42 缺少屬性值的訓(xùn)練樣例 ?例子，醫(yī)學(xué)領(lǐng)域 ?經(jīng)常需要根據(jù)此屬性值已知的實(shí)例來(lái)估計(jì)這個(gè)缺少的屬性值 ?為了評(píng)估屬性 A是否是決策節(jié)點(diǎn) n的最佳測(cè)試屬性，要計(jì)算決策樹(shù)在該節(jié)點(diǎn)的信息增益Gain(S,A)。假定 x,c(x)是 S中的一個(gè)訓(xùn)練樣例，并且其屬性 A的值 A(x)未知 43 缺少屬性值的訓(xùn)練樣例（ 2） ?處理缺少屬性值的 ? 一種策略是賦給它節(jié)點(diǎn) n的訓(xùn)練樣例中該屬性的最常見(jiàn)值 ? 另一種策略是賦給它節(jié)點(diǎn) n的被分類(lèi)為 c(x)的訓(xùn)練樣例中該屬性的最常見(jiàn)值 ? 更復(fù)雜的策略，為 A的每個(gè)可能值賦予一個(gè)概率，而不是簡(jiǎn)單地將最常見(jiàn)的值賦給 A(x) 根據(jù)結(jié)點(diǎn) n的樣例上的不同值出現(xiàn)的頻率，這些概率可以被再次估計(jì)。
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1