決策樹(shù)學(xué)習(xí)課件(參考版)
2025-01-15 19:37本頁(yè)面
【正文】 。解決方法 ：采用一些啟發(fā)式規(guī)則， 比如僅對(duì)增益高過(guò)平均值的屬性應(yīng)用增益比率測(cè)試 ???ciiiSSSS12 ||||log||||),(),( ASmati onSplitIn for ASGain41 屬性選擇的其他度量標(biāo)準(zhǔn)（ 2） ?基于距離的度量 ? 定義了數(shù)據(jù)劃分間的一種距離尺度 ? 計(jì)算每個(gè)屬性產(chǎn)生的劃分與理想劃分間的距離 ? 選擇最接近完美劃分的屬性 ? Lopez de Mantaras定義了這個(gè)距離度量，證明了它不偏向有大量值的屬性 ?此外 ?Mingers實(shí)驗(yàn)，不同的屬性選擇度量對(duì)最終精度的影響小于后修剪得程度和方法的影響 42 缺少屬性值的訓(xùn)練樣例 ?例子，醫(yī)學(xué)領(lǐng)域 ?經(jīng)常需要根據(jù)此屬性值已知的實(shí)例來(lái)估計(jì)這個(gè)缺少的屬性值 ?為了評(píng)估屬性 A是否是決策節(jié)點(diǎn) n的最佳測(cè)試屬性，要計(jì)算決策樹(shù)在該節(jié)點(diǎn)的信息增益Gain(S,A)。 ? 常見(jiàn)的做法是，樣例的三分之二作訓(xùn)練集合，三分之一作驗(yàn)證集合。 31 避免過(guò)度擬合數(shù)據(jù)（ 5） ?方法評(píng)述 ? 第一種方法是最普通的，常被稱為訓(xùn)練和驗(yàn)證集法。 ? 使用所有可用數(shù)據(jù)進(jìn)行訓(xùn)練，但進(jìn)行統(tǒng)計(jì)測(cè)試來(lái)估計(jì)擴(kuò)展（或修剪）一個(gè)特定的節(jié)點(diǎn)是否有可能改善在訓(xùn)練集合外的實(shí)例上的性能。 28 避免過(guò)度擬合數(shù)據(jù)（ 2） ?導(dǎo)致過(guò)度擬合的原因 ? 訓(xùn)練樣例含有隨機(jī)錯(cuò)誤或噪聲 ? 當(dāng)訓(xùn)練數(shù)據(jù)沒(méi)有噪聲時(shí)，過(guò)度擬合也有可能發(fā)生 ?特別是當(dāng)少量的樣例被關(guān)聯(lián)到葉子節(jié)點(diǎn)時(shí)，很可能出現(xiàn)巧合的規(guī)律性，使得一些屬性恰巧可以很好地分割樣例，但卻與實(shí)際的目標(biāo)函數(shù)并無(wú)關(guān)系。然而獨(dú)立的測(cè) 試樣例上測(cè)出的精度先上升后下降。實(shí)線顯示決策樹(shù)在訓(xùn)練樣例上的精度， 虛線為一套獨(dú)立的測(cè)試樣例（沒(méi)有被包括在訓(xùn)練樣例中）上測(cè)出的精度。 27 在此例中， ID3算法用來(lái)學(xué)習(xí)哪個(gè)病人患有糖尿病。所以我們會(huì)相信 5個(gè)結(jié)點(diǎn)的樹(shù)不太可能是統(tǒng)計(jì)巧合，因而優(yōu)先選擇這個(gè)假設(shè) ，而不選擇 500個(gè)結(jié)點(diǎn)的。 15 最佳分類屬性（ 2） ?用信息增益度量期望的熵降低 ? 屬性的信息增益，由于使用這個(gè)屬性分割樣例而導(dǎo)致的期望熵降低 ? Gain(S,A)是在知道屬性 A的值后可以節(jié)省的二進(jìn)制位數(shù) ? 例子 ????)()(||)(),(AValu esvvv SEntr opySSSEntr opyASGain16 S：共 14個(gè)例子，其中 9正、 5負(fù) 使用屬性 Wind（取值為 Weak或 Strong）對(duì) S進(jìn)行分類： Sweak（ 6正、 2負(fù)）、 Sstrong（ 3正、 3負(fù)） 17 誰(shuí)是最佳屬性？ 18 ID3算法一個(gè)完整的例子 2023/1/31 19 20 決策樹(shù)學(xué)習(xí)中的假設(shè)空間搜索 ?ID3的優(yōu)勢(shì)和不足 ? 假設(shè)空間包含所有的決策樹(shù)，它是關(guān)于現(xiàn)有屬性的有限離散值函數(shù)的一個(gè)完整空間 ? 維護(hù)單一的當(dāng)前假設(shè)（不同于變型空間候選消除算法） ? 不進(jìn)行回溯 ? 每一步使用所有的訓(xùn)練樣例，不同于基于單獨(dú)的訓(xùn)練樣例遞增作出決定，容錯(cuò)性增強(qiáng) 21 決策樹(shù)學(xué)習(xí)的歸納偏置
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1