3決策樹學(xué)習(xí)_機器學(xué)習(xí)(編輯修改稿)
2025-02-02 01:18 本頁面
【文章內(nèi)容簡介】 選擇行星運動的簡單假設(shè) – 簡單假設(shè)的數(shù)量遠(yuǎn)比復(fù)雜假設(shè)的數(shù)量少 – 簡單假設(shè)對訓(xùn)練樣例的針對性更小，更像是泛化的規(guī)律，而不是訓(xùn)練樣例的另一種描述 16 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 為什么短的假設(shè)優(yōu)先 ? 奧坎姆剃刀的困難 – 我們反問，使用上頁的推理，應(yīng)該優(yōu)先選擇包含恰好 17個葉子節(jié)點和 11個非葉子節(jié)點的決策樹？ – 假設(shè)的規(guī)模由學(xué)習(xí)器內(nèi)部使用的特定表示決定 ? 從生物進化的觀點看內(nèi)部表示和奧坎姆剃刀原則 17 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 決策樹學(xué)習(xí)的常見問題 ? 決策樹學(xué)習(xí)的實際問題 – 確定決策樹增長的深度 – 處理連續(xù)值的屬性 – 選擇一個適當(dāng)?shù)膶傩院Y選度量標(biāo)準(zhǔn) – 處理屬性值不完整的訓(xùn)練數(shù)據(jù) – 處理不同代價的屬性 – 提高計算效率 ? 針對這些問題， ID3被擴展成 18 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過度擬合數(shù)據(jù) ? 過度擬合 – 對于一個假設(shè)，當(dāng)存在其他的假設(shè)對訓(xùn)練樣例的擬合比它差，但事實上在實例的整個分布上表現(xiàn)得卻更好時，我們說這個假設(shè)過度擬合訓(xùn)練樣例 – 定義：給定一個假設(shè)空間 H，一個假設(shè) h?H，如果存在其他的假設(shè) h’ ?H，使得在訓(xùn)練樣例上 h的錯誤率比 h’小，但在整個實例分布上 h’的錯誤率比 h小，那么就說假設(shè) h過度擬合訓(xùn)練數(shù)據(jù)。 – 圖 36的例子 19 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過度擬合數(shù)據(jù)（ 2） ? 導(dǎo)致過度擬合的原因 – 一種可能原因是訓(xùn)練樣例含有隨機錯誤或噪聲 – 當(dāng)訓(xùn)練數(shù)據(jù)沒有噪聲時，過度擬合也有可能發(fā)生，特別是當(dāng)少量的樣例被關(guān)聯(lián)到葉子節(jié)點時，很可能出現(xiàn)巧合的規(guī)律性，使得一些屬性恰巧可以很好地分割樣例，但卻與實際的目標(biāo)函數(shù)并無關(guān)系。 20 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過度擬合數(shù)據(jù)（ 3） ? 避免過度擬合的方法 – 及早停止樹增長 – 后修剪法 ? 兩種方法的特點 – 第一種方法更直觀 – 第一種方法中，精確地估計何時停止樹增長很困難 – 第二種方法被證明在實踐中更成功 21 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過度擬合數(shù)據(jù)（ 4） ? 避免過度擬合的關(guān)鍵 – 使用什么樣的準(zhǔn)則來確定最終正確樹的規(guī)模 ? 解決方法 – 使用與訓(xùn)練樣例截然不同的一套分離的樣例，來評估通過后修剪方法從樹上修建節(jié)點的效用。 – 使用所有可用數(shù)據(jù)進行訓(xùn)練，但進行統(tǒng)計測試來估計擴展（或修剪）一個特定的節(jié)點是否有可能改善在訓(xùn)練集合外的實例上的性能。 – 使用一個明確的標(biāo)準(zhǔn)來衡量訓(xùn)練樣例和決策樹的復(fù)雜度，當(dāng)這個編碼的長度最小時停止樹增長。 22 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過度擬合數(shù)據(jù)（ 5） ? 方法評述 – 第一種方法是最普通的，常被稱為訓(xùn)練和驗證集法。 – 可用數(shù)據(jù)分成兩個樣例集合： ? 訓(xùn)練集合，形成學(xué)習(xí)到的假設(shè) ? 驗證集合，評估這個假設(shè)在后續(xù)數(shù)據(jù)上的精度 – 方法的動機：即使學(xué)習(xí)器可能會被訓(xùn)練集合誤導(dǎo)，但驗證集合不大可能表現(xiàn)出同樣的隨機波動 – 驗證集合應(yīng)該足夠大，以便它本身可提供具有統(tǒng)計意義的實例樣本。 – 常見的做法是，樣例的三分之二作訓(xùn)練集合，三分之一作驗證集合。 23 機器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 錯誤率降低修剪 ? 將樹上的每一個節(jié)點作為修剪得候選對象 ? 修剪步驟 – 刪除以此節(jié)點為根的子樹，使它成為葉結(jié)點 – 把和該節(jié)點關(guān)聯(lián)的訓(xùn)練樣例的最常見分類賦給它 – 反復(fù)修剪節(jié)點，每次總是選取那些刪除后可以最大提高決策樹在驗證
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1