3決策樹學(xué)習(xí)_機(jī)器學(xué)習(xí)-在線瀏覽
2025-02-16 01:18本頁(yè)面
【正文】 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過(guò)度擬合數(shù)據(jù)（ 4） ? 避免過(guò)度擬合的關(guān)鍵 – 使用什么樣的準(zhǔn)則來(lái)確定最終正確樹的規(guī)模 ? 解決方法 – 使用與訓(xùn)練樣例截然不同的一套分離的樣例，來(lái)評(píng)估通過(guò)后修剪方法從樹上修建節(jié)點(diǎn)的效用。 – 使用一個(gè)明確的標(biāo)準(zhǔn)來(lái)衡量訓(xùn)練樣例和決策樹的復(fù)雜度，當(dāng)這個(gè)編碼的長(zhǎng)度最小時(shí)停止樹增長(zhǎng)。 – 可用數(shù)據(jù)分成兩個(gè)樣例集合： ? 訓(xùn)練集合，形成學(xué)習(xí)到的假設(shè) ? 驗(yàn)證集合，評(píng)估這個(gè)假設(shè)在后續(xù)數(shù)據(jù)上的精度 – 方法的動(dòng)機(jī)：即使學(xué)習(xí)器可能會(huì)被訓(xùn)練集合誤導(dǎo)，但驗(yàn)證集合不大可能表現(xiàn)出同樣的隨機(jī)波動(dòng) – 驗(yàn)證集合應(yīng)該足夠大，以便它本身可提供具有統(tǒng)計(jì)意義的實(shí)例樣本。 23 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 錯(cuò)誤率降低修剪 ? 將樹上的每一個(gè)節(jié)點(diǎn)作為修剪得候選對(duì)象 ? 修剪步驟 – 刪除以此節(jié)點(diǎn)為根的子樹，使它成為葉結(jié)點(diǎn) – 把和該節(jié)點(diǎn)關(guān)聯(lián)的訓(xùn)練樣例的最常見分類賦給它 – 反復(fù)修剪節(jié)點(diǎn)，每次總是選取那些刪除后可以最大提高決策樹在驗(yàn)證集合上的精度的節(jié)點(diǎn) ? 繼續(xù)修剪，直到進(jìn)一步的修剪是有害的為止 ? 數(shù)據(jù)分成 3個(gè)子集 – 訓(xùn)練樣例，形成決策樹 – 驗(yàn)證樣例，修剪決策樹 – 測(cè)試樣例，精度的無(wú)偏估計(jì) ? 如果有大量的數(shù)據(jù)可供使用，那么使用分離的數(shù)據(jù)集合來(lái)引導(dǎo)修剪 24 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 規(guī)則后修剪 ? 從訓(xùn)練集合推導(dǎo)出決策樹，增長(zhǎng)決策樹直到盡可能好地?cái)M合訓(xùn)練數(shù)據(jù)，允許過(guò)度擬合發(fā)生 ? 將決策樹轉(zhuǎn)化為等價(jià)的規(guī)則集合，方法是為從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的每一條路徑創(chuàng)建一條規(guī)則 ? 通過(guò)刪除任何能導(dǎo)致估計(jì)精度提高的前件來(lái)修剪每一條規(guī)則 ? 按照修剪過(guò)的規(guī)則的估計(jì)精度對(duì)它們進(jìn)行排序，并按這樣的順序應(yīng)用這些規(guī)則來(lái)分類后來(lái)的實(shí)例 25 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 規(guī)則后修剪（ 2） ? 例子 – 圖 31的最左一條路徑 – if (outlook=sunny)?(Humidity=High) then PlayTennis=No – 考慮刪除先行詞 (outlook=sunny)和(Humidity=High) – 選擇使估計(jì)精度有最大提升的步驟 – 考慮修剪第二個(gè)前件 26 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 規(guī)則后修剪（ 3） ? 規(guī)則精度估計(jì)方法 – 使用與訓(xùn)練集不相交的驗(yàn)證集 – 基于訓(xùn)練集合本身 ? 被 ，使用一種保守估計(jì)來(lái)彌補(bǔ)訓(xùn)練數(shù)據(jù)有利于當(dāng)前規(guī)則的估計(jì)偏置 ? 過(guò)程 – 先計(jì)算規(guī)則在它應(yīng)用的訓(xùn)練樣例上的精度 – 然后假定此估計(jì)精度為二項(xiàng)式分布，并計(jì)算它的標(biāo)準(zhǔn)差 – 對(duì)于一個(gè)給定的置信區(qū)間，采用下界估計(jì)作為規(guī)則性能的度量 ? 評(píng)論 – 對(duì)于大的數(shù)據(jù)集，保守預(yù)測(cè)非常接近觀察精度，隨著數(shù)據(jù)集合的減小，離觀察精度越來(lái)越遠(yuǎn) – 不是統(tǒng)計(jì)有效（此概念第 5章介紹），但是實(shí)踐中發(fā)現(xiàn)有效 27 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 規(guī)則后修剪（ 4） ? 把決策樹轉(zhuǎn)化成規(guī)則集的好處 – 可以區(qū)分決策節(jié)點(diǎn)使用的不同上下文 – 消除了根節(jié)點(diǎn)附近的屬性測(cè)試和葉節(jié)點(diǎn)附近的屬性測(cè)試的區(qū)別 – 提高了可讀性 28 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 合并連續(xù)值屬性 ? ID3被限制為取離散值的屬性 – 學(xué)習(xí)到的決策樹要預(yù)測(cè)的目標(biāo)屬性必須是離散的 – 樹的決策節(jié)點(diǎn)的屬性也必須是離散的 ? 簡(jiǎn)單刪除上面第 2個(gè)限制的方法 – 通過(guò)動(dòng)態(tài)地定義新的離散值屬性來(lái)實(shí)現(xiàn)，即先把連續(xù)值屬性的值域分割為離散的區(qū)間集合 29 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 合并連續(xù)值屬性（ 2）
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1