3決策樹學(xué)習(xí)_機(jī)器學(xué)習(xí)-展示頁
2025-01-21 01:18本頁面
【正文】 （不同于第二章的變型空間候選消除算法） – 不進(jìn)行回溯，可能收斂到局部最優(yōu) – 每一步使用所有的訓(xùn)練樣例，不同于基于單獨(dú)的訓(xùn)練樣例遞增作出決定，容錯(cuò)性增強(qiáng) 12 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 決策樹學(xué)習(xí)的歸納偏置 ? ID3的搜索策略 – 優(yōu)先選擇較短的樹 – 選擇那些信息增益高的屬性離根節(jié)點(diǎn)較近的樹 – 很難準(zhǔn)確刻畫 ID3的歸納偏置 ? 近似的 ID3的歸納偏置 – 較短的樹比較長的樹優(yōu)先 – 近似在于 ID3得到局部最優(yōu)，而不一定是全局最優(yōu) – 一個(gè)精確具有這個(gè)歸納偏置的算法， BFSID3 ? 更貼切近似的歸納偏置 – 較短的樹比較長的樹優(yōu)先，信息增益高的屬性更靠近根節(jié)點(diǎn)的樹優(yōu)先 13 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 限定偏置和優(yōu)選偏置 ? ID3和候選消除算法的比較 – ID3的搜索范圍是一個(gè)完整的假設(shè)空間，但不徹底地搜索這個(gè)空間 – 候選消除算法的搜索范圍是不完整的假設(shè)空間，但徹底地搜索這個(gè)空間 – ID3的歸納偏置完全是搜索策略排序假設(shè)的結(jié)果，來自搜索策略 – 候選消除算法完全是假設(shè)表示的表達(dá)能力的結(jié)果，來自對搜索空間的定義 14 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 限定偏置和優(yōu)選偏置 ? 優(yōu)選偏置 – ID3的歸納偏置是對某種假設(shè)勝過其他假設(shè)的一種優(yōu)選，對最終可列舉的假設(shè)沒有硬性限制 ? 限定偏置 – 候選消除算法的偏置是對待考慮假設(shè)的一種限定 ? 通常優(yōu)選偏置比限定偏置更符合歸納學(xué)習(xí)的需要 ? 優(yōu)選偏置和限定偏置的結(jié)合 – 考慮第 1章的例子 15 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 為什么短的假設(shè)優(yōu)先 ? ID3的歸納偏置的哲學(xué)基礎(chǔ) ? 奧坎姆剃刀 – 優(yōu)先選擇擬合數(shù)據(jù)的最簡單的假設(shè) ? 科學(xué)上的例子 – 物理學(xué)家優(yōu)先選擇行星運(yùn)動(dòng)的簡單假設(shè) – 簡單假設(shè)的數(shù)量遠(yuǎn)比復(fù)雜假設(shè)的數(shù)量少 – 簡單假設(shè)對訓(xùn)練樣例的針對性更小，更像是泛化的規(guī)律，而不是訓(xùn)練樣例的另一種描述 16 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 為什么短的假設(shè)優(yōu)先 ? 奧坎姆剃刀的困難 – 我們反問，使用上頁的推理，應(yīng)該優(yōu)先選擇包含恰好 17個(gè)葉子節(jié)點(diǎn)和 11個(gè)非葉子節(jié)點(diǎn)的決策樹？ – 假設(shè)的規(guī)模由學(xué)習(xí)器內(nèi)部使用的特定表示決定 ? 從生物進(jìn)化的觀點(diǎn)看內(nèi)部表示和奧坎姆剃刀原則 17 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 決策樹學(xué)習(xí)的常見問題 ? 決策樹學(xué)習(xí)的實(shí)際問題 – 確定決策樹增長的深度 – 處理連續(xù)值的屬性 – 選擇一個(gè)適當(dāng)?shù)膶傩院Y選度量標(biāo)準(zhǔn) – 處理屬性值不完整的訓(xùn)練數(shù)據(jù) – 處理不同代價(jià)的屬性 – 提高計(jì)算效率 ? 針對這些問題， ID3被擴(kuò)展成 18 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過度擬合數(shù)據(jù) ? 過度擬合 – 對于一個(gè)假設(shè)，當(dāng)存在其他的假設(shè)對訓(xùn)練樣例的擬合比它差，但事實(shí)上在實(shí)例的整個(gè)分布上表現(xiàn)得卻更好時(shí)，我們說這個(gè)假設(shè)過度擬合訓(xùn)練樣例 – 定義：給定一個(gè)假設(shè)空間 H，一個(gè)假設(shè) h?H，如果存在其他的假設(shè) h’ ?H，使得在訓(xùn)練樣例上 h的錯(cuò)誤率比 h’小，但在整個(gè)實(shí)例分布上 h’的錯(cuò)誤率比 h小，那么就說假設(shè) h過度擬合訓(xùn)練數(shù)據(jù)。 20 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí) 譯者：曾華軍等 作者： Mitchell 講者：陶曉鵬 避免過度擬合數(shù)據(jù)（ 3） ? 避免過度擬合的方法 – 及早停止樹增長 – 后修剪法 ? 兩種方法的特點(diǎn) – 第一種方法更直觀 – 第一種方法中，精確地估計(jì)何時(shí)停止樹增長很困難 – 第二種方法被證明在實(shí)踐中更成功 21 機(jī)器學(xué)習(xí) 決策樹學(xué)習(xí)
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號(hào)-1