決策樹學(xué)習(xí)課件-文庫吧資料
2025-01-17 19:37本頁面
【正文】 ?ID3的搜索策略 ? 優(yōu)先選擇較短的樹 ? 選擇那些信息增益高的屬性離根節(jié)點(diǎn)較近的樹 ? 很難準(zhǔn)確刻畫 ID3的歸納偏置 ?近似的 ID3的歸納偏置 ? 較短的樹比較長的樹優(yōu)先 ? 局部最優(yōu)實(shí)現(xiàn)全局最優(yōu) ? 一個(gè)精確具有這個(gè)歸納偏置的算法， BFSID3 ?更貼切近似的歸納偏置 ? 較短的樹比較長的樹優(yōu)先，信息增益高的屬性更靠近根節(jié)點(diǎn)的樹優(yōu)先 22 限定偏置和優(yōu)選偏置 ?ID3和候選消除算法的比較 ? ID3的搜索范圍是一個(gè)完整的假設(shè)空間，但不徹底地搜索這個(gè)空間 ? 候選消除算法的搜索范圍是不完整的假設(shè)空間，但徹底地搜索這個(gè)空間 ? ID3的歸納偏置完全是搜索策略排序假設(shè)的結(jié)果，來自搜索策略 ? 候選消除算法完全是假設(shè)表示的表達(dá)能力的結(jié)果，來自對(duì)搜索空間的定義 23 限定偏置和優(yōu)選偏置 ?優(yōu)選偏置 ? ID3的歸納偏置是對(duì)某種假設(shè)勝過其他假設(shè)的一種優(yōu)選，對(duì)最終可列舉的假設(shè)沒有硬性限制 ?限定偏置 ? 候選消除算法的偏置是對(duì)待考慮假設(shè)的一種限定 ?通常優(yōu)選偏置比限定偏置更符合歸納學(xué)習(xí)的需要 24 為什么短的假設(shè)優(yōu)先 思考： ID3算法中優(yōu)先選擇較短決策樹的歸納偏置，是不 是從訓(xùn)練數(shù)據(jù)中泛化的一個(gè)可靠基礎(chǔ)？ ?ID3的歸納偏置的哲學(xué)基礎(chǔ) ? 奧坎姆剃刀 ? 優(yōu)先選擇擬合數(shù)據(jù)的最簡單的假設(shè) ? 科學(xué)上的例子 ? 物理學(xué)家優(yōu)先選擇行星運(yùn)動(dòng)的簡單假設(shè) ? 簡單假設(shè)的數(shù)量遠(yuǎn)比復(fù)雜假設(shè)的數(shù)量少，找到一個(gè)短的同時(shí)與訓(xùn)練數(shù)據(jù)擬合的假設(shè)可能性小。 9 決策樹學(xué)習(xí)的適用問題 ?適用問題的特征 ? 實(shí)例由 “ 屬性 值 ” 對(duì)表示 ? 目標(biāo)函數(shù)具有離散的輸出值 ? 可能需要析取的描述 ? 訓(xùn)練數(shù)據(jù)可以包含錯(cuò)誤 ? 訓(xùn)練數(shù)據(jù)可以包含缺少屬性值的實(shí)例 ?分類問題 ? 核心任務(wù)是把樣例分類到各可能的離散值對(duì)應(yīng)的類別 10 決策樹算法 ?大多數(shù)決策樹學(xué)習(xí)算法是一種核心算法的變體 ?采用自頂向下的貪婪搜索遍歷可能的決策樹空間 ? 貪心算法 ?算法代表： ID3 11 基本的決策樹學(xué)習(xí)算法（ 2） ?ID3的思想 ? 自頂向下構(gòu)造決策樹 ? 從 “ 哪一個(gè)屬性將在樹的根節(jié)點(diǎn)被測(cè)試 ” 開始 ? 使用統(tǒng)計(jì)測(cè)試來確定每一個(gè)實(shí)例屬性單獨(dú)分類訓(xùn)練樣例的能力 ?ID3的過程 ? 分類能力最好的屬性被選作樹的根節(jié)點(diǎn) ? 根節(jié)點(diǎn)的每個(gè)可能值產(chǎn)生一個(gè)分支 ? 訓(xùn)練樣例排列到適當(dāng)?shù)姆种? ? 重復(fù)上面的過程 12 熵 :物理學(xué)概念 ?? 宏觀上：熱力學(xué)定律 —體系的熵變等于可逆過程吸收或耗散的熱量除以它的絕對(duì)溫度（克勞修斯， 1865） ?? 微觀上：熵是大量微觀粒子的位置和速度的分布概率的函數(shù)，是描述系統(tǒng)中大量微觀粒子的無序性的宏觀參數(shù)（波爾茲曼， 1872） ?? 結(jié)論：熵是描述事物無序性的參數(shù)，熵越大則無序性越強(qiáng) ,在信息領(lǐng)域定義為“熵越大，不確定性越大”（香濃，1948年） 13 最佳分類屬性 ???ci iipp1 2log14 假設(shè) S是關(guān)于某布爾概念的有 14個(gè)樣例的集合，它包括 9個(gè)正例和 5個(gè)反例，（我們采用記號(hào)
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1