決策樹學習課件(編輯修改稿)
2025-01-31 19:37 本頁面
【文章內(nèi)容簡介】 獨的訓練樣例遞增作出決定，容錯性增強 21 決策樹學習的歸納偏置 ?ID3的搜索策略 ? 優(yōu)先選擇較短的樹 ? 選擇那些信息增益高的屬性離根節(jié)點較近的樹 ? 很難準確刻畫 ID3的歸納偏置 ?近似的 ID3的歸納偏置 ? 較短的樹比較長的樹優(yōu)先 ? 局部最優(yōu)實現(xiàn)全局最優(yōu) ? 一個精確具有這個歸納偏置的算法， BFSID3 ?更貼切近似的歸納偏置 ? 較短的樹比較長的樹優(yōu)先，信息增益高的屬性更靠近根節(jié)點的樹優(yōu)先 22 限定偏置和優(yōu)選偏置 ?ID3和候選消除算法的比較 ? ID3的搜索范圍是一個完整的假設空間，但不徹底地搜索這個空間 ? 候選消除算法的搜索范圍是不完整的假設空間，但徹底地搜索這個空間 ? ID3的歸納偏置完全是搜索策略排序假設的結果，來自搜索策略 ? 候選消除算法完全是假設表示的表達能力的結果，來自對搜索空間的定義 23 限定偏置和優(yōu)選偏置 ?優(yōu)選偏置 ? ID3的歸納偏置是對某種假設勝過其他假設的一種優(yōu)選，對最終可列舉的假設沒有硬性限制 ?限定偏置 ? 候選消除算法的偏置是對待考慮假設的一種限定 ?通常優(yōu)選偏置比限定偏置更符合歸納學習的需要 24 為什么短的假設優(yōu)先 思考： ID3算法中優(yōu)先選擇較短決策樹的歸納偏置，是不 是從訓練數(shù)據(jù)中泛化的一個可靠基礎？ ?ID3的歸納偏置的哲學基礎 ? 奧坎姆剃刀 ? 優(yōu)先選擇擬合數(shù)據(jù)的最簡單的假設 ? 科學上的例子 ? 物理學家優(yōu)先選擇行星運動的簡單假設 ? 簡單假設的數(shù)量遠比復雜假設的數(shù)量少，找到一個短的同時與訓練數(shù)據(jù)擬合的假設可能性小。 ? 簡單假設對訓練樣例的針對性更小，更像是泛化的規(guī)律，而不是訓練樣例的另一種描述 25 為什么短的假設優(yōu)先 例如： 考慮決策樹假設， 500個結點的決策樹比 5個結點 的決策樹多得多，如果給定一個 20個訓練樣例的集合， 可以預期能夠找到很多 500個結點的決策樹與訓練數(shù)據(jù)一致，而如果一個 5個結點的決策樹可以完美地擬合這些數(shù)據(jù)則是出乎意料的。所以我們會相信 5個結點的樹不太可能是統(tǒng)計巧合，因而優(yōu)先選擇這個假設 ，而不選擇 500個結點的。 26 過度擬合數(shù)據(jù) ?過度擬合 ? 對于一個假設，當存在其他的假設對訓練樣例的擬合比它差，但事實上在實例的整個分布上表現(xiàn)得卻更好時，我們說這個假設過度擬合訓練樣例 ? 定義：給定一個假設空間 H，一個假設 h?H，如果存在其他的假設 h’?H，使得在訓練樣例上 h的錯誤率比 h’小，但在整個實例分布上 h’的錯誤率比 h小，那么就說假設 h過度擬合訓練數(shù)據(jù)。 27 在此例中， ID3算法用來學習哪個病人患有糖尿病。橫軸表示決策樹結點總 數(shù)，縱軸為決策樹做出的預測精度。實線顯示決策樹在訓練樣例上的精度， 虛線為一套獨立的測試樣例（沒有被包括在訓練樣例中）上測出的精度?？? 以看出，隨著樹的增長，在訓練樣例上的精度是單調(diào)上升的。然而獨立的測 試樣例上測出的精度先上升后下降。當樹超過大約 25個結點時，對樹的進 一步精化盡管可以提高它在訓練數(shù)據(jù)上的精度，卻降低了它在測試樣例上的 精度。 28 避免過度擬合數(shù)據(jù)（ 2） ?導致過度擬合
研究報告相關推薦
鄂ICP備17016276號-1