建立模型之決策樹講義-文庫吧資料
2025-01-05 17:09本頁面
【正文】 ? 決策樹的修剪 ?解決過度擬合問題 ? 預先修剪，限值決策樹的充分生長，如：限制樹的高度 ? 滯后修剪，待決策樹充分生長完畢后再進行修剪 ? 當節(jié)點和分支數(shù)較多時，顯然不合適 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 14 / 34 決策樹表示法 ? 決策樹 ? 通過把樣本從根節(jié)點排列到 某個葉子節(jié)點 來分類樣本 ? 葉子節(jié)點 即為樣本所屬的分類 ? 樹上每個節(jié)點說明了對樣本的某個屬性的測試 , 如：濕度 ? 節(jié)點的每個后繼分支對應于該屬性的一個可能值 ， High ? 決策樹代表樣本的屬性值約束的合取的析取式 Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Yes No Strong Weak Yes No 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 15 / 34 Outlook Sunny Overcast Rain Humidity Yes Wind High Normal Yes No Strong Weak Yes No 決策樹例圖的邏輯表達式 ? 決策樹代表實例屬性值約束的合取的析取式。2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 1 / 34 4. 建立模型之決策樹 1. 分類預測的概念 2. 什么是決策樹 3. 決策樹的核心問題 ① 決策樹的生長，模型建立 ② 決策樹的修剪 4. ? 信息熵和信息增益 ? 修剪算法 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 2 / 34 分類預測概念 ? 目的（通用） ? 學習模型建立的算法 ? 了解該算法在相應數(shù)據(jù)挖掘問題中的應用 ? 分類預測的含義 ? 分類預測算法的類型 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 3 / 34 分類預測概念 ? 目的（通用） ? 分類預測的含義 ?建立起擬合數(shù)據(jù)的模型 ，具備預測能力 ? 分類預測算法的類型 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 4 / 34 分類預測概念 ? 目的（通用） ? 分類預測的含義 ? 分類預測算法的類型 ? 分析新數(shù)據(jù)在離散型輸出變量上的取值 ?分類決策樹 ? 分析新數(shù)據(jù)在數(shù)值型（連續(xù)）輸出變量上的取值 ? 回歸決策樹 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 5 / 34 聚類、分類和模式識別 ? 聚類 ? 子集劃分，把一個集合分割為無交集的子集； ? 模式分類 ? 標識出樣本歸屬的子集（標簽） ? 模式識別 ? 標識出樣本對應的個體（樣例）本身，或標識出樣本所屬子集本身（如考古、物種鑒別等） ? 【 注 】 樣本，只需是個體或集合的特征表示 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 6 / 34 從二分類問題開始 ? 很多問題可以歸結為 1. 上課、習題，以及考試都不是目的，只是為一個結果：及格？通過？優(yōu)秀 2. 看電影：這是好人還是壞人 3. 求職：多項測試之后，決定 喜歡還是不喜歡？滿意還是不滿意？ 4. 研究方向： Major in or out – 在上述選擇過程中，涉及到多個因素，如何比較 不同因素重要性 的差別 ？ 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 7 / 34 在“虛度的日子”的判別中 最關鍵的 是哪一個因素？ ? 睡眠時間 ： 6/7/8/9/10 ? 成功事例數(shù)目 ： 1/2/3 ? 開心指數(shù) ：快樂、憂傷、憤怒、平淡、無聊 ? 人際交往 ：有成效、封閉 ? 健康指數(shù) ：生病、恢復、亞健康、正常 ? 學思比數(shù) ： 10： 1， 3： 1， 2： 1， 1： 2 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 8 / 34 基于樹型結構的排序算法 ? 樹中節(jié)點的位置的確定和調整是通過對每一個節(jié)點中某個特定域的屬性值排序決定， ? 通常，樹中節(jié)點都具有該屬性 ? 二叉排序樹 ? 堆排序 ? 如果樹中節(jié)點沒有現(xiàn)成的公共屬性，無法據(jù)以比較節(jié)點以安排其在生成樹中位置，怎么辦？ 2023/1/20 數(shù)據(jù)庫新技術 (數(shù)據(jù)挖掘 ) 9 / 34 2. 什么是決策樹 ? 決策樹來自決策論 , 由多個決策分支和可能的結果 （包括資源成本和風險） 組成，用來創(chuàng)建到達目標的規(guī)劃； ? A Decision tree is a tree with branching nodes with a choice between two or more choices. ? 也可以用來表示算法。 ? 分類預測：決策樹表示 ? 決策樹學習結果：表示為決策樹形式的
教學課件相關推薦
鄂ICP備17016276號-1