決策樹分類器培訓(xùn)課件-閱讀頁
2025-01-24 19:41本頁面
【正文】 率 ? 內(nèi)在信息： 分支里的記錄分布的熵 2023/1/31 Guilin 67 增益率的定義 ? 增益率一般是 ? 數(shù)據(jù)均勻分布時(shí)很大 ? 數(shù)據(jù)集中于某個(gè)枝時(shí)很小 ? 增益率（ Quinlan’86)） 標(biāo)準(zhǔn)化信息增益 2023/1/31 Guilin 68 有關(guān)決策樹分類器的研究問題 ? 分裂屬性選擇標(biāo)準(zhǔn) ? 過度擬合（ Overfitting） ? 低度擬合（ Underfitting） ? 評(píng)估技術(shù) ? 非均勻數(shù)據(jù) /類（ Imbalanced data/classes） ? 多標(biāo)記學(xué)習(xí) ? 半監(jiān)督分類 2023/1/31 Guilin 69 Summary ? 決策樹的定義 ? 決策樹的使用 ? 如何建樹 ? 分裂屬性選擇 ? 不純度 ? 信息增益 ? 評(píng)估技術(shù) ? 相關(guān)的研究問題 2023/1/31 Guilin 70 參考目錄 ? D. LU and Q. WENG，（ 2023）， A survey of image classification methods and techniques for improving classification performance， International Journal of Remote Sensing， Vol. 28, No. 5, 10 March 2023, 823–870。2023/1/31 Guilin 1 決策樹分類器 朱曉峰 2023/1/31 Guilin 2 數(shù)據(jù)庫知識(shí)發(fā)現(xiàn)技術(shù) ? 數(shù)據(jù)預(yù)處理：屬性約簡，缺失值填充 … ? 關(guān)聯(lián)規(guī)則 ? 分類或預(yù)測 ? 聚類 ? 可視化分析 2023/1/31 Guilin 3 什么叫分類？ ? 分類是一個(gè)古老的方法、現(xiàn)代熱門的課題 ? 已知數(shù)據(jù)的集合 D： ? 數(shù)據(jù)被標(biāo)記 ? 學(xué)習(xí) ：從數(shù)據(jù)集合中歸納出規(guī)則、規(guī)律等，通常稱為分類器，或模型 ? 預(yù)測 ：用分類器預(yù)測新數(shù)據(jù)的類 ? 這種從有標(biāo)記的數(shù)據(jù)種歸納分類器的方法叫 監(jiān)督學(xué)習(xí) ? 決策樹、回歸是最常用的 分類器 分類任務(wù)圖例 分類任務(wù)例子 ? Predicting tumor cells as benign or malignant ? Classifying credit card transactions as legitimate or fraudulent ? Classifying secondary structures of protein as alphahelix, betasheet, or random coil ? Categorizing news stories as finance, weather, entertainment, sports, etc 分類技術(shù) ? Decision Tree based Methods ? Rulebased Methods ? Memory based reasoning ? Neural Networks ? Na239。ve Bayes and Bayesian Belief Networks ? Support Vector Machines 2023/1/31 Guilin 7 決策樹分類器 /模型學(xué)習(xí) ? 將已知數(shù)據(jù)集合分成 ? 訓(xùn)練數(shù)據(jù)集合 ? 測試集合 ? 學(xué)習(xí) ：從一個(gè)訓(xùn)練數(shù)據(jù)集合歸納出一棵決策樹：從完全空間搜索一棵最佳樹的過程 ? 預(yù)測 ：用決策樹分類新數(shù)據(jù) ? 決策樹是最常用的 分類器 之一 ? 不要求任何 知識(shí)或參數(shù) 設(shè)定 ? 它是一種 監(jiān)督 學(xué)習(xí)方法 ? 一棵決策樹可以 表示 成一組規(guī)則 2023/1/31 Guilin 8 決策樹的結(jié)構(gòu) ? 決策樹是層次的樹結(jié)構(gòu) ? 由一些 節(jié)點(diǎn) 和 枝 （邊）組成，一棵決策樹至少有一個(gè)節(jié)點(diǎn) ? 枝的兩端是節(jié)點(diǎn) ? 一棵決策樹通常是從左到右，或從上到下畫圖 ? 樹的第一個(gè)節(jié)點(diǎn)稱為 根節(jié)點(diǎn) ，“根 枝 節(jié)點(diǎn) ...– 節(jié)點(diǎn) ” 的最后一個(gè)節(jié)點(diǎn)是 葉節(jié)點(diǎn) ，其它節(jié)點(diǎn)叫 中間節(jié)點(diǎn) ? 非葉節(jié)點(diǎn) 至少有一條枝 2023/1/31 Guilin 9 決策樹分類器的解釋 ? 一棵決策樹是訓(xùn)練數(shù)據(jù)的一個(gè) 劃分 ? 樹的一個(gè) 非葉節(jié)點(diǎn) 是對(duì)一個(gè)屬性上的 測試 ? 一個(gè)屬性的 一條枝 是測試該屬性的 一個(gè)結(jié)果 ? 一個(gè) 葉節(jié)點(diǎn)是一個(gè)類標(biāo)記 ? 在每個(gè)非葉節(jié)點(diǎn)，一個(gè)屬性被選中，它將訓(xùn)練數(shù)據(jù)分裂成盡可能不同類的子集合（ 劃分 ） ? 對(duì)于一個(gè)新數(shù)據(jù)，根據(jù)它的每個(gè)屬性值從根節(jié)點(diǎn)一直匹配到葉節(jié)點(diǎn)，這個(gè)葉節(jié)點(diǎn)的標(biāo)記就用來 預(yù)測新數(shù)據(jù)的類 2023/1/31 Guilin 10 構(gòu)造決策樹分類器的原則 ? 目標(biāo)： 最大化預(yù)測新數(shù)據(jù)的精度（ 實(shí)現(xiàn) 困難 ） ? 通常將給定的 已知數(shù)據(jù) 隨機(jī)分成 訓(xùn)練集合 和 測試集合 。 ? F. Zeng and Z. Qiu (2023) A survey of classification learning algorithm, ICSP
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1