決策樹分類器培訓(xùn)課件(已修改)
2025-01-22 19:41 本頁面
【正文】 2023/1/31 Guilin 1 決策樹分類器 朱曉峰 2023/1/31 Guilin 2 數(shù)據(jù)庫知識(shí)發(fā)現(xiàn)技術(shù) ? 數(shù)據(jù)預(yù)處理：屬性約簡(jiǎn)，缺失值填充 … ? 關(guān)聯(lián)規(guī)則 ? 分類或預(yù)測(cè) ? 聚類 ? 可視化分析 2023/1/31 Guilin 3 什么叫分類？ ? 分類是一個(gè)古老的方法、現(xiàn)代熱門的課題 ? 已知數(shù)據(jù)的集合 D： ? 數(shù)據(jù)被標(biāo)記 ? 學(xué)習(xí) ：從數(shù)據(jù)集合中歸納出規(guī)則、規(guī)律等，通常稱為分類器，或模型 ? 預(yù)測(cè) ：用分類器預(yù)測(cè)新數(shù)據(jù)的類 ? 這種從有標(biāo)記的數(shù)據(jù)種歸納分類器的方法叫 監(jiān)督學(xué)習(xí) ? 決策樹、回歸是最常用的 分類器 分類任務(wù)圖例 分類任務(wù)例子 ? Predicting tumor cells as benign or malignant ? Classifying credit card transactions as legitimate or fraudulent ? Classifying secondary structures of protein as alphahelix, betasheet, or random coil ? Categorizing news stories as finance, weather, entertainment, sports, etc 分類技術(shù) ? Decision Tree based Methods ? Rulebased Methods ? Memory based reasoning ? Neural Networks ? Na239。ve Bayes and Bayesian Belief Networks ? Support Vector Machines 2023/1/31 Guilin 7 決策樹分類器 /模型學(xué)習(xí) ? 將已知數(shù)據(jù)集合分成 ? 訓(xùn)練數(shù)據(jù)集合 ? 測(cè)試集合 ? 學(xué)習(xí) ：從一個(gè)訓(xùn)練數(shù)據(jù)集合歸納出一棵決策樹：從完全空間搜索一棵最佳樹的過程 ? 預(yù)測(cè) ：用決策樹分類新數(shù)據(jù) ? 決策樹是最常用的 分類器 之一 ? 不要求任何 知識(shí)或參數(shù) 設(shè)定 ? 它是一種 監(jiān)督 學(xué)習(xí)方法 ? 一棵決策樹可以 表示 成一組規(guī)則 2023/1/31 Guilin 8 決策樹的結(jié)構(gòu) ? 決策樹是層次的樹結(jié)構(gòu) ? 由一些 節(jié)點(diǎn) 和 枝 （邊）組成，一棵決策樹至少有一個(gè)節(jié)點(diǎn) ? 枝的兩端是節(jié)點(diǎn) ? 一棵決策樹通常是從左到右，或從上到下畫圖 ? 樹的第一個(gè)節(jié)點(diǎn)稱為 根節(jié)點(diǎn) ，“根 枝 節(jié)點(diǎn) ...– 節(jié)點(diǎn) ” 的最后一個(gè)節(jié)點(diǎn)是 葉節(jié)點(diǎn) ，其它節(jié)點(diǎn)叫 中間節(jié)點(diǎn) ? 非葉節(jié)點(diǎn) 至少有一條枝 2023/1/31 Guilin 9 決策樹分類器的解釋 ? 一棵決策樹是訓(xùn)練數(shù)據(jù)的一個(gè) 劃分 ? 樹的一個(gè) 非葉節(jié)點(diǎn) 是對(duì)一個(gè)屬性上的 測(cè)試 ? 一個(gè)屬性的 一條枝 是測(cè)試該屬性的 一個(gè)結(jié)果 ? 一個(gè) 葉節(jié)點(diǎn)是一個(gè)類標(biāo)記 ? 在每個(gè)非葉節(jié)點(diǎn)，一個(gè)屬性被選中，它將訓(xùn)練數(shù)據(jù)分裂成盡可能不同類的子集合（ 劃分 ） ? 對(duì)于一個(gè)新數(shù)據(jù)，根據(jù)它的每個(gè)屬性值從根節(jié)點(diǎn)一直匹配到葉節(jié)點(diǎn)，這個(gè)葉節(jié)點(diǎn)的標(biāo)記就用來 預(yù)測(cè)新數(shù)據(jù)的類 2023/1/31 Guilin 10 構(gòu)造決策樹分類器的原則 ? 目標(biāo)： 最大化預(yù)測(cè)新數(shù)據(jù)的精度（ 實(shí)現(xiàn) 困難 ） ? 通常將給定的 已知數(shù)據(jù) 隨機(jī)分成 訓(xùn)練集合 和 測(cè)試集合 。 訓(xùn)練數(shù)據(jù)用于 歸納分類器 ，測(cè)試數(shù)據(jù)用來 評(píng)估分類器 ? 訓(xùn)練分類器時(shí)的目標(biāo)是 最大化預(yù)測(cè) 測(cè)試數(shù)據(jù)的精度 ，即，該分類器基本上 體現(xiàn)兩個(gè) （訓(xùn)練和測(cè)試） 集合的共同結(jié)構(gòu) ? 過度擬合 （ overfitting）問題：擬合訓(xùn)練數(shù)據(jù)的效果很好，擬合測(cè)試數(shù)據(jù)的效果很差 2023/1/31 Guilin 11 舉例說明（訓(xùn)練數(shù)據(jù)） 2023/1/31 Guilin 12 舉例說明（決策樹） 2023/1/31 Guilin 13 舉例說明（測(cè)試數(shù)據(jù)） ? 決策樹是用于預(yù)測(cè)一個(gè)數(shù)據(jù)的類 ? 問題： Alex, Buddy and Cheery使用哪種交通工具？ 2023/1/31 Guilin 14 舉例說明（決策樹的運(yùn)用） ? 從根節(jié)點(diǎn) Travel cost per km開始 ? 如果 Travel Cost = expensive， Transportation mode = car ? 如果 Travel Cost = standard， Transportation mode = train ? 如果 Travel Cost = cheap，決策樹需要檢查下一個(gè)節(jié)點(diǎn)Gender ? 如果 Gender = male， Transportation mode = bus ? 如果 Gender = female，決策樹需要檢查下一個(gè)節(jié)點(diǎn) Car ownership ? 如果 Car ownership = 0， Transportation mode = bus，否則Transportation mode = train 2023/1/31
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1