決策樹分類器培訓(xùn)課件-預(yù)覽頁
【正文】 次循環(huán)留待分的數(shù)據(jù)集合 ? 屬性值 Female的數(shù)據(jù) ? 剩下可以考慮的屬性只有兩個 ? Car ownership ? Ine level 2023/1/31 Guilin 61 為第三次循環(huán)產(chǎn)生數(shù)據(jù)集合 2023/1/31 Guilin 62 Female連接的節(jié)點的數(shù)據(jù)集合的不純度 ? 只有兩個記錄 ? 兩個記錄有不同的類 ? 如果選用屬性 car ownership作為分裂屬性，我們將得到兩個純類的子集合 ? 同樣，如果選用屬性 ine level作為分裂屬性，我們也將得到兩個純類的子集合 ? 所以，任意選一個即可，不需要計算信息增益值 ? 假設(shè)我們選用屬性 car ownership，我們得到一顆決策樹，循環(huán)結(jié)束 2023/1/31 Guilin 63 建立的決策樹 2023/1/31 Guilin 64 評估技術(shù) ? Holdout: 訓(xùn)練集合 /測試集合 ? 數(shù)據(jù)集合很大時較好 ? kfold交叉驗證 : ? 將數(shù)據(jù)集合分成 k子集合 ? 在每次建樹時，使用一個子集合作為測試集合，其它 k1子集合一起作為訓(xùn)練集合 ? 用這 k次結(jié)果的均值作為參照 ? 它消除了訓(xùn)練集合 /測試集合方法的 隨機性 2023/1/31 Guilin 65 65 交叉驗證圖解 ? 數(shù)據(jù)集合分成 k段 ? ? ? 一個做測試，其它的用來訓(xùn)練分類器 ? ? 重復(fù)到 Test iteration 2023/1/31 Guilin 66 增益率 ? 增益率（ Gain ratio）： 是 信息增益的一個改良版，它可以減少信息增益偏好于取值較多的屬性 ? 增益率考慮分支數(shù)目和分枝的大小 ? 它通過內(nèi)在信息改良信息增益值 ? 也稱為分裂率 ? 內(nèi)在信息： 分支里的記錄分布的熵 2023/1/31 Guilin 67 增益率的定義 ? 增益率一般是 ? 數(shù)據(jù)均勻分布時很大 ? 數(shù)據(jù)集中于某個枝時很小 ? 增益率（ Quinlan’86)） 標(biāo)準(zhǔn)化信息增益 2023/1/31 Guilin 68 有關(guān)決策樹分類器的研究問題 ? 分裂屬性選擇標(biāo)準(zhǔn) ? 過度擬合（ Overfitting） ? 低度擬合（ Underfitting） ? 評估技術(shù) ? 非均勻數(shù)據(jù) /類（ Imbalanced data/classes） ? 多標(biāo)記學(xué)習(xí) ? 半監(jiān)督分類 2023/1/31 Guilin 69 Summary ? 決策樹的定義 ? 決策樹的使用 ? 如何建樹 ? 分裂屬性選擇 ? 不純度 ? 信息增益 ? 評估技術(shù) ? 相關(guān)的研究問題 2023/1/31 Guilin 70 參考目錄 ? D. LU and Q. WENG，（ 2023）， A survey of image classification methods and techniques for improving classification performance， International Journal of Remote Sensing， Vol. 28, No. 5, 10 March 2023, 823–870。ve Bayes and Bayesian Belief Networks ? Support Vector Machines 2023/1/31 Guilin 7 決策樹分類器 /模型學(xué)習(xí) ? 將已知數(shù)據(jù)集合分成 ? 訓(xùn)練數(shù)據(jù)集合 ? 測試集合 ? 學(xué)習(xí) ：從一個訓(xùn)練數(shù)據(jù)集合歸納出一棵決策樹：從完全空間搜索一棵最佳樹的過程 ? 預(yù)測 ：用決策樹分類新數(shù)據(jù) ? 決策樹是最常用的 分類器 之一 ? 不要求任何 知識或參數(shù) 設(shè)定 ? 它是一種 監(jiān)督 學(xué)習(xí)方法 ? 一棵決策樹可以 表示 成一組規(guī)則 2023/1/31 Guilin 8 決策樹的結(jié)構(gòu) ? 決策樹是層次的樹結(jié)構(gòu) ? 由一些 節(jié)點 和 枝 （邊）組成，一棵決策樹至少有一個節(jié)點 ? 枝的兩端是節(jié)點 ? 一棵決策樹通常是從左到右，或從上到下畫圖 ? 樹的第一個節(jié)點稱為 根節(jié)點 ，“根 枝 節(jié)點 ...– 節(jié)點 ” 的最后一個節(jié)點是 葉節(jié)點 ，其它節(jié)點叫 中間節(jié)點 ? 非葉節(jié)點 至少有一條枝 2023/1/31 Guilin 9 決策樹分類器的解釋 ? 一棵決策樹是訓(xùn)練數(shù)據(jù)的一個 劃分 ? 樹的一個 非葉節(jié)點 是對一個屬性上的 測試 ? 一個屬性的 一條枝 是測試該屬性的 一個結(jié)果 ? 一個 葉節(jié)點是一個類標(biāo)記 ? 在每個非葉節(jié)點，一個屬性被選中，它將訓(xùn)練數(shù)據(jù)分裂成盡可能不同類的子集合（ 劃分 ） ? 對于一個新數(shù)據(jù)，根據(jù)它的每個屬性值從根節(jié)點一直匹配到葉節(jié)點，這個葉節(jié)點的標(biāo)記就用來 預(yù)測新數(shù)據(jù)的類 2023/1/31 Guilin 10 構(gòu)造決策樹分類器的原則 ? 目標(biāo)： 最大化預(yù)測新數(shù)據(jù)的精度（ 實現(xiàn) 困難 ） ? 通常將給定的 已知數(shù)據(jù) 隨機分成 訓(xùn)練集合 和 測試集
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1