決策樹分類器培訓課件-資料下載頁
2025-01-14 19:41本頁面
【正文】 ? 節(jié)點 Gender有兩個值 ? Male ? Female ? 屬性值 Male是純的類，是葉節(jié)點 ? 屬性值 Female有多個類，需要在下一個循環(huán)繼續(xù)分裂 2023/1/31 Guilin 60 第三次循環(huán) ? 第三次循環(huán)的數(shù)據(jù)是第二次循環(huán)留待分的數(shù)據(jù)集合 ? 屬性值 Female的數(shù)據(jù) ? 剩下可以考慮的屬性只有兩個 ? Car ownership ? Ine level 2023/1/31 Guilin 61 為第三次循環(huán)產(chǎn)生數(shù)據(jù)集合 2023/1/31 Guilin 62 Female連接的節(jié)點的數(shù)據(jù)集合的不純度 ? 只有兩個記錄 ? 兩個記錄有不同的類 ? 如果選用屬性 car ownership作為分裂屬性，我們將得到兩個純類的子集合 ? 同樣，如果選用屬性 ine level作為分裂屬性，我們也將得到兩個純類的子集合 ? 所以，任意選一個即可，不需要計算信息增益值 ? 假設我們選用屬性 car ownership，我們得到一顆決策樹，循環(huán)結(jié)束 2023/1/31 Guilin 63 建立的決策樹 2023/1/31 Guilin 64 評估技術 ? Holdout: 訓練集合 /測試集合 ? 數(shù)據(jù)集合很大時較好 ? kfold交叉驗證 : ? 將數(shù)據(jù)集合分成 k子集合 ? 在每次建樹時，使用一個子集合作為測試集合，其它 k1子集合一起作為訓練集合 ? 用這 k次結(jié)果的均值作為參照 ? 它消除了訓練集合 /測試集合方法的 隨機性 2023/1/31 Guilin 65 65 交叉驗證圖解 ? 數(shù)據(jù)集合分成 k段 ? ? ? 一個做測試，其它的用來訓練分類器 ? ? 重復到 Test iteration 2023/1/31 Guilin 66 增益率 ? 增益率（ Gain ratio）： 是 信息增益的一個改良版，它可以減少信息增益偏好于取值較多的屬性 ? 增益率考慮分支數(shù)目和分枝的大小 ? 它通過內(nèi)在信息改良信息增益值 ? 也稱為分裂率 ? 內(nèi)在信息： 分支里的記錄分布的熵 2023/1/31 Guilin 67 增益率的定義 ? 增益率一般是 ? 數(shù)據(jù)均勻分布時很大 ? 數(shù)據(jù)集中于某個枝時很小 ? 增益率（ Quinlan’86)） 標準化信息增益 2023/1/31 Guilin 68 有關決策樹分類器的研究問題 ? 分裂屬性選擇標準 ? 過度擬合（ Overfitting） ? 低度擬合（ Underfitting） ? 評估技術 ? 非均勻數(shù)據(jù) /類（ Imbalanced data/classes） ? 多標記學習 ? 半監(jiān)督分類 2023/1/31 Guilin 69 Summary ? 決策樹的定義 ? 決策樹的使用 ? 如何建樹 ? 分裂屬性選擇 ? 不純度 ? 信息增益 ? 評估技術 ? 相關的研究問題 2023/1/31 Guilin 70 參考目錄 ? D. LU and Q. WENG，（ 2023）， A survey of image classification methods and techniques for improving classification performance， International Journal of Remote Sensing， Vol. 28, No. 5, 10 March 2023, 823–870。 ? F. Zeng and Z. Qiu (2023) A survey of classification learning algorithm, ICSP 39。04. ? Thair Nu Phyu （ 2023） Survey of Classification Techniques in Data Mining， IMECS 2023, ? C. Aggarwal and C. Zhai （ 2023） A Survey of Text Classification Algorithms，Mining Text Data， 2023, pp 163222 ? Zhengzheng Xing, Jian Pei, Eamonn J. Keogh: A brief survey on sequence classification. SIGKDD Explorations 12(1): 4048 (2023) ? Shehroz S. Khan, Michael G. Madden: A Survey of Recent Trends in One Class Classification. AICS 2023:188197 ? M. Aly, (2023)Survey on Multiclass Classification Methods,Neural works (2023). 2023/1/31 Guilin 71 Thanks!!! Questions?
規(guī)章制度相關推薦
鄂ICP備17016276號-1