決策樹(shù)分類器培訓(xùn)課件-預(yù)覽頁(yè)
【正文】 次循環(huán)留待分的數(shù)據(jù)集合 ? 屬性值 Female的數(shù)據(jù) ? 剩下可以考慮的屬性只有兩個(gè) ? Car ownership ? Ine level 2023/1/31 Guilin 61 為第三次循環(huán)產(chǎn)生數(shù)據(jù)集合 2023/1/31 Guilin 62 Female連接的節(jié)點(diǎn)的數(shù)據(jù)集合的不純度 ? 只有兩個(gè)記錄 ? 兩個(gè)記錄有不同的類 ? 如果選用屬性 car ownership作為分裂屬性，我們將得到兩個(gè)純類的子集合 ? 同樣，如果選用屬性 ine level作為分裂屬性，我們也將得到兩個(gè)純類的子集合 ? 所以，任意選一個(gè)即可，不需要計(jì)算信息增益值 ? 假設(shè)我們選用屬性 car ownership，我們得到一顆決策樹(shù)，循環(huán)結(jié)束 2023/1/31 Guilin 63 建立的決策樹(shù) 2023/1/31 Guilin 64 評(píng)估技術(shù) ? Holdout: 訓(xùn)練集合 /測(cè)試集合 ? 數(shù)據(jù)集合很大時(shí)較好 ? kfold交叉驗(yàn)證 : ? 將數(shù)據(jù)集合分成 k子集合 ? 在每次建樹(shù)時(shí)，使用一個(gè)子集合作為測(cè)試集合，其它 k1子集合一起作為訓(xùn)練集合 ? 用這 k次結(jié)果的均值作為參照 ? 它消除了訓(xùn)練集合 /測(cè)試集合方法的 隨機(jī)性 2023/1/31 Guilin 65 65 交叉驗(yàn)證圖解 ? 數(shù)據(jù)集合分成 k段 ? ? ? 一個(gè)做測(cè)試，其它的用來(lái)訓(xùn)練分類器 ? ? 重復(fù)到 Test iteration 2023/1/31 Guilin 66 增益率 ? 增益率（ Gain ratio）： 是 信息增益的一個(gè)改良版，它可以減少信息增益偏好于取值較多的屬性 ? 增益率考慮分支數(shù)目和分枝的大小 ? 它通過(guò)內(nèi)在信息改良信息增益值 ? 也稱為分裂率 ? 內(nèi)在信息： 分支里的記錄分布的熵 2023/1/31 Guilin 67 增益率的定義 ? 增益率一般是 ? 數(shù)據(jù)均勻分布時(shí)很大 ? 數(shù)據(jù)集中于某個(gè)枝時(shí)很小 ? 增益率（ Quinlan’86)） 標(biāo)準(zhǔn)化信息增益 2023/1/31 Guilin 68 有關(guān)決策樹(shù)分類器的研究問(wèn)題 ? 分裂屬性選擇標(biāo)準(zhǔn) ? 過(guò)度擬合（ Overfitting） ? 低度擬合（ Underfitting） ? 評(píng)估技術(shù) ? 非均勻數(shù)據(jù) /類（ Imbalanced data/classes） ? 多標(biāo)記學(xué)習(xí) ? 半監(jiān)督分類 2023/1/31 Guilin 69 Summary ? 決策樹(shù)的定義 ? 決策樹(shù)的使用 ? 如何建樹(shù) ? 分裂屬性選擇 ? 不純度 ? 信息增益 ? 評(píng)估技術(shù) ? 相關(guān)的研究問(wèn)題 2023/1/31 Guilin 70 參考目錄 ? D. LU and Q. WENG，（ 2023）， A survey of image classification methods and techniques for improving classification performance， International Journal of Remote Sensing， Vol. 28, No. 5, 10 March 2023, 823–870。ve Bayes and Bayesian Belief Networks ? Support Vector Machines 2023/1/31 Guilin 7 決策樹(shù)分類器 /模型學(xué)習(xí) ? 將已知數(shù)據(jù)集合分成 ? 訓(xùn)練數(shù)據(jù)集合 ? 測(cè)試集合 ? 學(xué)習(xí) ：從一個(gè)訓(xùn)練數(shù)據(jù)集合歸納出一棵決策樹(shù)：從完全空間搜索一棵最佳樹(shù)的過(guò)程 ? 預(yù)測(cè) ：用決策樹(shù)分類新數(shù)據(jù) ? 決策樹(shù)是最常用的 分類器 之一 ? 不要求任何 知識(shí)或參數(shù) 設(shè)定 ? 它是一種 監(jiān)督 學(xué)習(xí)方法 ? 一棵決策樹(shù)可以 表示 成一組規(guī)則 2023/1/31 Guilin 8 決策樹(shù)的結(jié)構(gòu) ? 決策樹(shù)是層次的樹(shù)結(jié)構(gòu) ? 由一些 節(jié)點(diǎn) 和 枝 （邊）組成，一棵決策樹(shù)至少有一個(gè)節(jié)點(diǎn) ? 枝的兩端是節(jié)點(diǎn) ? 一棵決策樹(shù)通常是從左到右，或從上到下畫(huà)圖 ? 樹(shù)的第一個(gè)節(jié)點(diǎn)稱為 根節(jié)點(diǎn) ，“根 枝 節(jié)點(diǎn) ...– 節(jié)點(diǎn) ” 的最后一個(gè)節(jié)點(diǎn)是 葉節(jié)點(diǎn) ，其它節(jié)點(diǎn)叫 中間節(jié)點(diǎn) ? 非葉節(jié)點(diǎn) 至少有一條枝 2023/1/31 Guilin 9 決策樹(shù)分類器的解釋 ? 一棵決策樹(shù)是訓(xùn)練數(shù)據(jù)的一個(gè) 劃分 ? 樹(shù)的一個(gè) 非葉節(jié)點(diǎn) 是對(duì)一個(gè)屬性上的 測(cè)試 ? 一個(gè)屬性的 一條枝 是測(cè)試該屬性的 一個(gè)結(jié)果 ? 一個(gè) 葉節(jié)點(diǎn)是一個(gè)類標(biāo)記 ? 在每個(gè)非葉節(jié)點(diǎn)，一個(gè)屬性被選中，它將訓(xùn)練數(shù)據(jù)分裂成盡可能不同類的子集合（ 劃分 ） ? 對(duì)于一個(gè)新數(shù)據(jù)，根據(jù)它的每個(gè)屬性值從根節(jié)點(diǎn)一直匹配到葉節(jié)點(diǎn)，這個(gè)葉節(jié)點(diǎn)的標(biāo)記就用來(lái) 預(yù)測(cè)新數(shù)據(jù)的類 2023/1/31 Guilin 10 構(gòu)造決策樹(shù)分類器的原則 ? 目標(biāo)： 最大化預(yù)測(cè)新數(shù)據(jù)的精度（ 實(shí)現(xiàn) 困難 ） ? 通常將給定的 已知數(shù)據(jù) 隨機(jī)分成 訓(xùn)練集合 和 測(cè)試集
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1