決策樹分類器培訓(xùn)課件(存儲版)
【正文】 ，即，該分類器基本上 體現(xiàn)兩個 （訓(xùn)練和測試） 集合的共同結(jié)構(gòu) ? 過度擬合 （ overfitting）問題：擬合訓(xùn)練數(shù)據(jù)的效果很好，擬合測試數(shù)據(jù)的效果很差 2023/1/31 Guilin 11 舉例說明（訓(xùn)練數(shù)據(jù)） 2023/1/31 Guilin 12 舉例說明（決策樹） 2023/1/31 Guilin 13 舉例說明（測試數(shù)據(jù)） ? 決策樹是用于預(yù)測一個數(shù)據(jù)的類 ? 問題： Alex, Buddy and Cheery使用哪種交通工具？ 2023/1/31 Guilin 14 舉例說明（決策樹的運用） ? 從根節(jié)點 Travel cost per km開始 ? 如果 Travel Cost = expensive， Transportation mode = car ? 如果 Travel Cost = standard， Transportation mode = train ? 如果 Travel Cost = cheap，決策樹需要檢查下一個節(jié)點Gender ? 如果 Gender = male， Transportation mode = bus ? 如果 Gender = female，決策樹需要檢查下一個節(jié)點 Car ownership ? 如果 Car ownership = 0， Transportation mode = bus，否則Transportation mode = train 2023/1/31 Guilin 15 舉例說明（決策樹） 2023/1/31 Guilin 16 舉例說明（決策樹產(chǎn)生的規(guī)則） ? 每個葉節(jié)點產(chǎn)生一條規(guī)則 ? Rule 1： If Travel cost = expensive then Mode = car ? Rule 2： If Travel cost = standard then Mode = train ? Rule 3： If Travel cost = cheap ? Gender = male then Mode = bus ? Rule 4： If Travel cost = cheap ? Gender = female ? Car ownership = 0 then Mode = bus ? Rule 5： If Travel cost = cheap ? Gender = female ? Car ownership = 1 then Mode = train 2023/1/31 Guilin 17 舉例說明（預(yù)測） ? 根據(jù)上面的決策樹或者規(guī)則，回答前面的問題就很簡單、直接 ? Alex： Travel cost = standard，所以，無論其它屬性取什么值，可以預(yù)測他的交通工具是 train ? Buddy： Travel cost = cheap并且 Gender = male，則可以預(yù)測他的交通工具是 bus ? Cherry： Travel cost = cheap并且 Gender = female 并且 Car ownership = 1，則可以預(yù)測他的交通工具是 train 2023/1/31 Guilin 18 決策樹的缺點 ?多數(shù)決策樹算法采用 貪心策略 ：按照設(shè)定的啟發(fā)式信息搜索最佳樹 ?無回溯 ?非窮近搜索 ，但可能 剪枝 2023/1/31 Guilin 19 如何建構(gòu)決策樹？ ? 決策樹很簡單，但實現(xiàn)建構(gòu)一棵好的樹是很困難的 ? 在上面的例子中，屬性 Ine level沒有用于交通工具的分類 ? 建構(gòu)一棵樹通常的辦法（ 啟發(fā)式信息 ）是度量數(shù)據(jù)集的不純度（ impurity） ? Entropy ? Gini index ? Classification error 2023/1/31 Guilin 20 不純度的定義 ? 給定一個訓(xùn)練數(shù)據(jù)集（ 決策表 ），我們能根 據(jù)類屬性度量它的 同構(gòu)性 （或 異構(gòu)性 heterogeneity） ? 如果一個訓(xùn)練數(shù)據(jù)集的 類屬性 只取 一個類值 ，它是純的或者同構(gòu)的 ? 如果一個訓(xùn)練數(shù)據(jù)集的類屬性取 多個類值 ，它是不純的或者異構(gòu)的 2023/1/31 Guilin 21 如何度量 不純度 ? 有多種量化方法度量 不純度 ? 最常用的三種方法如下 ? ? ? ? 上面所有的度量方法都含有類 j的概率 pj ? ?? j jj ppEntropy 2log???j jpIndexGini 21_ }m ax{1_jperrortionClassifi ca ??2023/1/31 Guilin 22 舉例說明（訓(xùn)練數(shù)據(jù)） 2023/1/31 Guilin 23 舉例說明（類的頻率） ? 在訓(xùn)練數(shù)據(jù)集合中，類屬性 Transportation mode有三個類值 Bus、 Car和 Train ? 我們的例子中，每個值出現(xiàn)的次數(shù)如下 ? 4 buses ? 3 cars ? 3 trains ? 簡單記為 4B, 3C, 3T ? 總數(shù)據(jù)量是 10個標(biāo)記的例子 2023/1/31 Guilin 24
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1