決策樹分類器培訓(xùn)課件-文庫吧
2025-01-04 19:41 本頁面
【正文】 Guilin 15 舉例說明（決策樹） 2023/1/31 Guilin 16 舉例說明（決策樹產(chǎn)生的規(guī)則） ? 每個(gè)葉節(jié)點(diǎn)產(chǎn)生一條規(guī)則 ? Rule 1： If Travel cost = expensive then Mode = car ? Rule 2： If Travel cost = standard then Mode = train ? Rule 3： If Travel cost = cheap ? Gender = male then Mode = bus ? Rule 4： If Travel cost = cheap ? Gender = female ? Car ownership = 0 then Mode = bus ? Rule 5： If Travel cost = cheap ? Gender = female ? Car ownership = 1 then Mode = train 2023/1/31 Guilin 17 舉例說明（預(yù)測） ? 根據(jù)上面的決策樹或者規(guī)則，回答前面的問題就很簡單、直接 ? Alex： Travel cost = standard，所以，無論其它屬性取什么值，可以預(yù)測他的交通工具是 train ? Buddy： Travel cost = cheap并且 Gender = male，則可以預(yù)測他的交通工具是 bus ? Cherry： Travel cost = cheap并且 Gender = female 并且 Car ownership = 1，則可以預(yù)測他的交通工具是 train 2023/1/31 Guilin 18 決策樹的缺點(diǎn) ?多數(shù)決策樹算法采用 貪心策略 ：按照設(shè)定的啟發(fā)式信息搜索最佳樹 ?無回溯 ?非窮近搜索 ，但可能 剪枝 2023/1/31 Guilin 19 如何建構(gòu)決策樹？ ? 決策樹很簡單，但實(shí)現(xiàn)建構(gòu)一棵好的樹是很困難的 ? 在上面的例子中，屬性 Ine level沒有用于交通工具的分類 ? 建構(gòu)一棵樹通常的辦法（ 啟發(fā)式信息 ）是度量數(shù)據(jù)集的不純度（ impurity） ? Entropy ? Gini index ? Classification error 2023/1/31 Guilin 20 不純度的定義 ? 給定一個(gè)訓(xùn)練數(shù)據(jù)集（ 決策表 ），我們能根 據(jù)類屬性度量它的 同構(gòu)性 （或 異構(gòu)性 heterogeneity） ? 如果一個(gè)訓(xùn)練數(shù)據(jù)集的 類屬性 只取 一個(gè)類值 ，它是純的或者同構(gòu)的 ? 如果一個(gè)訓(xùn)練數(shù)據(jù)集的類屬性取 多個(gè)類值 ，它是不純的或者異構(gòu)的 2023/1/31 Guilin 21 如何度量 不純度 ? 有多種量化方法度量 不純度 ? 最常用的三種方法如下 ? ? ? ? 上面所有的度量方法都含有類 j的概率 pj ? ?? j jj ppEntropy 2log???j jpIndexGini 21_ }m ax{1_jperrortionClassifi ca ??2023/1/31 Guilin 22 舉例說明（訓(xùn)練數(shù)據(jù)） 2023/1/31 Guilin 23 舉例說明（類的頻率） ? 在訓(xùn)練數(shù)據(jù)集合中，類屬性 Transportation mode有三個(gè)類值 Bus、 Car和 Train ? 我們的例子中，每個(gè)值出現(xiàn)的次數(shù)如下 ? 4 buses ? 3 cars ? 3 trains ? 簡單記為 4B, 3C, 3T ? 總數(shù)據(jù)量是 10個(gè)標(biāo)記的例子 2023/1/31 Guilin 24 舉例說明（計(jì)算概率） ? 根據(jù)上面的數(shù)據(jù)，每個(gè)類的概率如下： ? p(Bus) = 4 / 10 = ? p(Car) = 3 / 10 = ? p(Train) = 3 / 10 = ? 注意，在上面的概率計(jì)算中，我們只考慮了類屬性 Transportation mode，其它屬性都不考慮 ? 有了每個(gè)類的概率，我們就可以用前面的方法計(jì)算訓(xùn)練數(shù)據(jù)集合的不純度 2023/1/31 Guilin 25 舉例說明（用熵計(jì)算概率） ? 計(jì)算訓(xùn)練數(shù)據(jù)集合的不純度的一個(gè)方法就是采用熵（ entropy） ? 已知 p(Bus) = , p(Car) = p(Train) = ，熵的計(jì)算如下： ? Entropy = – log () – log () – log () = ? 對數(shù)的底是 2 ? ?? j jj ppEntropy 2log2023/1/31 Guilin 26 熵的性質(zhì) ? 一個(gè)純的訓(xùn)練數(shù)據(jù)集合（只有一個(gè)類）的熵是0，這是因?yàn)楦怕?1的對數(shù) log (1) = 0 ? 在多個(gè)類的情況下，熵在每個(gè)類的概率相等時(shí)達(dá)到最大值 ? 下面的圖描出了不同的類個(gè)數(shù) n的熵的最大值，這里， p=1/n ? 熵的最大值是 n*p*log p ? 注意：當(dāng)類個(gè)數(shù) n2時(shí)，熵 1 2023/1/31 Guilin 27 圖示熵的性質(zhì) 2023/1/31 Guilin 28 舉例說明（ 用 G
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1