決策樹(shù)基本概念教材-資料下載頁(yè)
2025-01-14 19:42本頁(yè)面
【正文】 x x x = P(X|Ci)*P(Ci) : P(X|buys_puter = “yes”) * P(buys_puter = “yes”) = P(X|buys_puter = “no”) * P(buys_puter = “no”) = 因此 , X 屬于類 (“buys_puter = yes”) a g e in co me st u d e n tcre d it _ ra t in gb u ys_ co mp u t e r=3 0 h ig h no f a ir no=3 0 h ig h no e x ce l l e n t no3 1 …4 0 h ig h no f a ir ye s4 0 me d iu m no f a ir ye s4 0 l o w ye s f a ir ye s4 0 l o w ye s e x ce l l e n t no3 1 …4 0 l o w ye s e x ce l l e n t ye s=3 0 me d iu m no f a ir no=3 0 l o w ye s f a ir ye s4 0 me d iu m ye s f a ir ye s=3 0 me d iu m ye s e x ce l l e n t ye s3 1 …4 0 me d iu m no e x ce l l e n t ye s3 1 …4 0 h ig h ye s f a ir ye s4 0 me d iu m no e x ce l l e n t no34 避免零概率問(wèn)題 ? 樸素貝葉斯分類預(yù)測(cè)需要每個(gè)條件概率是非零的，否則，預(yù)測(cè)概率將會(huì)為零 ? 例如，假設(shè)一個(gè)具有 1000個(gè)元組的數(shù)據(jù)集 , ine=low (0), ine= medium (990), 和 ine = high (10) ? 使用 拉普拉斯校準(zhǔn) (或拉普拉斯估計(jì)法 ) ? 每個(gè)組元組數(shù)加 1 Prob(ine = low) = 1/1003 Prob(ine = medium) = 991/1003 Prob(ine = high) = 11/1003 ? “校準(zhǔn)的”概率估計(jì)與對(duì)應(yīng)的“未校準(zhǔn)的”估計(jì)很接近 35 樸素貝葉斯分類 : 評(píng)價(jià) ? 優(yōu)點(diǎn) ? 易于實(shí)施 ? 大部分情況下可以獲得好的結(jié)果 ? 缺點(diǎn) ? 假設(shè) : 類條件獨(dú)立，因此損失準(zhǔn)確性 ? 實(shí)際中 , 屬性之間經(jīng)常存在依賴性 ? 屬性之間存在依賴的情況不能通過(guò)樸素貝葉斯分類建模 ? 怎么處理這些依賴性 ? 貝葉斯信念網(wǎng)絡(luò) 36 分類 : 基本概念 ? 分類 : 基本概念 ? 決策樹(shù) ? 基于規(guī)則分類 ? 貝葉斯分類方法 ? 提高分類準(zhǔn)確率的技術(shù) ? 小結(jié) 組合方法 : 提高分類準(zhǔn)確率 ? 組合方法 ? 把 k個(gè)學(xué)習(xí)得到的模型 , M1, M2, …, Mk, 組合在一起，旨在創(chuàng)建 一個(gè)改進(jìn)的復(fù)合分類模型 M* ? 流行的組合方法 ? 裝袋 : 在一組分類器上平均預(yù)測(cè) ? 提升 : 基于一組分類器的加權(quán)表決 37 給定一個(gè)待分類元組 X，它收集由基分類器返回的類標(biāo)號(hào)預(yù)測(cè)，并輸出占多數(shù)的類。 裝袋 : 自助聚集 ? 類似 : 基于多個(gè)醫(yī)生多數(shù)表決的診斷 ? 訓(xùn)練 ? 每次迭代 i， d個(gè)元組的訓(xùn)練集 Di采用有放回抽樣從原始數(shù)據(jù)集 D抽取 ? 從每個(gè)訓(xùn)練集 Di學(xué)習(xí)一個(gè)分類器模型 Mi ? 分類 : 對(duì)一個(gè)未知元組 X分類 ? 每個(gè)分類器 Mi 返回它的類預(yù)測(cè) ? 裝袋分類器 M* 統(tǒng)計(jì)得票，并將得票最高的類賦予 X ? 預(yù)測(cè) : 通過(guò)取給定元組的每個(gè)預(yù)測(cè)的平均值，裝袋也可以用于連續(xù)值的預(yù)測(cè) ? 準(zhǔn)確率 ? 準(zhǔn)確率顯著高于從原訓(xùn)練集 D導(dǎo)出的單個(gè)分類器的準(zhǔn)確率 ? 對(duì)于噪聲數(shù)據(jù) : 更魯棒 38 裝袋 : 自助聚集 39 算法 ：裝袋。裝袋算法 ——為學(xué)習(xí)方案創(chuàng)建組合分類模型，其中每個(gè)模型給出等權(quán)重預(yù)測(cè)。 輸入 ： ? D： d個(gè)訓(xùn)練元組的集合； ? k: 組合分類器中的模型數(shù)； ? 一種學(xué)習(xí)方案（例如，決策樹(shù)算法、后向傳播等） 輸出 ：組合分類器 ——復(fù)合模型 M*。 方法 ： (1)for i=1 to k do //創(chuàng)建 k個(gè)模型 (2)通過(guò)對(duì) D有放回抽樣，創(chuàng)建自助樣本 Di。 (3)使用 Di和學(xué)習(xí)方法導(dǎo)出模型 Mi。 (4) endfor 使用組合分類器對(duì)元組 X分類 ： 讓 k個(gè)模型都對(duì) X分類并返回多數(shù)表決 。 提升 ? 類似 : 咨詢多位醫(yī)生，根據(jù)醫(yī)生先前的診斷準(zhǔn)確率，對(duì)每位醫(yī)生的診斷賦予一個(gè)權(quán)重 ——加權(quán)診斷的組合作為最終的診斷 ? 提升 ? ? 權(quán)重 被賦予每個(gè)訓(xùn)練元組 ? 迭代地學(xué)習(xí) k個(gè)分類器 ? 學(xué)習(xí)得到分類器 Mi 之后 , 更新權(quán)重 , 使得其后的分類器 Mi+1”更關(guān)注 ” Mi 誤分類的訓(xùn)練元組 ? 最終提升的分類器 M* 組合每個(gè)個(gè)體分類器的表決 , 其中每個(gè)分類器投票的權(quán)重是其準(zhǔn)確率的函數(shù) ? 提升算法也可以用于數(shù)值預(yù)測(cè) ? 與裝袋相比 : 提升有更高的準(zhǔn)確率，但存在對(duì)數(shù)據(jù)過(guò)分?jǐn)M合的危險(xiǎn) 40 41 Adaboost (Freund and Schapire, 1997) ? 給定一個(gè)包含 d 個(gè)類標(biāo)記元組 (X1, y1), …, (Xd, yd)的數(shù)據(jù)集 D ? 開(kāi)始 , 對(duì)每個(gè)訓(xùn)練元組賦予相等的權(quán)重 (1/d) ? k輪產(chǎn)生 k個(gè)分類器 . 在第 i 輪 , ? 從 D中元組有放回抽樣 , 形成大小為 d的訓(xùn)練集 Di。 ? 每個(gè)元組被選中的機(jī)會(huì)由它的權(quán)重決定 ? 從訓(xùn)練集 Di 導(dǎo)出分類器 Mi。 ? 計(jì)算 Mi的錯(cuò)誤率 ? 如果元組被不正確地分類 , 則它的權(quán)重 增加，否則 它的權(quán)重減少 ? 錯(cuò)誤率 : err(Xj) 是元組 Xj 的誤分類誤差 . 模型 Mi 的錯(cuò)誤率是模型 Mi誤分類 D中的每個(gè)元組的加權(quán)和 : ? 分類器 Mi的表決權(quán)重為 42 分類 : 基本概念 ? 分類 : 基本概念 ? 決策樹(shù) ? 基于規(guī)則分類 ? 貝葉斯分類方法 ? 提高分類準(zhǔn)確率的技術(shù) ? 小結(jié) 小結(jié) ? 分類 是一種提取模型的數(shù)據(jù)分析形式 ? 有效的分類方法： 決策樹(shù)歸納 , 基于規(guī)則的分類 , 貝葉斯分類方法 . ? 裝袋 和 提升 可用于提高整體的分類準(zhǔn)確率 43
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1