周志華-機(jī)器學(xué)習(xí)-西瓜書-全書16章-ppt-chap07貝葉斯分類器(已修改)
2025-08-27 21:10 本頁(yè)面
【正文】 霍軒 第七 章：貝葉斯分類器 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計(jì) ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計(jì) ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 貝葉斯決策論 ?貝葉斯決策論（ Bayesian decision theory）是在概率框架下實(shí)施決策的基本方法。 ? 在分類問題情況下，在所有相關(guān)概率都已知的理想情形下，貝葉斯決策考慮如何基于這些概率和誤判損失來(lái)選擇最優(yōu)的類別標(biāo)記。 貝葉斯決策論 ?貝葉斯決策論（ Bayesian decision theory）是在 概率 框架下實(shí)施決策的基本方法 。 ? 在分類問題情況下，在 所有 相關(guān)概率都已知 的理想情形下，貝葉斯決策考慮如何基于這些概率和誤判損失來(lái)選擇最優(yōu)的類別標(biāo)記。 ?假設(shè)有 種可能的類別標(biāo)記，即 ， 是將一個(gè)真實(shí)標(biāo)記為 的樣本 誤分 類為 所產(chǎn)生的 損失 ?；?后驗(yàn)概率 可獲得將樣本 分類為 所產(chǎn)生的 期望損失（ expected loss）或者稱 條件風(fēng)險(xiǎn) （ conditional risk） ?我們的任務(wù)是 尋找 一個(gè)判定準(zhǔn)則 以最小化總體風(fēng)險(xiǎn) ? ?? ? ? ?? ? ? ?11 2 1 2, , , , , ,| | 7 . 1mmNi i j jjR Y c X P Y c Xx x x x x x??? ? ? ? ??貝葉斯決 策論 ?顯然，對(duì)每個(gè)樣本 ，若 能最小化條件風(fēng)險(xiǎn) ，則總體風(fēng)險(xiǎn) 也將被最小化。 貝葉斯決 策論 ?顯然，對(duì)每個(gè)樣本 ，若 能最小化條件風(fēng)險(xiǎn) ，則總體風(fēng)險(xiǎn) 也將被最小化。 ?這就產(chǎn)生了貝葉斯判定準(zhǔn)則（ Bayes decision rule）： 為最小化總體風(fēng)險(xiǎn)，只需在 每個(gè)樣本 上選擇那個(gè)能使條件風(fēng)險(xiǎn) 最小的類別標(biāo)記，即 ? 此時(shí)，被稱為貝葉斯最優(yōu)分類器 (Bayes optimal classifier)，與之對(duì)應(yīng)的總體風(fēng)險(xiǎn) 稱為貝葉斯風(fēng)險(xiǎn) (Bayes risk) ? 反映了分類起所能達(dá)到的 最好 性能，即通過機(jī)器學(xué)習(xí)所能產(chǎn)生的模型精度的理論上限。 貝葉斯決策論 ?具體來(lái)說，若目標(biāo)是最小化分類 錯(cuò)誤率 ，則誤判損失 可寫為 貝葉斯決策論 ?具體來(lái)說，若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失 可寫為 ?此時(shí)條件風(fēng)險(xiǎn) ? ?1( | ) ( | ) ( | )1 ( | ) 7 .5NijjijjjiiR c X x P c X x P c X xP c X x???? ? ? ? ?? ? ???( | ) (m in )m |axiii iR c X x P c X x? ? ? ? ? ? ? ? ? ? 后 驗(yàn) 概 率貝葉斯決策論 ?具體來(lái)說， 若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失 可寫 為 ?此時(shí)條件風(fēng)險(xiǎn) ?于是，最小化分類錯(cuò)誤率的 貝葉斯 最 優(yōu) 分類器 為 ? 即對(duì)每個(gè)樣本 ， 選擇能使后驗(yàn) 概率 最大 的類別 標(biāo)記。 貝葉斯決策論 ?不難看出，使用貝葉斯判定準(zhǔn)則來(lái)最小化決策風(fēng)險(xiǎn)，首先要獲得 后驗(yàn)概率 。 ?然而，在現(xiàn)實(shí)中通常 難以直接 獲得。機(jī)器學(xué)習(xí)所要實(shí)現(xiàn)的是基于有限的訓(xùn)練樣本盡可能準(zhǔn)確地 估計(jì) 出后驗(yàn)概率 。 ?主要有兩種策略： ? 判別式模型（ discriminative models） ? 給定 ，通過直接建模 , 來(lái)預(yù)測(cè) ? 決策樹， BP神經(jīng)網(wǎng)絡(luò)，支持向量機(jī) ? 生成式模型（ generative models） ? 先對(duì) 聯(lián)合 概率分布 建模，再由此獲得 ? 生成式模型考慮 ? ? ? ?? ? ? ?121212,( , Y = )( Y = , , ,| ) 7 7, .()iimmmx x xx x xxxP X cP c XPX x????貝葉斯決策論 ?生成式模型 貝葉斯決策論 ?生成式模型 ? 基于 貝葉斯 定理， 可寫成 ? ? ? ?? ? ? ?121212,( , Y = )( Y = , , ,| ) 7 7, .()iimmmx x xx x xxxP X cP c XPX x????? ? ? ? ? ?? ?? ? ? ?121212,P Y = | Y =( Y = | ) 7 ., , ,() , 7miii mmc P X cP c XPx x xx x xx x xX????貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先驗(yàn)概率 樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計(jì)（大數(shù)定理） 貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1