周志華-機器學(xué)習(xí)-西瓜書-全書16章-ppt-chap07貝葉斯分類器-展示頁
2024-08-30 21:10本頁面
【正文】 ???? ? ? ? ? ?? ?? ? ? ?121212,P Y = | Y =( Y = | ) 7 ., , ,() , 7miii mmc P X cP c XPx x xx x xx x xX????貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先驗概率 樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計（大數(shù)定理） 貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先驗概率 樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計（大數(shù)定理） “證據(jù)” （ evidence）因子，與類標記無關(guān) 貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先驗概率 樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計（大數(shù)定理） “證據(jù)” （ evidence）因子，與類標記無關(guān) 類標記 相對于樣本 的“類條件概率 ” ( classconditional probability), 或稱“似然”。 ?然而，在現(xiàn)實中通常 難以直接 獲得。 貝葉斯決策論 ?具體來說，若目標是最小化分類 錯誤率 ，則誤判損失 可寫為 貝葉斯決策論 ?具體來說，若目標是最小化分類錯誤率，則誤判損失 可寫為 ?此時條件風(fēng)險 ? ?1( | ) ( | ) ( | )1 ( | ) 7 .5NijjijjjiiR c X x P c X x P c X xP c X x???? ? ? ? ?? ? ???( | ) (m in )m |axiii iR c X x P c X x? ? ? ? ? ? ? ? ? ? 后 驗 概 率貝葉斯決策論 ?具體來說， 若目標是最小化分類錯誤率，則誤判損失 可寫 為 ?此時條件風(fēng)險 ?于是，最小化分類錯誤率的 貝葉斯 最 優(yōu) 分類器 為 ? 即對每個樣本 ， 選擇能使后驗 概率 最大 的類別 標記。 貝葉斯決 策論 ?顯然，對每個樣本 ，若 能最小化條件風(fēng)險 ，則總體風(fēng)險 也將被最小化。 ?假設(shè)有 種可能的類別標記，即 ， 是將一個真實標記為 的樣本 誤分 類為 所產(chǎn)生的 損失 。 貝葉斯決策論 ?貝葉斯決策論（ Bayesian decision theory）是在 概率 框架下實施決策的基本方法 。霍軒 第七 章：貝葉斯分類器 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 貝葉斯決策論 ?貝葉斯決策論（ Bayesian decision theory）是在概率框架下實施決策的基本方法。 ? 在分類問題情況下，在所有相關(guān)概率都已知的理想情形下，貝葉斯決策考慮如何基于這些概率和誤判損失來選擇最優(yōu)的類別標記。 ? 在分類問題情況下，在 所有 相關(guān)概率都已知 的理想情形下，貝葉斯決策考慮如何基于這些概率和誤判損失來選擇最優(yōu)的類別標記?；?后驗概率 可獲得將樣本 分類為 所產(chǎn)生的 期望損失（ expected loss）或者稱 條件風(fēng)險 （ conditional risk） ?我們的任務(wù)是 尋找 一個判定準則 以最小化總體風(fēng)險 ? ?? ? ? ?? ? ? ?11 2 1 2, , , , , ,| | 7 . 1mmNi i j jjR Y c X P Y c Xx x x x x x??? ? ? ? ??貝葉斯決 策論 ?顯然，對每個樣本 ，若 能最小化條件風(fēng)險 ，則總體風(fēng)險 也將被最小化。 ?這就產(chǎn)生了貝葉斯判定準則（ Bayes decision rule）： 為最小化總體風(fēng)險，只需在 每個樣本 上選擇那個能使條件風(fēng)險 最小的類別標記，即 ? 此時，被稱為貝葉斯最優(yōu)分類器 (Bayes optimal classifier)，與之對應(yīng)的總體風(fēng)險 稱為貝葉斯風(fēng)險 (Bayes risk) ? 反映了分類起所能達到的 最好 性能，即通過機器學(xué)習(xí)所能產(chǎn)生的模型精度的理論上限。 貝葉斯決策論 ?不難看出，使用貝葉斯判定準則來最小化決策風(fēng)險，首先要獲得 后驗概率 。機器學(xué)習(xí)所要實現(xiàn)的是基于有限的訓(xùn)練樣本盡可能準確地 估計 出后驗概率 。 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 樸素貝葉斯分類器 ?估計 后驗概率 主要困難：類條件概率 是所有屬性上的 聯(lián)合概率 難以從有限
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1