【正文】 令 表示已觀測(cè)變量集， 表示隱變量集，若 預(yù)對(duì)模型參數(shù) 做極大似然估計(jì)，則應(yīng)最大化對(duì)數(shù)似然函數(shù) ?由于 是隱變量，上式無(wú)法直接求解。將屬性 的聯(lián)合概率分布定義為圖 的 聯(lián)合概率分布 定義為：顯然， 和 在 給定 的取值時(shí) 獨(dú)立， 和 在給定 的取值時(shí)獨(dú)立，記為 和 。 TAN ?TAN (Tree augmented Na239。 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計(jì) ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計(jì) ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 樸素貝葉斯分類器 ?估計(jì) 后驗(yàn)概率 主要困難：類條件概率 是所有屬性上的 聯(lián)合概率 難以從有限的訓(xùn)練樣本估計(jì)獲得。 貝葉斯決策論 ?貝葉斯決策論（ Bayesian decision theory）是在 概率 框架下實(shí)施決策的基本方法 。 ?樸素貝葉斯分類器 (Na239。在這里把 最先 出現(xiàn)的屬性設(shè)置為 根 節(jié)點(diǎn)，再由根節(jié)點(diǎn) 出發(fā) 來(lái)確定邊的方向 TAN ?TAN (Tree augmented Na239。 貝葉斯網(wǎng)：學(xué)習(xí) ?貝葉斯網(wǎng)絡(luò)首要任務(wù)：根據(jù)訓(xùn)練集找出結(jié)構(gòu)最“恰當(dāng)”的貝葉斯網(wǎng)。 ?這就是 EM算法的 原 型。 ?最理想的是 根據(jù) 貝葉斯網(wǎng)絡(luò)定義的 聯(lián)合概率 分布來(lái)精確計(jì)算后驗(yàn)概率，在現(xiàn)實(shí)應(yīng)用中，貝葉斯網(wǎng)的近似推斷常使用吉布斯采樣 (Gibbs sampling)來(lái)完成 。 貝葉斯網(wǎng)：結(jié)構(gòu) ?貝葉斯網(wǎng)有效地表達(dá)了 屬性間 的條件獨(dú)立性。 ?為了避免其他屬性攜帶的信息被訓(xùn)練集中未出現(xiàn)的屬性值“ 抹去 ”，在估計(jì)概率值時(shí)通常要進(jìn)行“ 拉普拉斯修正 ”（ Laplacian correction） ? 令 表示訓(xùn)練集 中可能的類別數(shù)， 表示第 個(gè)屬性可能的取值數(shù) ，則式 ()和 ()分別修正為 ?現(xiàn)實(shí)任務(wù)中，樸素貝葉斯分類器 的 使用情形： 速度要求高 ，“查表”；任務(wù)數(shù)據(jù)更替頻繁 ，“懶惰學(xué)習(xí) ” (lazy learning)； 數(shù)據(jù)不斷增加 ，增量 學(xué)習(xí)等等 。 貝葉斯決策論 ?具體來(lái)說(shuō)，若目標(biāo)是最小化分類 錯(cuò)誤率 ，則誤判損失 可寫(xiě)為 貝葉斯決策論 ?具體來(lái)說(shuō)，若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失 可寫(xiě)為 ?此時(shí)條件風(fēng)險(xiǎn) ? ?1( | ) ( | ) ( | )1 ( | ) 7 .5NijjijjjiiR c X x P c X x P c X xP c X x???? ? ? ? ?? ? ???( | ) (m in )m |axiii iR c X x P c X x? ? ? ? ? ? ? ? ? ? 后 驗(yàn) 概 率貝葉斯決策論 ?具體來(lái)說(shuō)， 若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失 可寫(xiě) 為 ?此時(shí)條件風(fēng)險(xiǎn) ?于是，最小化分類錯(cuò)誤率的 貝葉斯 最 優(yōu) 分類器 為 ? 即對(duì)每個(gè)樣本 ， 選擇能使后驗(yàn) 概率 最大 的類別 標(biāo)記。 ?這就產(chǎn)生了貝葉斯判定準(zhǔn)則（ Bayes decision rule）： 為最小化總體風(fēng)險(xiǎn)，只需在 每個(gè)樣本 上選擇那個(gè)能使條件風(fēng)險(xiǎn) 最小的類別標(biāo)記，即 ? 此時(shí)，被稱為貝葉斯最優(yōu)分類器 (Bayes optimal classifier)，與之對(duì)應(yīng)的總體風(fēng)險(xiǎn) 稱為貝葉斯風(fēng)險(xiǎn) (Bayes risk) ? 反映了分類起所能達(dá)到的 最好 性能，即通過(guò)機(jī)器學(xué)習(xí)所能產(chǎn)生的模型精度的理論上限。 拉普拉斯修正 ?若某個(gè)屬性值在訓(xùn)練集中沒(méi)有與某個(gè)類同時(shí)出現(xiàn)過(guò)，則直接計(jì)算會(huì)出現(xiàn)問(wèn)題， . 比如“敲聲 =清脆”測(cè)試?yán)?，?xùn)練集中沒(méi)有該樣例，因此連乘式計(jì)算的概率值為 0，無(wú)論其他屬性上明顯像好瓜，分類結(jié)果都是“好瓜 =否”，這顯然不 合理 。 貝葉斯網(wǎng) ?貝葉斯網(wǎng) (Bayesian work)亦稱“信念網(wǎng)” (brief work)，它借助 有向無(wú)環(huán)圖 (Directed Acyclic Graph, DAG)來(lái)刻畫(huà)屬性間的依賴關(guān)系，并使用條件概率表 (Conditional Probability Table, CPT)來(lái)表述 屬性的聯(lián)合概率分布 。 貝葉斯網(wǎng)：推斷、 Gibbs 采樣 ?通過(guò)已知變量觀測(cè)值來(lái)推測(cè)待推測(cè)查詢變量的過(guò)程稱為“推斷” (inference），已知變量觀測(cè)值稱為“證據(jù)” (evidence)。 EM算法 進(jìn)一步， 若 我們不是取 Z的期望， 而 是基于 計(jì)算隱變量 的概率分布 ，則 EM算法的兩個(gè)步驟是： ?E步 (Expectation):以當(dāng)前參數(shù) 推斷隱變量分布 ，并計(jì)算對(duì)數(shù)似然 關(guān)于 的期 望 : ?M步 (Maximization):尋找參數(shù)最大化期望似然，即 ?EM算法使用兩個(gè)步驟 交替 計(jì)算：第一步計(jì)算期望 (E步 )，利用當(dāng)前估計(jì)的參數(shù)值計(jì)算對(duì)數(shù)似然的參數(shù)值；第二步最大化 (M步 )，尋找能使 E步產(chǎn)生的似然期望最大化的參數(shù)值 …… 直至收斂到全局最優(yōu)解。 ?我們用評(píng)分函數(shù)評(píng)估貝葉斯網(wǎng)與訓(xùn)練數(shù)據(jù)的契合程度。ve Bayes) [Friedman et al., 1997] 則在最大帶權(quán)生成樹(shù) (Maxi