【正文】 令 表示已觀測變量集， 表示隱變量集，若 預(yù)對模型參數(shù) 做極大似然估計，則應(yīng)最大化對數(shù)似然函數(shù) ?由于 是隱變量，上式無法直接求解。將屬性 的聯(lián)合概率分布定義為圖 的 聯(lián)合概率分布 定義為：顯然， 和 在 給定 的取值時 獨立， 和 在給定 的取值時獨立，記為 和 。 TAN ?TAN (Tree augmented Na239。 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 樸素貝葉斯分類器 ?估計 后驗概率 主要困難：類條件概率 是所有屬性上的 聯(lián)合概率 難以從有限的訓(xùn)練樣本估計獲得。 貝葉斯決策論 ?貝葉斯決策論（ Bayesian decision theory）是在 概率 框架下實施決策的基本方法 。 ?樸素貝葉斯分類器 (Na239。在這里把 最先 出現(xiàn)的屬性設(shè)置為 根 節(jié)點，再由根節(jié)點 出發(fā) 來確定邊的方向 TAN ?TAN (Tree augmented Na239。 貝葉斯網(wǎng)：學(xué)習(xí) ?貝葉斯網(wǎng)絡(luò)首要任務(wù)：根據(jù)訓(xùn)練集找出結(jié)構(gòu)最“恰當(dāng)”的貝葉斯網(wǎng)。 ?這就是 EM算法的 原 型。 ?最理想的是 根據(jù) 貝葉斯網(wǎng)絡(luò)定義的 聯(lián)合概率 分布來精確計算后驗概率，在現(xiàn)實應(yīng)用中，貝葉斯網(wǎng)的近似推斷常使用吉布斯采樣 (Gibbs sampling)來完成 。 貝葉斯網(wǎng)：結(jié)構(gòu) ?貝葉斯網(wǎng)有效地表達(dá)了 屬性間 的條件獨立性。 ?為了避免其他屬性攜帶的信息被訓(xùn)練集中未出現(xiàn)的屬性值“ 抹去 ”，在估計概率值時通常要進(jìn)行“ 拉普拉斯修正 ”（ Laplacian correction） ? 令 表示訓(xùn)練集 中可能的類別數(shù)， 表示第 個屬性可能的取值數(shù) ，則式 ()和 ()分別修正為 ?現(xiàn)實任務(wù)中，樸素貝葉斯分類器 的 使用情形： 速度要求高 ，“查表”；任務(wù)數(shù)據(jù)更替頻繁 ，“懶惰學(xué)習(xí) ” (lazy learning)； 數(shù)據(jù)不斷增加 ，增量 學(xué)習(xí)等等 。 貝葉斯決策論 ?具體來說，若目標(biāo)是最小化分類 錯誤率 ，則誤判損失 可寫為 貝葉斯決策論 ?具體來說，若目標(biāo)是最小化分類錯誤率，則誤判損失 可寫為 ?此時條件風(fēng)險 ? ?1( | ) ( | ) ( | )1 ( | ) 7 .5NijjijjjiiR c X x P c X x P c X xP c X x???? ? ? ? ?? ? ???( | ) (m in )m |axiii iR c X x P c X x? ? ? ? ? ? ? ? ? ? 后 驗 概 率貝葉斯決策論 ?具體來說， 若目標(biāo)是最小化分類錯誤率，則誤判損失 可寫 為 ?此時條件風(fēng)險 ?于是，最小化分類錯誤率的 貝葉斯 最 優(yōu) 分類器 為 ? 即對每個樣本 ， 選擇能使后驗 概率 最大 的類別 標(biāo)記。 ?這就產(chǎn)生了貝葉斯判定準(zhǔn)則（ Bayes decision rule）： 為最小化總體風(fēng)險，只需在 每個樣本 上選擇那個能使條件風(fēng)險 最小的類別標(biāo)記，即 ? 此時，被稱為貝葉斯最優(yōu)分類器 (Bayes optimal classifier)，與之對應(yīng)的總體風(fēng)險 稱為貝葉斯風(fēng)險 (Bayes risk) ? 反映了分類起所能達(dá)到的 最好 性能，即通過機(jī)器學(xué)習(xí)所能產(chǎn)生的模型精度的理論上限。 拉普拉斯修正 ?若某個屬性值在訓(xùn)練集中沒有與某個類同時出現(xiàn)過，則直接計算會出現(xiàn)問題， . 比如“敲聲 =清脆”測試?yán)?，?xùn)練集中沒有該樣例，因此連乘式計算的概率值為 0，無論其他屬性上明顯像好瓜，分類結(jié)果都是“好瓜 =否”，這顯然不 合理 。 貝葉斯網(wǎng) ?貝葉斯網(wǎng) (Bayesian work)亦稱“信念網(wǎng)” (brief work)，它借助 有向無環(huán)圖 (Directed Acyclic Graph, DAG)來刻畫屬性間的依賴關(guān)系，并使用條件概率表 (Conditional Probability Table, CPT)來表述 屬性的聯(lián)合概率分布 。 貝葉斯網(wǎng)：推斷、 Gibbs 采樣 ?通過已知變量觀測值來推測待推測查詢變量的過程稱為“推斷” (inference），已知變量觀測值稱為“證據(jù)” (evidence)。 EM算法 進(jìn)一步， 若 我們不是取 Z的期望， 而 是基于 計算隱變量 的概率分布 ，則 EM算法的兩個步驟是： ?E步 (Expectation):以當(dāng)前參數(shù) 推斷隱變量分布 ，并計算對數(shù)似然 關(guān)于 的期 望 : ?M步 (Maximization):尋找參數(shù)最大化期望似然，即 ?EM算法使用兩個步驟 交替 計算：第一步計算期望 (E步 )，利用當(dāng)前估計的參數(shù)值計算對數(shù)似然的參數(shù)值；第二步最大化 (M步 )，尋找能使 E步產(chǎn)生的似然期望最大化的參數(shù)值 …… 直至收斂到全局最優(yōu)解。 ?我們用評分函數(shù)評估貝葉斯網(wǎng)與訓(xùn)練數(shù)據(jù)的契合程度。ve Bayes) [Friedman et al., 1997] 則在最大帶權(quán)生成樹 (Maxi