【正文】 間的條件獨(dú)立性，可使用“有向分離” (Directedseparation),將一個(gè)有向圖轉(zhuǎn)化為無向圖 ? V型結(jié)構(gòu)父結(jié)點(diǎn)相連 ? 有向邊變成無向邊 由此產(chǎn)生的圖稱為道德圖 (moral graph) 同父結(jié)構(gòu) V型結(jié)構(gòu) 順序結(jié)構(gòu) (好瓜 ) (敲聲 ) (甜度 ) (色澤 ) (根蒂 ) x1 x2x3 x4 x5條件獨(dú)立性分析 “ 有向分離 ” 法 分析有向圖中變量間的條件獨(dú)立性，可使用“有向分離” (Directedseparation),將一個(gè)有向圖轉(zhuǎn)化為無向圖 ? V型結(jié)構(gòu)父結(jié)點(diǎn)相連 ? 有向邊變成無向邊 由此產(chǎn)生的圖稱為 道德圖 (moral graph) (好瓜 ) (敲聲 ) (甜度 ) (色澤 ) (根蒂 ) x1 x2x3 x4 x5將父結(jié)點(diǎn)相連的過程稱為“ 道德化 ” 過程 “ 道德化 ”就是孩子的父母應(yīng)建立牢靠的關(guān)系，否者不道德 條件獨(dú)立性分析 道德圖 貝葉斯網(wǎng)：學(xué)習(xí) 尋找 到這個(gè)貝葉斯網(wǎng) ?貝葉斯網(wǎng)絡(luò)首要任務(wù)：根據(jù) 訓(xùn)練集 找出結(jié)構(gòu)最“恰當(dāng)”的貝葉斯 網(wǎng) 。 ?最理想的是 根據(jù) 貝葉斯網(wǎng)絡(luò)定義的 聯(lián)合概率 分布來精確計(jì)算后驗(yàn)概率，在現(xiàn)實(shí)應(yīng)用中，貝葉斯網(wǎng)的近似推斷常使用吉布斯采樣 (Gibbs sampling)來完成 。 ?當(dāng)參數(shù) 已知 － 根據(jù)訓(xùn)練數(shù)據(jù)推斷出最優(yōu)隱變量 的值 (E步 ) ?當(dāng) 已知 － 對(duì) 做極大似然估計(jì) (M步 ) 于是，以初始值 為起點(diǎn)，對(duì)式子 (),可 迭代執(zhí)行 以下步驟直至收斂： ?基于 推斷隱變量 的期 望 ,記為 。 ?這就是 EM算法的 原 型。采樣 概率 由貝葉斯網(wǎng) B決定。 貝葉斯網(wǎng)：學(xué)習(xí) ?貝葉斯網(wǎng)絡(luò)首要任務(wù)：根據(jù)訓(xùn)練集找出結(jié)構(gòu)最“恰當(dāng)”的貝葉斯網(wǎng)。 ? 將屬性 的聯(lián)合概率分布定義為 圖 聯(lián)合概率分布 定義為： 顯然， 和 在 給定 的取值時(shí) 獨(dú)立， 和 在給定 的取值時(shí)獨(dú)立，記為 和 。在這里把 最先 出現(xiàn)的屬性設(shè)置為 根 節(jié)點(diǎn)，再由根節(jié)點(diǎn) 出發(fā) 來確定邊的方向 TAN ?TAN (Tree augmented Na239。ve Bayes classifiers) 半樸素貝葉斯分類器 ?為了降低貝葉斯公式中估計(jì)后驗(yàn)概率的困難，樸素貝葉斯分類器采用的屬性條件獨(dú)立性假設(shè)；對(duì)屬性條件獨(dú)立假設(shè)記性一定程度的放松，由此產(chǎn)生了一類稱為“半樸素貝葉斯分類器 ” (semina239。 ?樸素貝葉斯分類器 (Na239。 ?然而，在現(xiàn)實(shí)中通常 難以直接 獲得。 貝葉斯決策論 ?貝葉斯決策論（ Bayesian decision theory）是在 概率 框架下實(shí)施決策的基本方法 ?；?后驗(yàn)概率 可獲得將樣本 分類為 所產(chǎn)生的 期望損失（ expected loss）或者稱 條件風(fēng)險(xiǎn) （ conditional risk） ?我們的任務(wù)是 尋找 一個(gè)判定準(zhǔn)則 以最小化總體風(fēng)險(xiǎn) ? ?? ? ? ?? ? ? ?11 2 1 2, , , , , ,| | 7 . 1mmNi i j jjR Y c X P Y c Xx x x x x x??? ? ? ? ??貝葉斯決 策論 ?顯然，對(duì)每個(gè)樣本 ，若 能最小化條件風(fēng)險(xiǎn) ，則總體風(fēng)險(xiǎn) 也將被最小化。 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計(jì) ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計(jì) ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 樸素貝葉斯分類器 ?估計(jì) 后驗(yàn)概率 主要困難：類條件概率 是所有屬性上的 聯(lián)合概率 難以從有限的訓(xùn)練樣本估計(jì)獲得。 樸素貝葉斯分類器 樸素貝葉斯分類器 由于 對(duì)所有類別來說 相同，因此 基于式 ()的貝葉斯 判定準(zhǔn)則有 ? 這就是 樸素貝葉斯分類器的 表達(dá)式 樸素 貝葉斯分類器 ? 樸素貝葉斯分類器的訓(xùn)練器的訓(xùn)練過程就是基于訓(xùn)練集 估計(jì)類先驗(yàn)概率 并為每個(gè)屬性估計(jì)條件概率 。 TAN ?TAN (Tree augmented Na239。 AODE ?AODE (Averaged OneDependent Estimator) [Webb et al. 2022] 是一種基于集成學(xué)習(xí)機(jī)制、且更為強(qiáng)大的分類器。將屬性 的聯(lián)合概率分布定義為圖 的 聯(lián)合概率分布 定義為：顯然， 和 在 給定 的取值時(shí) 獨(dú)立， 和 在給定 的取值時(shí)獨(dú)立，記為 和 。 學(xué)習(xí)任務(wù)：尋找一個(gè)合適的網(wǎng)絡(luò)使得 s最小 學(xué)習(xí)任務(wù)：尋找一個(gè)合適的網(wǎng)絡(luò)使得 s最小 學(xué)習(xí)任務(wù)：尋找一個(gè)合適的網(wǎng)絡(luò)使得 s最小 貝葉斯網(wǎng)：推斷 ?通過已知變量 觀測(cè)值 來推測(cè)其他變量的取值過程稱為“推斷” (inference），已知變量觀測(cè)值稱為“ 證據(jù) ” (evidence)。令 表示已觀測(cè)變量集， 表示隱變量集，若 預(yù)對(duì)模型參數(shù) 做極大似然估計(jì)，則應(yīng)最大化對(duì)數(shù)似然函數(shù) ?由于 是隱變量，上式無法直