周志華-機器學習-西瓜書-全書16章-ppt-chap07貝葉斯分類器-資料下載頁
2025-08-15 21:10本頁面
【正文】 由此產生的圖稱為 道德圖 (moral graph) (好瓜 ) (敲聲 ) (甜度 ) (色澤 ) (根蒂 ) x1 x2x3 x4 x5將父結點相連的過程稱為“ 道德化 ” 過程 “ 道德化 ”就是孩子的父母應建立牢靠的關系，否者不道德 條件獨立性分析 道德圖 貝葉斯網(wǎng)：學習 尋找 到這個貝葉斯網(wǎng) ?貝葉斯網(wǎng)絡首要任務：根據(jù) 訓練集 找出結構最“恰當”的貝葉斯 網(wǎng) 。 ?我們用 評分函數(shù) 評估貝葉斯網(wǎng)與訓練數(shù)據(jù)的契合程度。 貝葉斯網(wǎng)：學習 ?貝葉斯網(wǎng)絡首要任務：根據(jù)訓練集找出結構最“恰當”的貝葉斯網(wǎng)。 ?我們用評分函數(shù)評估貝葉斯網(wǎng)與訓練數(shù)據(jù)的契合程度。 ? “最小描述長度”（ Minimal Description Length, MDL）綜合編碼長度（包括描述網(wǎng)路和編碼數(shù)據(jù)）最短 ?給定訓練集 ，貝葉斯網(wǎng) 在 上的 評價函數(shù) 可以寫為 ? 其中， 是貝葉斯網(wǎng)的 參數(shù)個數(shù) ； 表示描述每個參數(shù) 所需的字節(jié)數(shù)，而 ? 是貝葉斯網(wǎng)的對數(shù)似然。 學習任務：尋找一個合適的網(wǎng)絡使得 s最小 學習任務：尋找一個合適的網(wǎng)絡使得 s最小 學習任務：尋找一個合適的網(wǎng)絡使得 s最小 貝葉斯網(wǎng)：推斷 ?通過已知變量 觀測值 來推測其他變量的取值過程稱為“推斷” (inference），已知變量觀測值稱為“ 證據(jù) ” (evidence)。 ?最理想的是根據(jù)貝葉斯網(wǎng)絡定義的 聯(lián)合概率分布 來精確計算后驗概率，在現(xiàn)實應用中，貝葉斯網(wǎng)的近似推斷常使用 吉布斯 采樣 (Gibbs sampling)來完成 。 貝葉斯網(wǎng)：推斷、 Gibbs 采樣 ?通過已知變量觀測值來推測待推測查詢變量的過程稱為“推斷” (inference），已知變量觀測值稱為“證據(jù)” (evidence)。 ?最理想的是 根據(jù) 貝葉斯網(wǎng)絡定義的 聯(lián)合概率 分布來精確計算后驗概率，在現(xiàn)實應用中，貝葉斯網(wǎng)的近似推斷常使用吉布斯采樣 (Gibbs sampling)來完成 。 ?吉布斯采樣 就是隨機產生一個與證據(jù) 一致 的 樣本 作為初始點，然后每步從 當前樣本 出發(fā)產生 下一個樣本 。采樣 概率 由貝葉斯網(wǎng) B決定。假定經(jīng)過 次采樣的得到與 一致 的樣本共有 個，則可近似估算出后驗概率 ?吉布斯采樣可以看做，每一步僅依賴于前一步的狀態(tài) 貝葉斯網(wǎng)：推斷 圖 吉布斯采樣算法 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 EM算法 “不完整 ”的樣本：西瓜已經(jīng)脫落的根蒂，無法看出是 “蜷縮 ”還是 “堅挺 ”,則訓練樣本的 “根蒂 ”屬性變量值未知，如何計算？ EM算法 ?“不完整 ”的樣本：西瓜已經(jīng)脫落的根蒂，無法看出是 “蜷縮 ”還是 “堅挺 ”,則訓練樣本的 “根蒂 ”屬性變量值未知，如何計算？ ?未觀測的變量稱為“ 隱變量 ” (latent variable)。令 表示已觀測變量集， 表示隱變量集，若預對模型參數(shù) 做極大似然估計，則應最大化 對數(shù)似然 函數(shù) EM算法 ?“不完整 ”的樣本：西瓜已經(jīng)脫落的根蒂，無法看出是 “蜷縮 ”還是 “堅挺 ”,則訓練樣本的 “根蒂 ”屬性變量值未知，如何計算？ ?未觀測的變量稱為“隱變量” (latent variable)。令 表示已觀測變量集， 表示隱變量集，若 預對模型參數(shù) 做極大似然估計，則應最大化對數(shù)似然函數(shù) ?由于 是隱變量，上式無法直接求解。此時我們可以通過對 計算期望 ，來最大化已觀測數(shù)據(jù)的對數(shù)“邊際似然” (marginal likelihood) EM算法 EM (ExpectationMaximization)算法 [Dempster et al., 1977] 是常用的估計 參數(shù)隱變量 的利器。 ?當參數(shù) 已知 － 根據(jù)訓練數(shù)據(jù)推斷出最優(yōu)隱變量 的值 (E步 ) ?當 已知 － 對 做極大似然估計 (M步 ) EM算法 EM (ExpectationMaximization)算法 [Dempster et al., 1977] 是常用的估計參數(shù)隱變量的利器。 ?當參數(shù) 已知 － 根據(jù)訓練數(shù)據(jù)推斷出最優(yōu)隱變量 的值 (E步 ) ?當 已知 － 對 做極大似然估計 (M步 ) 于是，以初始值 為起點，對式子 (),可 迭代執(zhí)行 以下步驟直至收斂： ?基于 推斷隱變量 的期 望 ,記為 。 ?基于已觀測到變量 和 對參數(shù) 做極大似然估計，記為 。 ?這就是 EM算法的 原 型。 EM算法 進一步， 若 我們不是取 Z的期望， 而 是基于 計算隱變量 的概率分布 ，則 EM算法的兩個步驟是： ?E步 (Expectation):以當前參數(shù) 推斷隱變量分布 ，并計算對數(shù)似然 關于 的期 望 : ?M步 (Maximization):尋找參數(shù)最大化期望似然，即 ?EM算法使用兩個步驟 交替 計算：第一步計算期望 (E步 )，利用當前估計的參數(shù)值計算對數(shù)似然的參數(shù)值；第二步最大化 (M步 )，尋找能使 E步產生的似然期望最大化的參數(shù)值 …… 直至收斂到全局最優(yōu)解。 小結 ?貝葉斯決策論 ?極大似然估計 ?樸素貝葉斯分類器 ?半樸素貝葉斯分類器 ?貝葉斯網(wǎng) ?EM算法
環(huán)評公示相關推薦
鄂ICP備17016276號-1