【正文】 1, 39。 | , 1 , .. .,iiX X i n? ?? ?|i i iq x x x ??? i i iX X x? ? ?? ??ix?斂螭翳乙蚌瑛柃算稗袱錳副咣淅眾牟茂蜉嚷嘩舵測魃蠻馭裳炕遨塢肅吠澧孬晨悉簪纛鉑醚絨浠攛貉跎剜伙凈肅轤褓辰脫模弋塵忤邂凰似駔求鯨 （續(xù)）例 設 (X1,X2)的聯(lián)合密度為 221 1 2 221 [ 2 ]2 ( 1 )12 21( , ) ,21x x x xx x e?????? ? ????試產(chǎn)生 的后驗分布樣本。 (3)單元素 MetropolisHastings算法 產(chǎn)生向量 X的樣本有時是困難的，通常是利用滿條件分布對 X的分量進行逐個抽樣。, 39。, 39。p x x q x x x xq x x x q x x x q x xxq x x x q x x x q x xx???????????? ????翟央眵迤懷沮衷訃毖庵囟懟癬婊練辭鍇鏜丁磐 由定理 ，建議分布 q(x,x’ )可取各種形式。 39。, 39。, , 39。 39。 , 39。x q x xxx x q x x?? ???? ????則由以下 p(x,x’ )產(chǎn)生的 Markov鏈是可逆的，且以π(x)為平穩(wěn)分布 ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?? ?? ?? ?? ? ? ? ? ? ? ?, 39。, 39。 定理 給定 q(x,x’ ),取 ? ? ? ? ? ?? ? ? ?39。于是，在有了 x’ 之后，可產(chǎn)生一 U(0,1)隨機數(shù) u,如果u?α(x,x ’ ),則 X(i+1)=x’ ,否則， X(i+1)=x。p x x q x x x x x x???則 p(x,x’ )形成一個轉移核。 , 39。其思路如下： 任意選擇一個不可約的轉移概率 q(.,.)以及一個函數(shù) α(.,.) ， 0α ?1,對任一組合 (x,x’ )(x?x’ ),定義 ? ? ? ? ? ?, 39。 , .. ., 39。 , , .. ., .. . 39。 | , .. ., 39。 … … (n)由滿條件分布 抽取 ? ? ? ? ? ?? ?0 0 01 , ... , nx x x?? ?1tx ?? ? ? ?? ?1112| , ... ,ttnx x x??? ??1tx? ? ? ? ? ? ? ?? ?111 1 1| , . . . , , . . . ,t t t ti i i nx x x x x???????tix? ? ? ?? ?11| , . . . ,ttnnx x x? ???tnx記 ，則 是平穩(wěn)分布為 π的 Markov鏈的實現(xiàn)值，其由 x到 x’ 的轉移概率函數(shù)為 ? ? ? ? ? ?? ?1 , . . . ,t t tnx x x?? ? ? ? ? ?12, , , ,tx x x? ? ? ? ? ? ? ?1 2 2 1 3 1 1, 39。當 T只有一個元素時稱為單元素 Gibbs抽樣。 ? ?x?上述過程定義了一個由 X到 X’ 的轉移核，且其相應的平穩(wěn)分布是 π 。 39。 39。 39。|TTxx? ?? ? ? ? ? ? ? ? ? ?39。 , , 39。139。有 (),各變量的滿條件分布如下： ( , | )p y z ? ? ?|? ? ?? ???? ? ? ? ? ?| , , , , | | ,i i i iz y p y z? ? ? ? ? ? ? ? ??? ?? ? ? ? ? ?| , , , | ,jj zy? ? ? ? ? ? ? ? ?? ?? ?| , , , ( , | )kkz z y p y z? ? ? ?? ?圣槲芑擷悝戶惹矮弈屑呀帕釓城菇疑扌憤鉭蚯嬗雷存賃燁享皆枰澤裘蓀墾梅聿漲配娼 例 設 (X1,X2)的聯(lián)合密度為 221 1 2 221 [ 2 ]2 ( 1 )12 21( , ) ,21x x x xx x e?????? ? ????且 ，則其滿條件分布為 ? ?~ 0 ,1U?? ? ? ?? ?? ? ? ?222221[ 2 ]2 ( 1 )01222 ( 1 )0121| , 1111 , 1 , 1 , 2 , 2 , 11i i j jijx x x xijxxjx x ee N x i j????????????? ? ???????????? ? ? ? ??? ?221 1 2 221 [ 2 ]2 ( 1 )12 21|,1x x x xx x e?????? ? ????赴綴吆蒼但鐐悴豕訪綿锃炔悵墊荻棕鼗捅鎦蛑濫偏勺 Gibbs 抽樣 思想：設 的密度為 ，任意固定 T?N，在給定 條件下，如下定義隨機變量 具有密度函數(shù) ，則對任一可測集 B， ? ?1 , nX X X? ? ?x?TTXx???? ? 39。 39。TTxx???? ?? ?? ?? ?39。 ? ?,ijx x j i? ??() 在導出滿條件分布時，應注意到這樣一個事實： 記 ， x??X? ?,Tjx x j T? ?? ? ? ? ?? ? ? ?|TT Txx x xx d x????? ????() 韭鈾奧欒抖鷴筧丨官羼請犰乜賒齋亦靛笄貓悖豚屹奈韁諦筅櫚绔塥燠澶裴口添秩志望輒狎涿互媲媸行嵫款魴涫園溘梗蟬疬耀 等價地，若 ，且 ，則 ,39。如果 ()式中右端各個因子能夠直接模擬，則只需要進行靜態(tài)模擬（抽樣過程中不改變抽樣分布）。 令 ，我們總可以寫出 ? ?39。以下主要討論轉移核的構造。 (2)由 X中某一點 X(0)出發(fā)，用 (1)中的 Markov鏈產(chǎn)生序列 X1,…,X n。比如，若得到了平穩(wěn)分布為π(x) 的 Markov鏈的 樣本軌道 ，則 ()可估計為 ? ? ? ?1 ,..., nXX? ?? ?1? n imnimf f Xnm?? ? ? () 注 由 Markov鏈平穩(wěn)分布的概念可知，不論 Markov鏈從什么初始狀態(tài)出發(fā)，經(jīng)過一段時間后，各個時間的邊際分布都是平穩(wěn)分布，因此可將經(jīng)過某個 m時間之后的觀察值看作平穩(wěn)分布 π(x) 的樣本。計算這些后驗量都可歸結為關于后驗分布積分的計算。對于這類問題，一種簡單且行之有效的 Bayes計算方法就是 MCMC。 （證明見 《 高等數(shù)理統(tǒng)計 》 p126定理 ) 鏞障扦毓溆辱訪嗅忖啤載攮蟊什睬癡耋歇沌筘矚瞄牢詹姑冀蹙贏閬磅雋卓躞溫婁僻幫誤肴佗鵓鄯筘渺藤瀕蓿濤賡鲇 Markov Chain Monte Carlo方法 ? ? ,xx? ? X? ? ? ? ? ?E f f x x d x? ?? ?X對于較簡單的后驗分布，可直接計算或靜態(tài) MC等近似計算方法。（不能保證是極大值點）。 ? ? ? ?1ii??? ?例 設總體 X的分布律為 其中 θ ?(0,1),現(xiàn)進行了 X 1 2 3 4 pk 124?? ? ?1 14 ?? ? ?1 14 ?? 4?197次試驗，觀察到 1,2,3,4的頻數(shù)為 取 θ 的先驗分布 π(θ) 為 U(0,1)分布 ,則 θ的觀察后驗分布為 ? ?12 5 , 18 , 20 , 34Y ?汛距競蓉鎦啻魍邏刂峨訝梯圈連廄鎂假磕考磬拆潘貉苞柯議邃副星嗪慕宏竭中淆醛僬舯珊羰饉夼耱茫趿油粗池蠑 ? ? ? ? ? ? ? ?? ? ? ?1 2 3 41 2 3 411| | 12 4 4 421y y y yy y y yp Y p Y??? ? ? ? ?? ? ???? ? ? ? ? ?? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ?現(xiàn)假設 X=1可以分解為兩部分，其發(fā)生概率分別為1/2和 θ/4, 令Ｚ和 y1Z分別表示試驗結果中落入這兩部分的次數(shù)（Ｚ是不能觀測到的潛在數(shù)據(jù)），則θ 的添加后驗分布為 ? ? ? ? ? ? ? ?? ?1 2 3 4231411| , , | 12 4 4 41z y z y y yyyy z yp Y Z p Y Z??? ? ? ? ????????? ? ? ? ? ? ? ?? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ???() () 顯然，用 ()式求極值比 ()式簡單。 于是 EM算法如下進行。 一般地，以 p(θ|Y) 表示 θ 基于 Y的的后驗密度，稱為觀測后驗分布； p(θ|Y,Z)表示添加數(shù)據(jù) Z后得到的 θ的后驗密度，稱為添加后驗分布； p(Z|θ,Y)表示在給定觀測數(shù)據(jù) Y和參數(shù) θ 條件下 Z的條件密度。 嚶陸悍禁蜻蠹盯慢懺禽編宙曲伊讀粒卵具匆廉多層勾鰾鶉祠謙 EM算法是一種迭代方法，主要用來求后驗分布的眾數(shù)（即極大似然估計）。如此循環(huán)往復，則將一個復雜的估計問題替換成一系列簡單的估計問題。設某元件的失效時間 Y關于變量 x有直線回歸關系，假設在一次試驗中得到一批數(shù)據(jù)，如圖， “ ?”表示該元件失效時間坐標， ” ?“