【正文】 1, 39。 | , 1 , .. .,iiX X i n? ?? ?|i i iq x x x ??? i i iX X x? ? ?? ??ix?（續(xù)）例 設(shè) (X1,X2)的聯(lián)合密度為 221 1 2 221 [ 2 ]2 ( 1 )12 21( , ) ,21x x x xx x e?????? ? ????試產(chǎn)生 的后驗(yàn)分布樣本。 (3)單元素 MetropolisHastings算法 產(chǎn)生向量 X的樣本有時(shí)是困難的，通常是利用滿條件分布對 X的分量進(jìn)行逐個(gè)抽樣。, 39。, 39。p x x q x x x xq x x x q x x x q x xxq x x x q x x x q x xx???????????? ????由定理 ，建議分布 q(x,x’)可取各種形式。 39。, 39。, , 39。 39。 , 39。x q x xxx x q x x?? ???? ????則由以下 p(x,x’)產(chǎn)生的 Markov鏈?zhǔn)强赡娴?，且以?x)為平穩(wěn)分布 ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?? ?? ?? ?? ? ? ? ? ? ? ?, 39。, 39。 定理 給定 q(x,x’),取 ? ? ? ? ? ?? ? ? ?39。于是，在有了 x’之后，可產(chǎn)生一 U(0,1)隨機(jī)數(shù) u,如果u?α (x,x’),則 X(i+1)=x’,否則， X(i+1)=x。p x x q x x x x x x???則 p(x,x’)形成一個(gè)轉(zhuǎn)移核。 , 39。其思路如下： 任意選擇一個(gè)不可約的轉(zhuǎn)移概率 q(.,.)以及一個(gè)函數(shù) α (.,.)， 0α ?1,對任一組合 (x,x’)(x?x’),定義 ? ? ? ? ? ?, 39。 , .. ., 39。 , , .. ., .. . 39。 | , .. ., 39。 … … (n)由滿條件分布 抽取 ? ? ? ? ? ?? ?0 0 01 , ... , nx x x?? ?1tx ?? ? ? ?? ?1112| , ... ,ttnx x x??? ??1tx? ? ? ? ? ? ? ?? ?111 1 1| , . . . , , . . . ,t t t ti i i nx x x x x???????tix? ? ? ?? ?11| , . . . ,ttnnx x x? ???tnx記 ，則 是平穩(wěn)分布為 π的 Markov鏈的實(shí)現(xiàn)值，其由 x到 x’的轉(zhuǎn)移概率函數(shù)為 ? ? ? ? ? ?? ?1 , . . . ,t t tnx x x?? ? ? ? ? ?12, , , ,tx x x? ? ? ? ? ? ? ?1 2 2 1 3 1 1, 39。當(dāng) T只有一個(gè)元素時(shí)稱為單元素 Gibbs抽樣。 ? ?x?上述過程定義了一個(gè)由 X到 X’的轉(zhuǎn)移核，且其相應(yīng)的平穩(wěn)分布是 π 。 39。 39。 39。|TTxx? ?? ? ? ? ? ? ? ? ? ?39。 , , 39。139。有 (),各變量的滿條件分布如下： ( , | )p y z ? ? ?|? ? ?? ???? ? ? ? ? ?| , , , , | | ,i i i iz y p y z? ? ? ? ? ? ? ? ??? ?? ? ? ? ? ?| , , , | ,jj zy? ? ? ? ? ? ? ? ?? ?? ?| , , , ( , | )kkz z y p y z? ? ? ?? ?例 設(shè) (X1,X2)的聯(lián)合密度為 221 1 2 221 [ 2 ]2 ( 1 )12 21( , ) ,21x x x xx x e?????? ? ????且 ，則其滿條件分布為 ? ?~ 0 ,1U?? ? ? ?? ?? ? ? ?222221[ 2 ]2 ( 1 )01222 ( 1 )0121| , 1111 , 1 , 1 , 2 , 2 , 11i i j jijx x x xijxxjx x ee N x i j????????????? ? ???????????? ? ? ? ??? ?221 1 2 221 [ 2 ]2 ( 1 )12 21|,1x x x xx x e?????? ? ???? Gibbs 抽樣 思想：設(shè) 的密度為 ，任意固定 T?N，在給定 條件下，如下定義隨機(jī)變量 具有密度函數(shù) ，則對任一可測集 B， ? ?1 , nX X X? ? ?x?TTXx???? ? 39。 39。TTxx???? ?? ?? ?? ?39。 ? ?,ijx x j i? ??() 在導(dǎo)出滿條件分布時(shí)，應(yīng)注意到這樣一個(gè)事實(shí)： 記 ， x??X? ?,Tjx x j T? ?? ? ? ? ?? ? ? ?|TT Txx x xx d x????? ????() 等價(jià)地，若 ，且 ，則 ,39。如果 ()式中右端各個(gè)因子能夠直接模擬，則只需要進(jìn)行靜態(tài)模擬（抽樣過程中不改變抽樣分布）。 令 ，我們總可以寫出 ? ?39。以下主要討論轉(zhuǎn)移核的構(gòu)造。 (2)由 X中某一點(diǎn) X(0)出發(fā)，用 (1)中的 Markov鏈產(chǎn)生序列 X1,…,X n。比如，若得到了平穩(wěn)分布為π (x)的 Markov鏈的 樣本軌道 ，則 ()可估計(jì)為 ? ? ? ?1 ,..., nXX? ?? ?1? n imnimf f Xnm?? ? ? () 注 由 Markov鏈平穩(wěn)分布的概念可知，不論 Markov鏈從什么初始狀態(tài)出發(fā)，經(jīng)過一段時(shí)間后，各個(gè)時(shí)間的邊際分布都是平穩(wěn)分布，因此可將經(jīng)過某個(gè) m時(shí)間之后的觀察值看作平穩(wěn)分布 π (x)的樣本。計(jì)算這些后驗(yàn)量都可歸結(jié)為關(guān)于后驗(yàn)分布積分的計(jì)算。對于這類問題，一種簡單且行之有效的 Bayes計(jì)算方法就是 MCMC。 （證明見 《 高等數(shù)理統(tǒng)計(jì) 》 p126定理 ) Markov Chain Monte Carlo方法 ? ? ,xx? ? X? ? ? ? ? ?E f f x x d x? ?? ?X對于較簡單的后驗(yàn)分布，可直接計(jì)算或靜態(tài) MC等近似計(jì)算方法。（不能保證是極大值點(diǎn)）。 ? ? ? ?1ii??? ?例 設(shè)總體 X的分布律為 其中 θ ?(0,1),現(xiàn)進(jìn)行了 X 1 2 3 4 pk 124?? ? ?1 14 ?? ? ?1 14 ?? 4?197次試驗(yàn)，觀察到 1,2,3,4的頻數(shù)為 取 θ 的先驗(yàn)分布 π (θ )為 U(0,1)分布 ,則 θ的觀察后驗(yàn)分布為 ? ?12 5 , 18 , 20 , 34Y ?? ? ? ? ? ? ? ?? ? ? ?1 2 3 41 2 3 411| | 12 4 4 421y y y yy y y yp Y p Y??? ? ? ? ?? ? ???? ? ? ? ? ?? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ?現(xiàn)假設(shè) X=1可以分解為兩部分，其發(fā)生概率分別為1/2和 θ /4,令Ｚ和 y1Z分別表示試驗(yàn)結(jié)果中落入這兩部分的次數(shù)（Ｚ是不能觀測到的潛在數(shù)據(jù)），則θ 的添加后驗(yàn)分布為 ? ? ? ? ? ? ? ?? ?1 2 3 4231411| , , | 12 4 4 41z y z y y yyyy z yp Y Z p Y Z??? ? ? ? ????????? ? ? ? ? ? ? ?? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ???() () 顯然，用 ()式求極值比 ()式簡單。 于是 EM算法如下進(jìn)行。 一般地，以 p(θ |Y)表示 θ 基于 Y的的后驗(yàn)密度，稱為觀測后驗(yàn)分布； p(θ|Y,Z)表示添加數(shù)據(jù) Z后得到的 θ的后驗(yàn)密度，稱為添加后驗(yàn)分布； p(Z|θ,Y)表示在給定觀測數(shù)據(jù)