【正文】 ?解：由例 , 各分量的滿條件分布為 ? ? ? ?2| , , 1 , 1 , 2 , 2 , 1i j jx x N x i j? ? ? ?? ? ? ?? ?221 1 2 221 [ 2 ]2 ( 1 )12 21|,1x x x xx x e?????? ? ????? ?? ?? ?221 1 2 22221 1 2 221[ 2 ]2 ( 1 )21[ 2 ]2 ( 1 )2139。 m in 1 , x q xxxx q x???????? ???一般，要使獨立抽樣有好的效果， q(x)應(yīng)接近 π (x),比較安全的辦法是使 q(x)的尾比 π(x)重。 常用的建議分布選擇方法： (1)Metropolis選擇：對稱的建議分布，即 ? ? ? ?,q x x q x x???此時 ? ? ? ?? ?39。 39。 39。 , 39。 39。 此方法的實施比較直觀，首先由 q(x,x’)產(chǎn)生一個潛在的轉(zhuǎn)移 x ? x’，然后根據(jù)概率 α(x,x’)決定是否轉(zhuǎn)移。 , 39。 | 39。 39。這樣構(gòu)造的 MCMC稱為 Gibbs抽樣。 39。 39。 39。|TTTTx x xx x x?????() 一般地，用 y表示觀測數(shù)據(jù)， ，其中 分別表示參數(shù)，超參數(shù)和缺損數(shù)據(jù)，則有 ? ?,xz??? ,z??? ? ? ? ? ? ? ? ? ?| , , , , | |x y y z p y z? ? ? ? ? ? ? ? ? ???其中， 表示完全數(shù)據(jù)的密度函數(shù)， 表示先驗分布， 表示超參數(shù)的分布。xx ? X 39。1 , ..., nx x x?? ? ? ?1|n iiix x x?? ??? ?其中 。 (3) 對某個 m和大的 n，任一函數(shù) f(x)的期望估計如下 ? ?11? niimE f f Xnm???? ? ?MCMC有許多研究專題，如鏈的收斂性判斷（ m大小的確定），鏈的長度（ n的大?。┑拇_定，估計誤差等等。具體地，設(shè) 為后驗密度，我們要計算的后驗量可寫成某函數(shù) f(x)關(guān)于 π 的期望 () 基本思路 MCMC方法的基本思想是通過建立一個平穩(wěn)分布為π (x)的 Markov鏈來得到 π (x)的樣本，基于這些樣本可以作各種統(tǒng)計推斷。但在實際中，觀測后驗分布往往是復雜的，高維的，非標準形式的分布，上述方法都難以實施。ＥＭ迭代如下： E步：在 給定下， ? ?? ? ? ? ? ? ? ? ? ?? ?? ?? ? ? ?? ?? ? ? ?1 4 2 31 4 2 311 4 2 3| , l o g l o g 1 | ,| , l o g l o g 12l o g l o g 12iiziziQ Y E y z y y y Yy E z Y y y yyy y y y? ? ? ? ?? ? ??????? ? ? ? ?????? ? ? ? ? ?????? ? ? ? ? ??????? ?,i Y?? ?12~,2iZ b y ????????M步：將 關(guān)于 θ 極大化得 ? ?? ?|,iQY??? ?? ? ? ?? ?? ? ? ?? ? ? ?? ?? ?1411 2 3 42 159 68197 1442ii iiiiiyyy y y y?? ???????? ????? ? ? ?可以證明，在關(guān)于Ｌ＝ logp(θ|Y)的很一般的條件下，由ＥＭ算法得到的估計序列 收斂到Ｌ的穩(wěn)定點。 我們的目的是計算 p(θ|Y)的眾數(shù)。將之一般化，就給出 EM算法。 EM算法 先考慮一種簡單情形。 ? ? ? ?11? ?V a r I V a r I和12? ?,II??考慮用重要抽樣法來估計 I1,I2,即改寫 θ 為 ? ? ? ? ? ? ? ?1 1 2 2h x g x d x h x g x d x? ????1)產(chǎn)生 n個 U(0,1)隨機數(shù) ；令 2)則 1 , nuu? ?? ?1112,iiiix G uy G u????? ? ? ?? ?1211? niiih x h yn?????第三章 數(shù)據(jù)添加算法 在 Bayes統(tǒng)計或極大似然估計的計算中，經(jīng)常會遇到這樣一類問題：設(shè)我們能觀測到的數(shù)據(jù)是 Y， θ 關(guān)于 Y的后驗分布 p(θ |Y)很復雜，難以直接進行各種統(tǒng)計計算 .假如我們能假定一些沒有能觀察到的潛在數(shù)據(jù) Z為已知（譬如， Y為某變量的截尾觀測值， Z為該變量的真值），則可能得到一個關(guān)于θ 的簡單的添加后驗分布 p(θ|Y,Z),利用 p(θ|Y,Z)的簡單性我們可以進行各種計算，如極大化，抽樣等，然后回過頭來，又可以對 Z的假定做檢查或改進。由于在實際中 總是未知的，因而前面最優(yōu)分配的結(jié)論無法應(yīng)用。 。即，定義 ，則 Di內(nèi)的抽樣數(shù) ni應(yīng)與pi成正比。iX U i n?? ? 1 222221 01 1 1 3 0 . 2 4 2? ? 222in X xiee V a r e d x en n n n? ? ???? ??? ? ? ? ? ? ? ??? ??????? ?iii)重要抽樣法 由重要抽樣法的思想，需選擇一個與 相似的密度函數(shù)。問題變?yōu)椋绾芜x擇 g(.)使估計的方差最小。 一 重要抽樣法 由上節(jié)，樣本平均法比投點法有效，將樣本平均法做更一般的推廣，設(shè) g(x)是 (a,b)上的密度函數(shù)，改寫 由大數(shù)定律，若 ，則 ? ?? ?? ?? ?3 11? n i Pi if X f XEn g X g X? ???? ????????..1 , .. ., , .. . ~ ( )i i dnX X g xMC方法為： 1)選擇適當?shù)?g(x),獨立產(chǎn)生 n個 g(x)隨機數(shù) 2)由 ()估計 θ 。因 2 2 1 1 2 1 1 2X c Z c Z ?? ? ?于是 2222 2 21 22 12 1 2 12 21( ) , ( , )V a r X c c Co v X X c c??? ? ? ? ?得 21 2 1 22 1 2 2 2 21111,.cc?? ? ??? ? ?依此類推， 一般迭代公式為 11121, 1 , ..., , 1 , ...,jij il jllijjjj jllccc i k j ic???????? ? ????至此，我們可以給出 k維正態(tài)分布的抽樣步驟： 1)迭代計算 ； 2)由 N(0,1)分布獨立抽取 k個隨機數(shù) ； 3)計算 , 1 , ..., , 1 , ...,ijc i k j i??? ?1 , kz z z?x C z ??? 隨機模擬計算 隨機投點法 ? ?baf x dx?考慮積分 ，設(shè) a,b有限， 0?f(x)?M,令Ω ={(x,y):a?x?b,0?y?M},并設(shè) (X,Y)是在 Ω 上均勻分布的二維隨機向量，其聯(lián)合密度函數(shù)為 則易見， 是 Ω 中曲線 f(x)下方面積 。 解： ? ?111 1 1 2 1 1 10( ) 6 6 1 0 1xp x x d x x x x?? ? ? ? ??? ?? ?122 2 1 2 11 1 1, 1( | ) , 0 11p x xp x x x xp x x? ? ? ? ??相應(yīng)的邊際分布函數(shù)和條件分布函數(shù)分別為 ? ?1 231 1 2 1 1 10( ) 6 1 3 2 , 0 1xF x t t d x x x x? ? ? ? ? ??? ?2 12 2 1 2 1 2 101( | ) 1 , 0 11xF x x d t x x x xt ?? ? ? ? ? ???方程 ()變?yōu)? ? ?231 1 112 1 2321X X UX X