【文章內(nèi)容簡介】 取 xe21 2x xex? ? ? ?1)產(chǎn)生隨機數(shù) 2) 取 則 ? ? 012( ) 1 13 xg x x ????~ ( 0 , 1 ) , 1 , ..., 。iu U i n?? ?1 3 1 1i i iX F u u?? ? ? ?? ?? ?? ? ? ?? ?3121 2223013?211 3 1 3 0. 02 69?12 1 2 1iXni iXxenXeeVa r E dx en X n x n????????? ? ? ???? ? ? ? ? ??? ????? ? ? ?????（數(shù)值計算） 真值 投點法 均值法 重要抽樣法 模擬結(jié)果 二、分層抽樣法 另一種利用貢獻率大小來降低估計方差的方法是分層抽樣法。它首先把樣本空間 D分成一些不交的小區(qū)間 ，然后在各小區(qū)間內(nèi)的抽樣數(shù)由其貢獻大小決定。即，定義 ，則 Di內(nèi)的抽樣數(shù) ni應(yīng)與pi成正比。 1miiDD??? ?iiDp f x dx? ?考慮積分 ? ?10f x dx? ? ? 將 [0,1]分成 m個小區(qū)間： 010 .. . 1ma a a? ? ? ? ?則 ? ? ? ?11110iiammmiiaf x d x f x d x I?????? ????記 為第 i個小區(qū)間的長度， i=1,…,m. 在每個小區(qū)間上的積分值可用均值法估計出來，然后將其相加即可給出 θ 的一個估計。具體步驟為： 1i i il a a ???1) 獨立產(chǎn)生 U(0,1)隨機數(shù) 2)計算 3) 計算 ? ?, 1 , , 1 , ,ij iu j n i m??1 , 1 , , , 1 , ,ij i i ij ix a l u j n i m?? ? ? ?? ?1? ilii ijjilI f xn ?? ?于是可得 θ 的估計為 41? ?miiI??? ?() 易見， 是 θ 的無偏估計，其方差為 4??? ? ? ?? ?12241 1 1222?,iiinmmi i iiji j i iaiiiiallVar Var f Xnnfx Idxll????? ? ????????????? ????? ? ??其 中() () 續(xù)例 考察分層抽樣法求積分 的方差。 解：先將區(qū)間 [0,1]劃分成兩個小區(qū)間 [0,],[,1],則 10xe dx? ? ?? ?? ?0. 5 1120 0. 50. 522210122220. 51 。 。2 4 1 。2 4 。xxxxI e dx e I e dx e ee dx ee dx e e??? ? ? ? ? ?? ? ? ?? ? ? ?????設(shè)一共抽 n個隨機數(shù)，其中在 [0,)上抽 n1個，則使用分層抽樣法求得 的方差為 4??? ? 22224 1 2110 .5 0 .5?V a rn n n? ? ??? ?對 n1求導(dǎo)易知，在 n固定下，當 時 11120 . 3 7 7 5 3nn ??????4??的方差最小，為 ? ? ? ?420 . 0 6 1 2 5? ?V a r V a rn????如果我們將區(qū)間進行 10等份，并確定出最優(yōu)的抽樣次數(shù)分配： ，則可得到分層抽樣法估計的方差為 . 1mi i jjnn ?? ?? ?? ?3?0. 00 24 6 n V ar ??一般地，若諸 已知，在 n固定下，當 時，估計的方差最小，為 ,iil? 1mi i i i iin n l l?????? ?????211 miiiln ?????????分層抽樣法在實施上有兩個主要問題，其一是怎樣劃分區(qū)間，簡單而常用的方法是將區(qū)間等分；另一個問題是在區(qū)間劃分好后如何確定抽樣次數(shù)的分配。由于在實際中 總是未知的，因而前面最優(yōu)分配的結(jié)論無法應(yīng)用。即使如此，分層抽樣法還是有其作用的?？梢宰C明，即使取簡單的分配 也有 i?? ?iin nl b a??? ? ? ?42? ?V a r V a r???事實上，取 ，代入 ()得 ? ?iin nl b a?? ? ? 241? m iiibaV a r ln?? ??? ?由 CauchySchwarz不等式，有 ? ?22 2221 1 1 1 1m m m m mi i ii i ii i i i iiiiI I II l l b alll? ? ? ? ? ?????? ? ? ? ??????? ??? ? ? ? ?據(jù)此，在 ()式兩端各乘以 并相加得 il? ? ? ?2 22 2 2 211bbmmiiiii iaaIl f x d x f x d xl b a????? ? ? ? ??? ??于是 ? ? ? ?42? ?V a r V a r???三、關(guān)聯(lián)抽樣法 考慮積分差 ? ? ? ?1 2 1 2f x d x f x d x I I? ? ? ? ???若用 估計 θ ，則其方差為 12? ? ?II? ??? ? ? ? ? ? ? ? ? ?1 2 1 2 1 2? ? ? ? ? ? ?2,V a r V a r I I V a r I V a r I C o v I I? ? ? ? ? ?顯然，在 確定后， 正相關(guān)度越高，則 的方差越小。這便是關(guān)聯(lián)抽樣法的基本出發(fā)點。 ? ? ? ?11? ?V a r I V a r I和12? ?,II??考慮用重要抽樣法來估計 I1,I2,即改寫 θ 為 ? ? ? ? ? ? ? ?1 1 2 2h x g x d x h x g x d x? ????1)產(chǎn)生 n個 U(0,1)隨機數(shù) ；令 2)則 1 , nuu? ?? ?1112,iiiix G uy G u????? ? ? ?? ?1211? niiih x h yn?????第三章 數(shù)據(jù)添加算法 在 Bayes統(tǒng)計或極大似然估計的計算中，經(jīng)常會遇到這樣一類問題：設(shè)我們能觀測到的數(shù)據(jù)是 Y， θ 關(guān)于 Y的后驗分布 p(θ |Y)很復(fù)雜，難以直接進行各種統(tǒng)計計算 .假如我們能假定一些沒有能觀察到的潛在數(shù)據(jù) Z為已知（譬如， Y為某變量的截尾觀測值， Z為該變量的真值），則可能得到一個關(guān)于θ 的簡單的添加后驗分布 p(θ|Y,Z),利用 p(θ|Y,Z)的簡單性我們可以進行各種計算，如極大化，抽樣等，然后回過頭來，又可以對 Z的假定做檢查或改進。如此進行，我們就將一個復(fù)雜的極大化問題轉(zhuǎn)變?yōu)橐幌盗泻唵蔚臉O大化或抽樣。在統(tǒng)計上，這種處理問題的方法稱為 “數(shù)據(jù)添加算法” 。 常用的 “數(shù)據(jù)添加算法” 有 EM算法和 Markov Chain Monte Carlo方法。 EM算法 先考慮一種簡單情形。設(shè)某元件的失效時間 Y關(guān)于變量 x有直線回歸關(guān)系，假設(shè)在一次試驗中得到一批數(shù)據(jù)，如圖， “ ?” 表示該元件失效時間坐標， ” ?“ 表示對應(yīng)元件的截尾時間（小于失效時間）。 如果直線斜率和截矩的估計值已知，則我們可以在真實數(shù)據(jù)不小于截尾數(shù)據(jù)的前提下將各個被截尾的失效時間估計出來，從而得到所謂的”完全數(shù)據(jù)“，由此完全數(shù)據(jù)，重新對直線的斜率及截矩進行估計，再依據(jù)新的估計量，得到新的”完全數(shù)據(jù)“。如此循環(huán)往復(fù)，則將一個復(fù)雜的估計問題替換成一系列簡單的估計問題。將之一般化，就給出 EM算法。 EM算法是一種迭代方法，主要用來求后驗分布的眾數(shù)（即極大似然估計）。它的每一步迭代由兩步組成： E步（求期望）和 M步（極大化）。 一般地，以 p(θ |Y)表示 θ 基于 Y的的后驗密度，稱為觀測后驗分布； p(θ|Y,Z)表示添加數(shù)據(jù) Z后