蒙特卡羅方法簡(jiǎn)介(編輯修改稿)
2025-09-12 00:23 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 取 xe21 2x xex? ? ? ?1)產(chǎn)生隨機(jī)數(shù) 2) 取 則 ? ? 012( ) 1 13 xg x x ????~ ( 0 , 1 ) , 1 , ..., 。iu U i n?? ?1 3 1 1i i iX F u u?? ? ? ?? ?? ?? ? ? ?? ?3121 2223013?211 3 1 3 0. 02 69?12 1 2 1iXni iXxenXeeVa r E dx en X n x n????????? ? ? ???? ? ? ? ? ??? ????? ? ? ?????（數(shù)值計(jì)算） 真值 投點(diǎn)法 均值法 重要抽樣法 模擬結(jié)果 二、分層抽樣法 另一種利用貢獻(xiàn)率大小來(lái)降低估計(jì)方差的方法是分層抽樣法。它首先把樣本空間 D分成一些不交的小區(qū)間 ，然后在各小區(qū)間內(nèi)的抽樣數(shù)由其貢獻(xiàn)大小決定。即，定義 ，則 Di內(nèi)的抽樣數(shù) ni應(yīng)與pi成正比。 1miiDD??? ?iiDp f x dx? ?考慮積分 ? ?10f x dx? ? ? 將 [0,1]分成 m個(gè)小區(qū)間： 010 .. . 1ma a a? ? ? ? ?則 ? ? ? ?11110iiammmiiaf x d x f x d x I?????? ????記 為第 i個(gè)小區(qū)間的長(zhǎng)度， i=1,…,m. 在每個(gè)小區(qū)間上的積分值可用均值法估計(jì)出來(lái)，然后將其相加即可給出 θ 的一個(gè)估計(jì)。具體步驟為： 1i i il a a ???1) 獨(dú)立產(chǎn)生 U(0,1)隨機(jī)數(shù) 2)計(jì)算 3) 計(jì)算 ? ?, 1 , , 1 , ,ij iu j n i m??1 , 1 , , , 1 , ,ij i i ij ix a l u j n i m?? ? ? ?? ?1? ilii ijjilI f xn ?? ?于是可得 θ 的估計(jì)為 41? ?miiI??? ?() 易見(jiàn)， 是 θ 的無(wú)偏估計(jì)，其方差為 4??? ? ? ?? ?12241 1 1222?,iiinmmi i iiji j i iaiiiiallVar Var f Xnnfx Idxll????? ? ????????????? ????? ? ??其 中() () 續(xù)例 考察分層抽樣法求積分 的方差。 解：先將區(qū)間 [0,1]劃分成兩個(gè)小區(qū)間 [0,],[,1],則 10xe dx? ? ?? ?? ?0. 5 1120 0. 50. 522210122220. 51 。 。2 4 1 。2 4 。xxxxI e dx e I e dx e ee dx ee dx e e??? ? ? ? ? ?? ? ? ?? ? ? ?????設(shè)一共抽 n個(gè)隨機(jī)數(shù)，其中在 [0,)上抽 n1個(gè)，則使用分層抽樣法求得 的方差為 4??? ? 22224 1 2110 .5 0 .5?V a rn n n? ? ??? ?對(duì) n1求導(dǎo)易知，在 n固定下，當(dāng) 時(shí) 11120 . 3 7 7 5 3nn ??????4??的方差最小，為 ? ? ? ?420 . 0 6 1 2 5? ?V a r V a rn????如果我們將區(qū)間進(jìn)行 10等份，并確定出最優(yōu)的抽樣次數(shù)分配： ，則可得到分層抽樣法估計(jì)的方差為 . 1mi i jjnn ?? ?? ?? ?3?0. 00 24 6 n V ar ??一般地，若諸 已知，在 n固定下，當(dāng) 時(shí)，估計(jì)的方差最小，為 ,iil? 1mi i i i iin n l l?????? ?????211 miiiln ?????????分層抽樣法在實(shí)施上有兩個(gè)主要問(wèn)題，其一是怎樣劃分區(qū)間，簡(jiǎn)單而常用的方法是將區(qū)間等分；另一個(gè)問(wèn)題是在區(qū)間劃分好后如何確定抽樣次數(shù)的分配。由于在實(shí)際中 總是未知的，因而前面最優(yōu)分配的結(jié)論無(wú)法應(yīng)用。即使如此，分層抽樣法還是有其作用的?？梢宰C明，即使取簡(jiǎn)單的分配 也有 i?? ?iin nl b a??? ? ? ?42? ?V a r V a r???事實(shí)上，取 ，代入 ()得 ? ?iin nl b a?? ? ? 241? m iiibaV a r ln?? ??? ?由 CauchySchwarz不等式，有 ? ?22 2221 1 1 1 1m m m m mi i ii i ii i i i iiiiI I II l l b alll? ? ? ? ? ?????? ? ? ? ??????? ??? ? ? ? ?據(jù)此，在 ()式兩端各乘以 并相加得 il? ? ? ?2 22 2 2 211bbmmiiiii iaaIl f x d x f x d xl b a????? ? ? ? ??? ??于是 ? ? ? ?42? ?V a r V a r???三、關(guān)聯(lián)抽樣法 考慮積分差 ? ? ? ?1 2 1 2f x d x f x d x I I? ? ? ? ???若用 估計(jì) θ ，則其方差為 12? ? ?II? ??? ? ? ? ? ? ? ? ? ?1 2 1 2 1 2? ? ? ? ? ? ?2,V a r V a r I I V a r I V a r I C o v I I? ? ? ? ? ?顯然，在 確定后， 正相關(guān)度越高，則 的方差越小。這便是關(guān)聯(lián)抽樣法的基本出發(fā)點(diǎn)。 ? ? ? ?11? ?V a r I V a r I和12? ?,II??考慮用重要抽樣法來(lái)估計(jì) I1,I2,即改寫(xiě) θ 為 ? ? ? ? ? ? ? ?1 1 2 2h x g x d x h x g x d x? ????1)產(chǎn)生 n個(gè) U(0,1)隨機(jī)數(shù) ；令 2)則 1 , nuu? ?? ?1112,iiiix G uy G u????? ? ? ?? ?1211? niiih x h yn?????第三章 數(shù)據(jù)添加算法 在 Bayes統(tǒng)計(jì)或極大似然估計(jì)的計(jì)算中，經(jīng)常會(huì)遇到這樣一類問(wèn)題：設(shè)我們能觀測(cè)到的數(shù)據(jù)是 Y， θ 關(guān)于 Y的后驗(yàn)分布 p(θ |Y)很復(fù)雜，難以直接進(jìn)行各種統(tǒng)計(jì)計(jì)算 .假如我們能假定一些沒(méi)有能觀察到的潛在數(shù)據(jù) Z為已知（譬如， Y為某變量的截尾觀測(cè)值， Z為該變量的真值），則可能得到一個(gè)關(guān)于θ 的簡(jiǎn)單的添加后驗(yàn)分布 p(θ|Y,Z),利用 p(θ|Y,Z)的簡(jiǎn)單性我們可以進(jìn)行各種計(jì)算，如極大化，抽樣等，然后回過(guò)頭來(lái)，又可以對(duì) Z的假定做檢查或改進(jìn)。如此進(jìn)行，我們就將一個(gè)復(fù)雜的極大化問(wèn)題轉(zhuǎn)變?yōu)橐幌盗泻?jiǎn)單的極大化或抽樣。在統(tǒng)計(jì)上，這種處理問(wèn)題的方法稱為 “數(shù)據(jù)添加算法” 。 常用的 “數(shù)據(jù)添加算法” 有 EM算法和 Markov Chain Monte Carlo方法。 EM算法 先考慮一種簡(jiǎn)單情形。設(shè)某元件的失效時(shí)間 Y關(guān)于變量 x有直線回歸關(guān)系，假設(shè)在一次試驗(yàn)中得到一批數(shù)據(jù)，如圖， “ ?” 表示該元件失效時(shí)間坐標(biāo)， ” ?“ 表示對(duì)應(yīng)元件的截尾時(shí)間（小于失效時(shí)間）。 如果直線斜率和截矩的估計(jì)值已知，則我們可以在真實(shí)數(shù)據(jù)不小于截尾數(shù)據(jù)的前提下將各個(gè)被截尾的失效時(shí)間估計(jì)出來(lái)，從而得到所謂的”完全數(shù)據(jù)“，由此完全數(shù)據(jù)，重新對(duì)直線的斜率及截矩進(jìn)行估計(jì)，再依據(jù)新的估計(jì)量，得到新的”完全數(shù)據(jù)“。如此循環(huán)往復(fù)，則將一個(gè)復(fù)雜的估計(jì)問(wèn)題替換成一系列簡(jiǎn)單的估計(jì)問(wèn)題。將之一般化，就給出 EM算法。 EM算法是一種迭代方法，主要用來(lái)求后驗(yàn)分布的眾數(shù)（即極大似然估計(jì)）。它的每一步迭代由兩步組成： E步（求期望）和 M步（極大化）。 一般地，以 p(θ |Y)表示 θ 基于 Y的的后驗(yàn)密度，稱為觀測(cè)后驗(yàn)分布； p(θ|Y,Z)表示添加數(shù)據(jù) Z后
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1