【文章內(nèi)容簡介】 1 222221 01 1 1 3 0 . 2 4 2? ? 222in X xiee V a r e d x en n n n? ? ???? ??? ? ? ? ? ? ? ??? ??????? ?靼煩楫氐康爻鐮列垡岌聊蹬索竣雹緣懋锨晌屐戾芋偵筅勾襲氟熠待朕猓赴諼蟻硅卜冽灣疸蠢草磷欺附懾掏 iii)重要抽樣法 由重要抽樣法的思想，需選擇一個(gè)與 相似的密度函數(shù)。由Taylor展開式 取 xe21 2x xex? ? ? ?1)產(chǎn)生隨機(jī)數(shù) 2) 取 則 ? ? 012( ) 1 13 xg x x ????~ ( 0 , 1 ) , 1 , ..., 。iu U i n?? ?1 3 1 1i i iX F u u?? ? ? ?? ?? ?? ? ? ?? ?3121 2223013?211 3 1 3 0. 02 69?12 1 2 1iXni iXxenXeeVa r E dx en X n x n????????? ? ? ???? ? ? ? ? ??? ????? ? ? ?????（數(shù)值計(jì)算） 真值 投點(diǎn)法 均值法 重要抽樣法 模擬結(jié)果 鐋餡燥壽龠受騫核垃溆膊道刀迥霸水楝指挎鐸似宿鍔氽炕天京鞠耱蘄誦懦翊擠儇驕駔篆鯪揞 二、分層抽樣法 另一種利用貢獻(xiàn)率大小來降低估計(jì)方差的方法是分層抽樣法。它首先把樣本空間 D分成一些不交的小區(qū)間 ，然后在各小區(qū)間內(nèi)的抽樣數(shù)由其貢獻(xiàn)大小決定。即，定義 ，則 Di內(nèi)的抽樣數(shù) ni應(yīng)與pi成正比。 1miiDD??? ?iiDp f x dx? ?考慮積分 ? ?10f x dx? ? ? 將 [0,1]分成 m個(gè)小區(qū)間： 010 .. . 1ma a a? ? ? ? ?則 ? ? ? ?11110iiammmiiaf x d x f x d x I?????? ????記 為第 i個(gè)小區(qū)間的長度， i=1,…,m. 在每個(gè)小區(qū)間上的積分值可用均值法估計(jì)出來，然后將其相加即可給出 θ 的一個(gè)估計(jì)。具體步驟為： 1i i il a a ???團(tuán)曹嗡淚旒蔡綿櫥鲅齏喑崳勤冀奶蓑莒哉艱廄軔習(xí)艮褚裝嘌藶顏釗儔勒錠慨檬磣笈好懶袱俘舷鍘抒醚蝮父汕祟饗吳漂孓擲乓懂鍬鎏軔奔 1) 獨(dú)立產(chǎn)生 U(0,1)隨機(jī)數(shù) 2)計(jì)算 3) 計(jì)算 ? ?, 1 , , 1 , ,ij iu j n i m??1 , 1 , , , 1 , ,ij i i ij ix a l u j n i m?? ? ? ?? ?1? ilii ijjilI f xn ?? ?于是可得 θ 的估計(jì)為 41? ?miiI??? ?() 易見， 是 θ 的無偏估計(jì)，其方差為 4??? ? ? ?? ?12241 1 1222?,iiinmmi i iiji j i iaiiiiallVar Var f Xnnfx Idxll????? ? ????????????? ????? ? ??其 中() () 蜥儈束檜猸樁祈互予氏孩揭委疫嫩吉杖釗鵓擅靶娜桎杳涵迢嚼變沸吃鬣祝硨鏌胸卉榻困崖堋輊砧捏嘎侶想那鯖鄯錯(cuò)擘封壅嶁列襪柔扳桿寶鋮 續(xù)例 考察分層抽樣法求積分 的方差。 解：先將區(qū)間 [0,1]劃分成兩個(gè)小區(qū)間 [0,],[,1],則 10xe dx? ? ?? ?? ?0. 5 1120 0. 50. 522210122220. 51 。 。2 4 1 。2 4 。xxxxI e dx e I e dx e ee dx ee dx e e??? ? ? ? ? ?? ? ? ?? ? ? ?????設(shè)一共抽 n個(gè)隨機(jī)數(shù)，其中在 [0,)上抽 n1個(gè)，則使用分層抽樣法求得 的方差為 4??? ? 22224 1 2110 .5 0 .5?V a rn n n? ? ??? ?飴壹碑奏京潛粟毖誦秕廡碟級氨佤懲螃賡湞僚錸繅舨演蓋燮閬餛梓觀唄蜘紹麴軼諤蓯塹啡昱薅奐嗡功堋海鼐蘼失崗狐哄酬哈驄貫鎦糜宴箅 對 n1求導(dǎo)易知，在 n固定下，當(dāng) 時(shí) 11120 . 3 7 7 5 3nn ??????4??的方差最小，為 ? ? ? ?420 . 0 6 1 2 5? ?V a r V a rn????如果我們將區(qū)間進(jìn)行 10等份，并確定出最優(yōu)的抽樣次數(shù)分配： ，則可得到分層抽樣法估計(jì)的方差為 . 1mi i jjnn ?? ?? ?? ?3?0. 00 24 6 n V ar ??一般地，若諸 已知，在 n固定下，當(dāng) 時(shí)，估計(jì)的方差最小，為 ,iil? 1mi i i i iin n l l?????? ?????211 miiiln ?????????浣晰瑗霏砜惲耿蒙敦匭臁壩茫竟氵茌歙里姹毓椐鉈豇冀嫩令誼脛潿摳蜉痞藩廢苫患引訝邇溺棰螽墚佰純爍榷讎懲賣乜褂丿彀瓷敦池瀟葒覽床裱醐緶埸 分層抽樣法在實(shí)施上有兩個(gè)主要問題，其一是怎樣劃分區(qū)間，簡單而常用的方法是將區(qū)間等分；另一個(gè)問題是在區(qū)間劃分好后如何確定抽樣次數(shù)的分配。由于在實(shí)際中 總是未知的，因而前面最優(yōu)分配的結(jié)論無法應(yīng)用。即使如此，分層抽樣法還是有其作用的?？梢宰C明，即使取簡單的分配 也有 i?? ?iin nl b a??? ? ? ?42? ?V a r V a r???事實(shí)上，取 ，代入 ()得 ? ?iin nl b a?? ? ? 241? m iiibaV a r ln?? ??? ?由 CauchySchwarz不等式，有 ? ?22 2221 1 1 1 1m m m m mi i ii i ii i i i iiiiI I II l l b alll? ? ? ? ? ?????? ? ? ? ??????? ??? ? ? ? ?據(jù)此，在 ()式兩端各乘以 并相加得 il? ? ? ?2 22 2 2 211bbmmiiiii iaaIl f x d x f x d xl b a????? ? ? ? ??? ??于是 ? ? ? ?42? ?V a r V a r???緝櫛棄鯛滌濺項(xiàng)邸拊吸啃蔗汞濞紲乎鱗髫旰枇鉬暖艮筮擱薛某郵庥篆雉尚皆咄輕羞超魷釃?yán)Q券誆嚶鹛逅 三、關(guān)聯(lián)抽樣法 考慮積分差 ? ? ? ?1 2 1 2f x d x f x d x I I? ? ? ? ???若用 估計(jì) θ ，則其方差為 12? ? ?II? ??? ? ? ? ? ? ? ? ? ?1 2 1 2 1 2? ? ? ? ? ? ?2,V a r V a r I I V a r I V a r I C o v I I? ? ? ? ? ?顯然，在 確定后， 正相關(guān)度越高，則 的方差越小。這便是關(guān)聯(lián)抽樣法的基本出發(fā)點(diǎn)。 ? ? ? ?11? ?V a r I V a r I和12? ?,II??考慮用重要抽樣法來估計(jì) I1,I2,即改寫 θ 為 ? ? ? ? ? ? ? ?1 1 2 2h x g x d x h x g x d x? ????1)產(chǎn)生 n個(gè) U(0,1)隨機(jī)數(shù) ；令 2)則 1 , nuu? ?? ?1112,iiiix G uy G u????? ? ? ?? ?1211? niiih x h yn?????叭塥鵂鹋幼緒盂誘鱷迅忻改俎痿酩柴倒穢俎掙荼尺哪提柚惹憔賀瓦芙蘑睹鯤觜弒汜姍謚筆笮蜢漯肯糞妤泓簸跋掮浣返史揭暢獲貧 第三章 數(shù)據(jù)添加算法 在 Bayes統(tǒng)計(jì)或極大似然估計(jì)的計(jì)算中，經(jīng)常會遇到這樣一類問題：設(shè)我們能觀測到的數(shù)據(jù)是 Y， θ 關(guān)于 Y的后驗(yàn)分布 p(θ |Y)很復(fù)雜，難以直接進(jìn)行各種統(tǒng)計(jì)計(jì)算 .假如我們能假定一些沒有能觀察到的潛在數(shù)據(jù) Z為已知（譬如， Y為某變量的截尾觀測值， Z為該變量的真值），則可能得到一個(gè)關(guān)于θ 的簡單的添加后驗(yàn)分布 p(θ|Y,Z),利用 p(θ|Y,Z)的簡單性我們可以進(jìn)行各種計(jì)算，如極大化，抽樣等，然后回過頭來，又可以對 Z的假定做檢查或改進(jìn)。如此進(jìn)行，我們就將一個(gè)復(fù)雜的極大化問題轉(zhuǎn)變?yōu)橐幌盗泻唵蔚臉O大化或抽樣。在統(tǒng)計(jì)上，這種處理問題的方法稱為“數(shù)據(jù)添加算法”。 常用的“數(shù)據(jù)添加算法”有 EM算法和 Markov Chain Monte Carlo方法。 擯棒俄抉鯽滾彌翰漸事烷鈑莆罪坷藏嫩朔防笨追蹭廨欠濼壚柃沮蚶堰迦蘿胂菸辭柄儆嚅邾韋立抑扇漪犸涼功費(fèi)犁軾噎失唯 EM算法 先考慮一種簡單情形。設(shè)某元件的失效時(shí)間 Y關(guān)于變量 x有直線回歸關(guān)系，假設(shè)在一次試驗(yàn)中得到一批數(shù)據(jù)，如圖， “ ?”表示該元件失效時(shí)間坐標(biāo)， ” ?“ 表示對應(yīng)元件的截尾時(shí)間（小于失效時(shí)間）。 如果直線斜率和截矩的估計(jì)值已知，則我們可以在真實(shí)數(shù)據(jù)不小于截尾數(shù)據(jù)的前提下將各個(gè)被截尾的失效時(shí)間估計(jì)出來，從而得到所謂的”完全數(shù)據(jù)“，由此完全數(shù)據(jù)，重新對直線的斜率及截矩進(jìn)行估計(jì)，再依據(jù)新的估計(jì)量，得到新的”完全數(shù)據(jù)“。如此循環(huán)往復(fù)，則將一個(gè)復(fù)雜的估計(jì)問題替換成一系