第1章先驗分布與后驗分布-資料下載頁
2025-08-15 23:38本頁面
【正文】 n niix??????????????? ? ? ???? ? ? ??? ???? ?這個分布為倒伽瑪分布 211( , ( ) )22niinI G a x? ? ??? ? ??? 若后驗分布 ?(? ?x)與 ?(? )屬于同一個分布族，則稱該分布族是 ? 的 共軛先驗分布 (族 )。 ?二項分布 b(n, ? )中的成功概率 ? 的共軛先驗分布是貝塔分布 Be(a,b)； ?泊松分布 P(? )中的均值 ? 的共軛先驗分布是伽瑪分布 Ga(?,?)； ?指數(shù)分布中均值的倒數(shù) ? 的共軛先驗分布是伽瑪分布 Ga(?,?)； ?在方差已知時，正態(tài)均值 ? 的共軛先驗分布是正態(tài)分布 N(?,? 2)。 ?在均值已知時，正態(tài)方差 ? 2的共軛先驗分布是倒伽瑪分布 IGa(?,?)。 總結(jié) ? ? 練習(xí) ， 作業(yè)： ， 167。 超參數(shù)及其確定 定義 ：先驗分布中所含的未知參數(shù)稱為 超參數(shù) 。 例 成功概率的共軛先驗分布為 Be(α ,β )，它含有兩個超參數(shù) . 注意： 一般來說，共軛先驗分布含有超參數(shù)，而無信息先驗分布一般不含超參數(shù)。 共軛先驗分布是一種有信息的先驗分布，故其中所含的超參數(shù)應(yīng)充分利用各種先驗信息來確定，下面結(jié)合具體的例子介紹一些確定超參數(shù)的方法。 例 二項分布中的成功概率 ?的共軛先驗分布是貝塔分布 Be(α ,β ) ， α ,β 是其兩個超參數(shù) 一、利用先驗矩 利用先驗信息能獲得成功概率 ?的若干個估計值，記為 ?1,?2,… , ?k,一般它們是從歷史數(shù)據(jù)整理加工獲得的，由此可算得先驗均值 ?和先驗方差 S?2，其中 ???kiik11 ?? 2211 ()1kiiS k? ?????? ?然后令其分別等于貝塔分布 Be(α ,β ) 的期望與方差 ? ??????????????22)1(???????????S解之，可得參數(shù) α與 β的估計值 22( 1 )? 1( 1 )?( 1 ) 1SS??????????? ?????? ??? ? ??????? ? ???????二、利用先驗分位數(shù) 假如根據(jù)先驗信息可以確定貝塔分布的兩個分位數(shù)，則可利用這兩個分位數(shù)來確定 α 與 β 的估計值。 例如用兩個上下四分位數(shù) ?U和 ?L來確定 α 與 β 110111()( 1 ) 0 .2 5( ) ( )()( 1 ) 0 .2 5( ) ( )LU????????????????????????????????????從這兩個方程解出 α與 β 三、利用先驗矩和先驗分位數(shù) 假如根據(jù)先驗信息可獲得先驗均值 ?和 p分位數(shù) ?p，則可列出下列方程的 110()( 1 )( ) ( )pp?????????????????????????????? ?解之，可得參數(shù) α與 β的估計值 四、其它方法 假如根據(jù)先驗信息可獲得先驗均值 ?，令 ? ??? ??再利用其它先驗信息求出 α 與 β 的估計值。 總結(jié) ? ? 練習(xí) 作業(yè)： 167。 多參數(shù)模型 處理多參數(shù)的方法與處理單參數(shù)方法相似，先根據(jù)先驗信息給出參數(shù)的先驗分布，然后按貝葉斯公式算得后驗分布。 設(shè)總體只含 2個參數(shù) ?=(?1,?2)，總體的密度函數(shù)為p(x|?1,?2),若從該總體抽取一個樣本 并給出先驗密度 ，則 的后驗密度為 ), . . . ,( 21 nxxxx ?),( 21 ??? 12( , )??1 2 1 1 22( , ) ( , ) ( , )x p x? ? ? ? ? ? ? ??在多參數(shù)問題中，人們關(guān)心的常常是其中一個或少數(shù)幾個參數(shù)，這時其余參數(shù)常被稱為 討厭參數(shù)或多余參數(shù)。 在處理討厭參數(shù)上，貝葉斯方法要比經(jīng)典方法方便得多。 1 1 2 2( ) ( , )x x d? ? ? ? ? ?? ?例如討厭參數(shù) ?2， 167。 充分統(tǒng)計量 定義 設(shè) x1, x2, …, xn 是來自某個總體的樣本，總體分布函數(shù)為 F ( x|? )，統(tǒng)計量 T = T(x1, x2, …, xn) 稱為 ? 的 充分統(tǒng)計量， 如果在給定 T 的取值后， x1, x2,…, xn 的條件分布與 ? 無關(guān) . 充分性原則： 在統(tǒng)計學(xué)中有一個 基本原則 在充分統(tǒng)計量存在的場合，任何統(tǒng)計推斷都 可以基于充分統(tǒng)計量進(jìn)行，這可以簡化統(tǒng)計 推斷的程序。 因子分解定理 定理 設(shè)總體概率函數(shù)為 p(x |? )， X1, …, Xn 為樣本，則 T=T(X1,… Xn) 為充分統(tǒng)計量的充分 必要條件是：存在 兩 個函數(shù) g(t。 ?)和 h(x1, …, xn)， 使得對任意的 ? 和任一組觀測值 x1, x2,…, xn，有 p(x1, x2,…, xn| ? ) =g(T(x1,x2,…, xn)|? )h(x1,x2,…, xn) () 其中 g(t,? )是通過統(tǒng)計量 T 的取值而依賴于樣本的。 定理 設(shè) x=(x1, x2, …, xn )是來自密度函數(shù) p ( x |? ) 的一個樣本， T =T(x） =T(x1, x2, …, xn)是統(tǒng)計量，它的密度函數(shù)為 p( t|?） ,又設(shè) H={?(?)}是 ?的某個先驗分布族，則 T(x） 為 ? 的 充分統(tǒng)計量 充要條件是對任一先驗分布 ?(?)∈ H，有 ?(?|T(x） )=?(?|x) 即用樣本分布算得的后驗分布與統(tǒng)計量算得的后驗分布是相同的 . 優(yōu)點 ：可以簡化計算。 總結(jié) ? ， 貝葉斯統(tǒng)計學(xué)派的最基本的觀點。 ? 。 ? 。 ? 。 ? ).(),(~)(),(.~, . . . , 21 xpiidxxx n ??????? 試確定設(shè)例 ? ).e x p ()()e x p ()()(::11??????????????????? ??a有先驗密度為解])(e x p [)()()(:1 ???????? ? ???? ?? nxfx t則其先驗密度的核為的共軛分布是即故)(),(),(~)(1?????? Pnxaxnii ???? ???????????niintni ixxtxxxnxxfi1211,!! . . .!)e x p ()e x p (!)(:?????其擬然函數(shù)為
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1