(備用)貝葉斯方法(估計_推斷_決策)(已修改)
2025-03-06 15:16 本頁面
【正文】 第一節(jié) 貝葉斯推斷方法 第二節(jié) 貝葉斯決策方法 第十一章 貝葉斯估計 第一節(jié) 貝葉斯推斷方法 一 、統(tǒng)計推斷中可用的三種信息 美籍波蘭統(tǒng)計學(xué)家耐曼 (－ 1981) 高度概括了在統(tǒng)計推斷中可用的三種信息： 1． 總體信息 ，即總體分布或所屬分布族給我們的信息。譬如“總體視察指數(shù)分布”或“總體是正態(tài)分布”在統(tǒng)計推斷中都發(fā)揮重要作用，只要有總體信息，就要想方設(shè)法在統(tǒng)計推斷中使用 2．樣本信息 ，即樣本提供我們的信息，這是任一種統(tǒng)計推斷中都需要 3． 先驗信息 ， 即在抽樣之前有關(guān)統(tǒng)計推斷的一些信息 。 譬如 ， 在估計某產(chǎn)品的不合格率時 ， 假如工廠保存了過去抽檢這種產(chǎn)品質(zhì)量的資料 ， 這些資料 （ 包括歷史數(shù)據(jù) ） 有時估計該產(chǎn)品的不合格率是有好處的 。這些資料所提供的信息就是一種先驗信息 。 又如某工程師根據(jù)自己多年積累的經(jīng)驗對正在設(shè)計的某種彩電的平均壽命所提供的估計也是一種先驗信息 。 由于這種信息是在 “ 試驗之前 ” 就已有的 ， 故稱為先驗信息 。 以前所討論的點估計只使用前兩種信息，沒有使用先驗信息。假如能把收集到的先驗信息也利用起來，那對我們進行統(tǒng)計推斷是有好處的。只用前兩種信息的統(tǒng)計學(xué)稱為經(jīng)典統(tǒng)計學(xué)，三種信息都用的統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué)。本節(jié)將簡要介紹貝葉斯統(tǒng)計學(xué)中的點估計方法。 二、貝葉斯公式的密度函數(shù)形式 貝葉斯統(tǒng)計學(xué)的基礎(chǔ)是著名的貝葉斯公式 ， 它是英國學(xué)者貝葉斯 （ ~1761） 在他死后二年發(fā)表的一篇論文 《 論歸納推理的一種方法 》 中提出的 。 經(jīng)過二百年的研究與應(yīng)用 ， 貝葉斯的統(tǒng)計思想得到很大的發(fā)展 ， 目前已形成一個統(tǒng)計學(xué)派 — 貝葉斯學(xué)派 。 為了紀(jì)念他 ， 英國歷史最悠久的統(tǒng)計雜志 《 Biometrika》 在 1958年又全文刊登貝葉斯的這篇論文 。 初等概率論中的貝葉斯公式是用事件的概率形式給出的。可在貝葉斯統(tǒng)計學(xué)中應(yīng)用更多的是貝葉斯公式的密度函數(shù)形式。下面結(jié)合貝葉斯統(tǒng)計學(xué)的基本觀點來引出其密度函數(shù)形式。貝葉斯統(tǒng)計學(xué)的基本觀點可以用下面三個觀點歸納出來。 假設(shè) Ⅰ 隨機變量 X有一個密度函數(shù) p（ x； θ ），其中 θ 是一個參數(shù)，不同的 θ 對應(yīng)不同的密度函數(shù)，故從貝葉斯觀點看， p（ x； θ ）是在給定后θ 是個條件密度函數(shù)，因此記為 p（ x│ θ ）更恰當(dāng)一些。這個條件密度能提供我們的有關(guān)的 θ 信息就是總體信息。 假設(shè) Ⅱ 當(dāng)給定 θ 后，從總體 p（ x│ θ ）中隨機抽取一個樣本 ,該樣本中含有 θ 的有關(guān)信息。這種信息就是樣本信息。 假設(shè) Ⅲ 我們對參數(shù) θ 已經(jīng)積累了很多資料，經(jīng)過分析、整理和加工，可以獲得一些有關(guān) θ 的有用信息，這種信息就是先驗信息。參數(shù) θ 不是永遠固定在一個值上，而是一個事先不能確定的量。從貝葉斯觀點來看，未知參數(shù) θ 是一個隨機變量。而描述這個隨機變量的分布可從先驗信息中歸納出來，這個分布稱為先驗分布，其密度函數(shù)用 π （ θ ）表示。 1 , nXX??? 1 先驗分布 定義 將總體中的未知參數(shù) θ ∈ Θ看成一取值于 Θ的隨機變量，它有一概率分布，記為 π（ θ ），稱為參數(shù) θ 的先驗分布。 2 后驗分布 在貝葉斯統(tǒng)計學(xué)中，把以上的三種信息歸納起來的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1， ? ， Xn，和參數(shù)的聯(lián)合密度函數(shù) )(),(),( 11 ???? nn xxpxxp ?? ?在這個聯(lián)合密度函數(shù)中。當(dāng)樣本 給定之后，未知的僅是參數(shù) θ 了，我們關(guān)心的是樣本給定后， θ 的條件密度函數(shù)，依據(jù)密度的計算公式，容易獲得這個條件密度函數(shù) nXX ,1 ? ?????????????dxxpxxpxxpxxpxxnnnnn)(),()(),(),(),(),(11111?????這就是貝葉斯公式的密度函數(shù)形式，其中 稱為 θ 的后驗密度函數(shù)，或 后驗分布。而 ),( 1 nxx ??? ?? ???? dxxpxxp nn )(),(),( 11 ?? 是樣本的邊際分布，或稱樣本 的無條件分布，它的積分區(qū)域就是參數(shù) θ 的取值范圍，隨具體情況而定。 nXX ,1 ?前面的分析總結(jié)如下：人們根據(jù)先驗信息對參數(shù) θ已有一個認(rèn)識，這個認(rèn)識就是先驗分布 π （ θ ）。通過試驗，獲得樣本。從而對 θ 的先驗分布進行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗分布 。后驗分布是三種信息的綜合。獲得后驗分布使人們對 θ 的認(rèn)識又前進一步，可看出，獲得樣本的的效果是把我們對 θ的認(rèn)識由 π （ θ ）調(diào)整到 。所以對 θ 的統(tǒng)計推斷就應(yīng)建立在后驗分布 的基礎(chǔ)上。 ),( 1 nxx ??? ),( 1 nxx ??? ,1 n 如果此時我們對事件 A的發(fā)生沒有任何了解，對 的大小也沒有任何信息。在這種情況下，貝葉斯建議用區(qū)間（ 0， 1）上的均勻分布作為的先驗分布。因為它在（ 0， 1）上每一點都是機會均等的。這個建議被后人稱為貝葉斯假設(shè)。 ?例 1 設(shè)事件 A的概率為 ， 即 。為了估計 而作 n次獨立觀察，其中事件出現(xiàn)次數(shù)為 X， 則有 X服從二項分布 即 ?? ?? ?)( A ),( ?nb .,1,0,)1()( nxCxXP xnxxn ????? ???? ??? ???oth ers,010,1)(?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1