(備用)貝葉斯方法(估計(jì)_推斷_決策)(已修改)
2025-03-06 15:16 本頁(yè)面
【正文】 第一節(jié) 貝葉斯推斷方法 第二節(jié) 貝葉斯決策方法 第十一章 貝葉斯估計(jì) 第一節(jié) 貝葉斯推斷方法 一 、統(tǒng)計(jì)推斷中可用的三種信息 美籍波蘭統(tǒng)計(jì)學(xué)家耐曼 (－ 1981) 高度概括了在統(tǒng)計(jì)推斷中可用的三種信息： 1． 總體信息 ，即總體分布或所屬分布族給我們的信息。譬如“總體視察指數(shù)分布”或“總體是正態(tài)分布”在統(tǒng)計(jì)推斷中都發(fā)揮重要作用，只要有總體信息，就要想方設(shè)法在統(tǒng)計(jì)推斷中使用 2．樣本信息 ，即樣本提供我們的信息，這是任一種統(tǒng)計(jì)推斷中都需要 3． 先驗(yàn)信息 ， 即在抽樣之前有關(guān)統(tǒng)計(jì)推斷的一些信息 。 譬如 ， 在估計(jì)某產(chǎn)品的不合格率時(shí) ， 假如工廠保存了過去抽檢這種產(chǎn)品質(zhì)量的資料 ， 這些資料 （ 包括歷史數(shù)據(jù) ） 有時(shí)估計(jì)該產(chǎn)品的不合格率是有好處的 。這些資料所提供的信息就是一種先驗(yàn)信息 。 又如某工程師根據(jù)自己多年積累的經(jīng)驗(yàn)對(duì)正在設(shè)計(jì)的某種彩電的平均壽命所提供的估計(jì)也是一種先驗(yàn)信息 。 由于這種信息是在 “ 試驗(yàn)之前 ” 就已有的 ， 故稱為先驗(yàn)信息 。 以前所討論的點(diǎn)估計(jì)只使用前兩種信息，沒有使用先驗(yàn)信息。假如能把收集到的先驗(yàn)信息也利用起來(lái)，那對(duì)我們進(jìn)行統(tǒng)計(jì)推斷是有好處的。只用前兩種信息的統(tǒng)計(jì)學(xué)稱為經(jīng)典統(tǒng)計(jì)學(xué)，三種信息都用的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。本節(jié)將簡(jiǎn)要介紹貝葉斯統(tǒng)計(jì)學(xué)中的點(diǎn)估計(jì)方法。 二、貝葉斯公式的密度函數(shù)形式 貝葉斯統(tǒng)計(jì)學(xué)的基礎(chǔ)是著名的貝葉斯公式 ， 它是英國(guó)學(xué)者貝葉斯 （ ~1761） 在他死后二年發(fā)表的一篇論文 《 論歸納推理的一種方法 》 中提出的 。 經(jīng)過二百年的研究與應(yīng)用 ， 貝葉斯的統(tǒng)計(jì)思想得到很大的發(fā)展 ， 目前已形成一個(gè)統(tǒng)計(jì)學(xué)派 — 貝葉斯學(xué)派 。 為了紀(jì)念他 ， 英國(guó)歷史最悠久的統(tǒng)計(jì)雜志 《 Biometrika》 在 1958年又全文刊登貝葉斯的這篇論文 。 初等概率論中的貝葉斯公式是用事件的概率形式給出的?？稍谪惾~斯統(tǒng)計(jì)學(xué)中應(yīng)用更多的是貝葉斯公式的密度函數(shù)形式。下面結(jié)合貝葉斯統(tǒng)計(jì)學(xué)的基本觀點(diǎn)來(lái)引出其密度函數(shù)形式。貝葉斯統(tǒng)計(jì)學(xué)的基本觀點(diǎn)可以用下面三個(gè)觀點(diǎn)歸納出來(lái)。 假設(shè) Ⅰ 隨機(jī)變量 X有一個(gè)密度函數(shù) p（ x； θ ），其中 θ 是一個(gè)參數(shù)，不同的 θ 對(duì)應(yīng)不同的密度函數(shù)，故從貝葉斯觀點(diǎn)看， p（ x； θ ）是在給定后θ 是個(gè)條件密度函數(shù)，因此記為 p（ x│ θ ）更恰當(dāng)一些。這個(gè)條件密度能提供我們的有關(guān)的 θ 信息就是總體信息。 假設(shè) Ⅱ 當(dāng)給定 θ 后，從總體 p（ x│ θ ）中隨機(jī)抽取一個(gè)樣本 ,該樣本中含有 θ 的有關(guān)信息。這種信息就是樣本信息。 假設(shè) Ⅲ 我們對(duì)參數(shù) θ 已經(jīng)積累了很多資料，經(jīng)過分析、整理和加工，可以獲得一些有關(guān) θ 的有用信息，這種信息就是先驗(yàn)信息。參數(shù) θ 不是永遠(yuǎn)固定在一個(gè)值上，而是一個(gè)事先不能確定的量。從貝葉斯觀點(diǎn)來(lái)看，未知參數(shù) θ 是一個(gè)隨機(jī)變量。而描述這個(gè)隨機(jī)變量的分布可從先驗(yàn)信息中歸納出來(lái)，這個(gè)分布稱為先驗(yàn)分布，其密度函數(shù)用 π （ θ ）表示。 1 , nXX??? 1 先驗(yàn)分布 定義 將總體中的未知參數(shù) θ ∈ Θ看成一取值于 Θ的隨機(jī)變量，它有一概率分布，記為 π（ θ ），稱為參數(shù) θ 的先驗(yàn)分布。 2 后驗(yàn)分布 在貝葉斯統(tǒng)計(jì)學(xué)中，把以上的三種信息歸納起來(lái)的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1， ? ， Xn，和參數(shù)的聯(lián)合密度函數(shù) )(),(),( 11 ???? nn xxpxxp ?? ?在這個(gè)聯(lián)合密度函數(shù)中。當(dāng)樣本 給定之后，未知的僅是參數(shù) θ 了，我們關(guān)心的是樣本給定后， θ 的條件密度函數(shù)，依據(jù)密度的計(jì)算公式，容易獲得這個(gè)條件密度函數(shù) nXX ,1 ? ?????????????dxxpxxpxxpxxpxxnnnnn)(),()(),(),(),(),(11111?????這就是貝葉斯公式的密度函數(shù)形式，其中 稱為 θ 的后驗(yàn)密度函數(shù)，或 后驗(yàn)分布。而 ),( 1 nxx ??? ?? ???? dxxpxxp nn )(),(),( 11 ?? 是樣本的邊際分布，或稱樣本 的無(wú)條件分布，它的積分區(qū)域就是參數(shù) θ 的取值范圍，隨具體情況而定。 nXX ,1 ?前面的分析總結(jié)如下：人們根據(jù)先驗(yàn)信息對(duì)參數(shù) θ已有一個(gè)認(rèn)識(shí)，這個(gè)認(rèn)識(shí)就是先驗(yàn)分布 π （ θ ）。通過試驗(yàn)，獲得樣本。從而對(duì) θ 的先驗(yàn)分布進(jìn)行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗(yàn)分布 。后驗(yàn)分布是三種信息的綜合。獲得后驗(yàn)分布使人們對(duì) θ 的認(rèn)識(shí)又前進(jìn)一步，可看出，獲得樣本的的效果是把我們對(duì) θ的認(rèn)識(shí)由 π （ θ ）調(diào)整到 。所以對(duì) θ 的統(tǒng)計(jì)推斷就應(yīng)建立在后驗(yàn)分布 的基礎(chǔ)上。 ),( 1 nxx ??? ),( 1 nxx ??? ,1 n 如果此時(shí)我們對(duì)事件 A的發(fā)生沒有任何了解，對(duì) 的大小也沒有任何信息。在這種情況下，貝葉斯建議用區(qū)間（ 0， 1）上的均勻分布作為的先驗(yàn)分布。因?yàn)樗冢?0， 1）上每一點(diǎn)都是機(jī)會(huì)均等的。這個(gè)建議被后人稱為貝葉斯假設(shè)。 ?例 1 設(shè)事件 A的概率為 ， 即 。為了估計(jì) 而作 n次獨(dú)立觀察，其中事件出現(xiàn)次數(shù)為 X， 則有 X服從二項(xiàng)分布 即 ?? ?? ?)( A ),( ?nb .,1,0,)1()( nxCxXP xnxxn ????? ???? ??? ???oth ers,010,1)(?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1