【正文】 數(shù)理統(tǒng)計(jì)與隨機(jī)過程 第七章 主講教師：李學(xué)京 北京工業(yè)大學(xué)應(yīng)用數(shù)理學(xué)院 第七章 : 參數(shù)估計(jì) 數(shù)理統(tǒng)計(jì)的任務(wù)： ● 總體分布類型的判斷； ● 總體分布中未知參數(shù)的推斷 (參數(shù)估計(jì) 與 假設(shè)檢驗(yàn) )。 參數(shù)估計(jì)問題的一般提法 設(shè)總體 X 的分布函數(shù)為 F( x,θ )， 其中 θ為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣 ,得到樣本 X1, X2 , ? , Xn . 依樣本對(duì)參數(shù) θ做出估計(jì)， 或估計(jì)參數(shù) θ 的某個(gè)已知函數(shù) g(θ) 。 這類問題稱為參數(shù)估計(jì)。 參數(shù)估計(jì)包括： 點(diǎn)估計(jì) 和 區(qū)間估計(jì) 。 稱該計(jì)算值為 181。 的一個(gè)點(diǎn)估計(jì)。 為估計(jì)參數(shù) 181。，需要構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量 T( X1, X2 , ? , Xn )， 一旦當(dāng)有了樣本，就將樣本值代入到該統(tǒng)計(jì)量中，算出一個(gè)值作為 181。 的估計(jì)，尋求估計(jì)量的方法 1. 矩估計(jì)法 2. 極大似然法 3. 最小二乘法 4. 貝葉斯方法 ? 我們僅介紹前面的兩種參數(shù)估計(jì)法 。 其思想是 : 用同階、同類 的樣本矩來估計(jì)總體矩。 矩估計(jì)是基于“替換”思想建立起來的一種參數(shù)估計(jì)方法 。 最早由英國(guó)統(tǒng)計(jì)學(xué)家 K. 皮爾遜 提出。 167。 矩估計(jì) 矩估計(jì)就是用相應(yīng)的樣本矩去估計(jì)總體矩。 ),( kk XEak ?階原點(diǎn)矩總體,1 1???nikik XnAk 階原點(diǎn)距樣本],[ kk EXXEbk ）（階中心矩總體 ??,1 1kniik XXnBk ）（階中心距樣本 ?? ??設(shè)總體 X 的分布函數(shù)中含 k 個(gè)未知參數(shù) ., 21 k??? ?步驟一： 記總體 X 的 m 階原點(diǎn)矩 E(Xm)為 am , m = 1,2,? ,k. am(?1,?2,? ,?k), m =1, 2, ? , k. 一般地 , am (m = 1, 2, ? , K) 是總體分布中參數(shù)或參數(shù)向量 (?1, ?2, ? , ?k) 的函數(shù)。 故 , am (m=1, 2, ? , k) 應(yīng)記成 : 步驟二： 算出樣本的 m 階原點(diǎn)矩 .,2,1 ,11kmXnA nimim ?????步驟三： 令 得到 關(guān)于 ?1,?2,? ,?k 的方程組 (L≥k)。一般要求方程組 (1)中有 k 個(gè)獨(dú)立方程。 ( 1 ) .),(,),(,),(2122121211??????????LkLkkAaAaAa?????????????步驟四： 解方程組 (1), 并記其解為 .,2,1),(?? 21 kmXXX nmm ?? ?? ，?? ),( )?,?,?(? 2121的矩估計(jì)。就是則 kk ???????? ?? ?? 這種參數(shù)估計(jì)法稱為參數(shù)的矩估計(jì)法，簡(jiǎn)稱矩法。 解： 先求總體的期望 xxxXE d )1()( 10 ?? ??? ?.21 d )1(101????? ??????xx例 1： 設(shè)總體 X 的概率密度為 ??? ????. ,0,10 ,)1()(其他xxxf ??的矩估計(jì)。求為未知參數(shù)。其中 1 ???α由矩法，令 21?????X樣本矩 總體矩 解得 XX???112??為 α 的矩估計(jì)。 注意：要在參數(shù)上邊加上“ ^”， 表示參數(shù)的估計(jì)。它是統(tǒng)計(jì)量。 解 : 先求總體的均值和 2 階原點(diǎn)矩。 例 2： 設(shè) X1,X2,? Xn 是取自總體 X 的簡(jiǎn)單樣本 , X 有概率密度函數(shù) 的矩估計(jì)。求。為未知參數(shù)，其中其他 , 0 , . ,0 , ,1)( )(???????????????????xexfxxexXE x d 1)( )(? ? ????????yeyθ y d ) (0? ? ??? ?. ??? θxexXE x d 1)( )(22 ? ? ????????,)(22 d ) 2 ( d ) (2222022202??????????????????????????θθθyeyyθyeyθyy? 用樣本矩 估計(jì)總體矩 的矩估計(jì)。為參數(shù) , ? ,? ????????????????niiXnX1222 .1)(, ?????令得 ??????????????????????????. )(1?,)(11?1212122niiniiniiXXnXXXnXnXn??列出方程組 : ????????.)(),(, )(),(2222221???????XEaXEa?????????.1),(,),(122221niiXnaXa??????????????niiXnX1222 .1, ???即例 3： 設(shè)總體 X的均值為 ?，方差為 ?2， 求 ? 和?2 的 矩估計(jì)。 解： 由 故， 均值 ?,方差 ?2的矩估計(jì)為 ??????????.)(1?,?212 XXnXnii????????????nii XXnX122 )1?,?（??.1 2Snn ?即求解，得 如： 正態(tài)總體 N(? , ?2) 中 ? 和 ?2的矩估計(jì)為 ??????????.)1?,?122nii XXnX（??又如： 若總體 X～ U(a, b)，求 a, b的矩估計(jì)。 解： 列出方程組 ?????.?)( ,?)( 2??XDXE?????nii XXnX122 .)1?,? （其中 ??因 . 12)()( ,2)(2abXDbaXE ????解上述方程組，得到 a,b 的矩估計(jì) : ?????????.?12)(,2 22?abXba得.?3?,?3? ?? ???? XbXa. )1?12????nii XXn （其中 ? 矩估計(jì)的 優(yōu)點(diǎn)是： 簡(jiǎn)單易行 , 不需要事先知道總體是什么分布。 缺點(diǎn)是： 當(dāng)總體的分布類型已知時(shí) ， 未充分利用分布所提供的信息 ； 此外 ， 一般情形下 ， 矩估計(jì)不具有唯一性 。 167。 極大似然估計(jì) 極大似然估計(jì)法是在總體的分布類型已知前提下，使用的一種參數(shù)估計(jì)法 。 該方法首先由德國(guó)數(shù)學(xué)家 高斯 于 1821年提出，其后英國(guó)統(tǒng)計(jì)學(xué)家 費(fèi)歇 于 1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質(zhì)，并給出了求參數(shù)極大似然估計(jì)一般方法 —— 極大似然估計(jì)原理 。 I. 極大似然估計(jì)原理 設(shè)總體 X 的分布 (連續(xù)型時(shí)為概率密度，離散型時(shí)為概率分布 ) 為 f(x, θ) , X1, X2, ? , Xn 是抽自總體 X 的簡(jiǎn)單樣本。于是，樣本的聯(lián)合概率函數(shù) (連續(xù)型時(shí)為聯(lián)合概率密度，離散型時(shí)為聯(lián)合概率分布 ) 為 . ),() ,(121 ???niin xfxxxL ??? 被看作固定， 但未知的參數(shù) 視為變量 將上式簡(jiǎn)記為 L(θ)，即 稱 L(θ)為 θ的似然函數(shù)。 ),(),(121 ???niin xfxxxL ???視為變量 視為固定值 , ),()(1???niixfL ??).(m a x)?( ?? ? LL ??? 假定我們觀測(cè)到一組樣本 X1, X2, ? , Xn，要去估計(jì)未知參數(shù) θ 。 稱 為 θ的極大似然估計(jì) (MLE)。 ?? 一種直觀的想法是：哪個(gè)參數(shù) (多個(gè)參數(shù)時(shí)是哪組參數(shù) ) 使得這組樣本出現(xiàn)的可能性 (概率 ) 最大，就用那個(gè)參數(shù) (或哪組參數(shù) ) 作為參數(shù)的估計(jì)。 這就是極大似然估計(jì)原理。 即，如果 θ可能變化空間 , 稱為參數(shù)空間。 (4). 在最大值點(diǎn)的表達(dá)式中，代入樣本值， 就得參數(shù) θ的極大似然估計(jì)。 II. 求極大似然估計(jì) (MLE)的一般步驟 (1). 由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù) (連 續(xù)型時(shí)為聯(lián)合概率密度 , 離散型時(shí)為聯(lián)合 概率分布 )； (2). 把樣本的聯(lián)合概率函數(shù)中的自變量看成 已知常數(shù)