【正文】 計原理 。 167。 解： 列出方程組 ?????.?)( ,?)( 2??XDXE?????nii XXnX122 .)1?,? （其中 ??因 . 12)()( ,2)(2abXDbaXE ????解上述方程組，得到 a,b 的矩估計 : ?????????.?12)(,2 22?abXba得.?3?,?3? ?? ???? XbXa. )1?12????nii XXn （其中 ? 矩估計的 優(yōu)點是： 簡單易行 , 不需要事先知道總體是什么分布。為參數(shù) , ? ,? ????????????????niiXnX1222 .1)(, ?????令得 ??????????????????????????. )(1?,)(11?1212122niiniiniiXXnXXXnXnXn??列出方程組 : ????????.)(),(, )(),(2222221???????XEaXEa?????????.1),(,),(122221niiXnaXa??????????????niiXnX1222 .1, ???即例 3： 設(shè)總體 X的均值為 ?，方差為 ?2， 求 ? 和?2 的 矩估計。求。 解 : 先求總體的均值和 2 階原點矩。 注意：要在參數(shù)上邊加上“ ^”， 表示參數(shù)的估計。求為未知參數(shù)。就是則 kk ???????? ?? ?? 這種參數(shù)估計法稱為參數(shù)的矩估計法，簡稱矩法。一般要求方程組 (1)中有 k 個獨立方程。 ),( kk XEak ?階原點矩總體,1 1???nikik XnAk 階原點距樣本],[ kk EXXEbk ）（階中心矩總體 ??,1 1kniik XXnBk ）（階中心距樣本 ?? ??設(shè)總體 X 的分布函數(shù)中含 k 個未知參數(shù) ., 21 k??? ?步驟一： 記總體 X 的 m 階原點矩 E(Xm)為 am , m = 1,2,? ,k. am(?1,?2,? ,?k), m =1, 2, ? , k. 一般地 , am (m = 1, 2, ? , K) 是總體分布中參數(shù)或參數(shù)向量 (?1, ?2, ? , ?k) 的函數(shù)。 167。 矩估計是基于“替換”思想建立起來的一種參數(shù)估計方法 。 的估計，尋求估計量的方法 1. 矩估計法 2. 極大似然法 3. 最小二乘法 4. 貝葉斯方法 ? 我們僅介紹前面的兩種參數(shù)估計法 。 為估計參數(shù) 181。 稱該計算值為 181。 這類問題稱為參數(shù)估計。數(shù)理統(tǒng)計與隨機過程 第七章 主講教師：李學京 北京工業(yè)大學應用數(shù)理學院 第七章 : 參數(shù)估計 數(shù)理統(tǒng)計的任務(wù)： ● 總體分布類型的判斷； ● 總體分布中未知參數(shù)的推斷 (參數(shù)估計 與 假設(shè)檢驗 )。 參數(shù)估計問題的一般提法 設(shè)總體 X 的分布函數(shù)為 F( x,θ )， 其中 θ為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣 ,得到樣本 X1, X2 , ? , Xn . 依樣本對參數(shù) θ做出估計， 或估計參數(shù) θ 的某個已知函數(shù) g(θ) 。 參數(shù)估計包括： 點估計 和 區(qū)間估計 。 的一個點估計。需要構(gòu)造適當?shù)慕y(tǒng)計量 T( X1, X2 , ? , Xn )， 一旦當有了樣本，就將樣本值代入到該統(tǒng)計量中，算出一個值作為 181。 其思想是 : 用同階、同類 的樣本矩來估計總體矩。 最早由英國統(tǒng)計學家 K. 皮爾遜 提出。 矩估計 矩估計就是用相應的樣本矩去估計總體矩。 故 , am (m=1, 2, ? , k) 應記成 : 步驟二： 算出樣本的 m 階原點矩 .,2,1 ,11kmXnA nimim ?????步驟三： 令 得到 關(guān)于 ?1,?2,? ,?k 的方程組 (L≥k)。 ( 1 ) .),(,),(,),(2122121211??????????LkLkkAaAaAa?????????????步驟四： 解方程組 (1), 并記其解為 .,2,1),(?? 21 kmXXX nmm ?? ?? ，?? ),( )?,?,?(? 2121的矩估計。 解： 先求總體的期望 xxxXE d )1()( 10 ?? ??? ?.21 d )1(101????? ??????xx例 1： 設(shè)總體 X 的概率密度為 ??? ????. ,0,10 ,)1()(其他xxxf ??的矩估計。其中 1 ???α由矩法，令 21?????X樣本矩 總體矩 解得 XX???112??為 α 的矩估計。它是統(tǒng)計量。 例 2： 設(shè) X1,X2,? Xn 是取自總體 X 的簡單樣本 , X 有概率密度函數(shù) 的矩估計。為未知參數(shù)，其中其他 , 0 , . ,0 , ,1)( )(???????????????????xexfxxexXE x d 1)( )(? ? ????????yeyθ y d ) (0? ? ??? ?. ??? θxexXE x d 1)( )(22 ? ? ????????,)(22 d ) 2 ( d ) (2222022202??????????????????????????θθθyeyyθyeyθyy? 用樣本矩 估計總體矩 的矩估計。 解： 由 故， 均值 ?,方差 ?2的矩估計為 ??????????.)(1?,?212 XXnXnii????????????nii XXnX122 )1?,?（??.1 2Snn ?即求解，得 如： 正態(tài)總體 N(? , ?2) 中 ? 和 ?2的矩估計為 ??????????.)1?,?122nii XXnX（??又如： 若總體 X～ U(a, b)，求 a, b的矩估計。 缺點是： 當總體的分布類型已知時 ， 未充分利用分布所提供的信息 ； 此外 ， 一般情形下 ， 矩估計不具有唯一性 。 極大似然估計 極大似然估計法是在總體的分布類型已知前提下，使用的一種參數(shù)估計法 。 I. 極大似然估計原理 設(shè)總體 X 的分布 (連續(xù)型時為概率密度，離散型時為概率分布 ) 為 f(x, θ) , X1, X2, ? , Xn 是抽自總體 X 的簡單樣本。 ),(),(121 ???niin xfxxxL ???視為變量 視為固定值 , ),()(1???niixfL ??).(m a x)?( ?? ? LL ??? 假定我們觀測到一組樣本 X1, X2, ? , Xn，要去估計未知參數(shù) θ 。 ?? 一種直觀的想法是：哪個參數(shù) (多個參數(shù)時是哪組參數(shù) ) 使得這組樣本出現(xiàn)的可能性 (概率 ) 最大，就用那個參數(shù) (或哪組參數(shù) ) 作為參數(shù)的估計。 即，如果 θ可能變化空間 , 稱為參數(shù)空間。 II. 求極大似然估計 (MLE)的一般步驟 (1). 由總體分布導出樣本的聯(lián)合概率函數(shù) (連 續(xù)型時為聯(lián)合概率密度 , 離散型時為聯(lián)合 概率分布 )； (2). 把樣本的聯(lián)合概率函數(shù)中的自變量看成 已知常數(shù) , 參數(shù) θ看成自變量 , 得到似然 函數(shù) L(θ)； (3). 求似然函數(shù) L(θ ) 的最大值點 (常常轉(zhuǎn)化 為求 ln L(θ)的最大值點 ) ，即 θ的 MLE。由于 ln(x) 是 x 的增函數(shù)，所以 ln L(θ) 與 L(θ) 在 θ的同一點處達到各自的最大值。通過求解似然方程 可以得到 θ 的 MLE。 若 θ是向量，上述似然方程需用似然方程組 ??????????????????0),(ln,0),(ln,0),(ln21221121kkkkLLL???????