【文章內容簡介】 的原則求得參數(shù)估計量。 220111?( ) ( ( ) )nni i i iM i n Q Y Y Y X??? ? ? ? ???? 為什么取平方和？ 正規(guī)方程組 ? 該關于參數(shù)估計量的線性方程組稱為 正規(guī)方程組 （ normal equations）。 ????????0100??????????????????????0)??(0)??(1010iiiiiXXYXY????參數(shù)估計量 ? 求解正規(guī)方程組得到結構參數(shù)的普通最小二乘估計量 （ ordinary least squares estimators） 及其離差形式： ????????????????????????2212220)(?)(?iiiiiiiiiiiiiXXnXYXYnXXnXYXYX??? 分布參數(shù)的普通最小二乘估計量 ??????????XYxyxiii1021??????2?22?? ?ne i? “ 估計量 ” （ estimator）和 “ 估計值 ” (estimate)的區(qū)別 ? 如果給出的參數(shù)估計結果是由一個具體樣本資料計算出來的，它是一個 “ 估計值 ” ，或者“ 點估計 ” ，是參數(shù)估計量的一個具體數(shù)值； ? 如果把上式看成參數(shù)估計的一個表達式，那么，則是 Yi的函數(shù)，而 Yi是隨機變量，所以參數(shù)估計也是隨機變量，在這個角度上，稱之為 “ 估計量 ” 。 二、參數(shù)估計的最大似然法 (ML) 最大似然法 ? 最大似然法 (Maximum Likelihood,ML)，也稱最大或然法 ，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎。 ? 基本原理： 當從模型總體隨機抽取 n組樣本觀測值后，最合理的參數(shù)估計量應該使得從模型中抽取該 n組樣本觀測值的概率最大。 ? ML必須已知隨機項的分布。 估計步驟 ),??(~ 210 ??? ii XNY ?2102 )??(2121)( ii XYi eYP?????????),(),?,?( 21210 nYYYPL ???????21022)??(21)2(1 iinXYne??????????Yi的分布 Yi的概率函數(shù) Y的所有樣本觀測值的聯(lián)合概率 —似然函數(shù) 2102*)??(21)2l n ()l n (ii XYnLL????? ??????????????????????0)??(?0)??(?21012100iiiiXYXY??????????????????????????????????2212220)(?)(?iiiiiiiiiiiiiXXnXYXYnXXnXYXYX??對數(shù)似然函數(shù) 對數(shù)似然函數(shù)極大化的一階條件 結構參數(shù)的ML估計量 討論 ? 在滿足一系列基本假設的情況下，模型結構參數(shù)的 最大似然估計量 與 普通最小二乘估計量 是相同的。 ? 但是，分布參數(shù)的估計結果不同。 neML i??22?: ?2?:22?? ?neO L S i?三、最小二乘估計量的性質 概述 ? 當模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質。 ? 準則： – 線性性 (linear)，即它是否是另一隨機變量的線性函數(shù)； – 無偏性 (unbiased)，即它的均值或期望值是否等于總體的真實值； – 有效性 (efficient)，即它是否在所有線性無偏估計量中具有最小方差。 ? 這三個準則也稱作估計量的 小樣本性質 。 擁有這類性質的估計量稱為 最佳線性無偏估計量（ best liner unbiased estimator, BLUE） 。 ? 當不滿足小樣本性質時，需進一步考察估計量的 大樣本或漸近性質 (asymptotic properties)： – 漸近無偏性 ， 即樣本容量趨于無窮大時 ， 是否它的均值序列趨于總體真值； – 一致性 ， 即樣本容量趨于無窮大時 ， 它是否依概率收斂于總體的真值； – 漸近有效性 ， 即樣本容量趨于無窮大時 ， 是否它在所有的一致估計量中具有最小的漸近方差 。 高斯 — 馬爾可夫定理 (GaussMarkov theorem) ? 在給定經典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。 ? 下面分別對最小二乘估計量的線性性、無偏性和有效性進行證明，作為不熟悉的同學的自學內容。 ★ 2 、無偏性 ， 即估計量 0?? 、 1?? 的均值（期望）等于總體回歸參數(shù)真值 ? 0 與 ? 1 證： ? ? ? ? ???????? iiiiiiiiii kXkkXkYk ??????? 10101 )(?易知 02 ??? ??iii xxk ? ? 1ii Xk故 ??? iik ??? 11??? ????? 1111 )()()?( ?????? iiii EkkEE同樣地，容易得出 ? ? ????? 0000 )()()()?( ?????? iiii EwEwEE3 、有效性（最小方差性） ， 即在所有線性無偏估計量中，最小二乘估計量 0?? 、 1?? 具有最小方差。 ( 1 ) 先 求 0?? 與 1?? 的 方 差 ? ?? ????? )v a r ()v a r ()v a r ()?v a r ( 21021 iiiiiii kXkYk ??????? ? ??????????22222iiixxx ??? ?? ?????? 221020 )/1()v a r ()v a r ()?v a r ( ????? iiiiii kXnXwYw22222222 21121 ?? ????????????????????????????? ????????? ? ???iiiii xxXkXnnkXkXnn22222222221??? ????? ??????????? ??iiiii xnXxnXnxxXn（ 2）證明最小方差性 假設 *1?? 是其他估計方法得到的關于 ? 1 的線性無偏估計量： ?? iiYc*1??其中 ， ci=ki+di， di為不全為零的常數(shù) 則容易證明 )?v a r ()?v a r ( 1*1 ?? ?同理， 可 證 明 ? 0 的 最 小 二 乘 估 計 量 0?? 具 有 最 的 小 方 差 由于最小二乘估計量擁有一個 “ 好 ” 的估計量所應具備的小樣本特性，它自然也擁有大樣本特性 。 ???????????)/l i m ()/l i m ()l i m ()l i m ()l i m ()?l i m (212111nxPnxPxxPPkPPiiiiiiii???????1110),( ???? ?????XC o v四、參數(shù)估計量的概率分布及隨機干擾項方差的估計 參數(shù)估計量