【正文】 參數(shù)估計的任務(wù)、kj、j?? 普通最小二乘估計 ? 在滿足線性回歸模型的基本假設(shè)的情況下，多元線性回歸模型可以采用普通最小二乘法估計參數(shù)。 隨機抽取被解釋變量和解釋變量的 n 組樣本觀測值： kjniXY jii ?? ,2,1,0,2,1),( ??如果模型的參數(shù)估計值已經(jīng)得到，則有： Ki ki i i i X X X Y ? ? ? ? ? ? ? ? ? 2 2 1 1 0 ? ? ? ? ? ? i=1,2, … ,n 根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是下列方程組的解： ?? ??? ??? ??? ?????0120000k?????????????????? ( 2 . 3 . 4 )其中 2112)?(???????niiiniiYYeQ 2122110))????((????????nikikiiiYYYY ???? ? ( 2 . 3 . 5 )于是，得到關(guān)于待估參數(shù)估計值的 正規(guī)方程組 ： ?????????????????????????????????????kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)????()????()????()????(221102222110112211022110????????????????????? ( 2 . 3 . 6 ) 解該 （ k + 1 ）個方程組成的線性代數(shù)方程組，即可得到( k + 1 ) 個待估參數(shù)的估計值 ? , , , , ,? j j k? 0 1 2 ? 。最簡單的多元線性回歸模型是二元線性回歸模型。二元線性回歸模型的一般形式為：iiiiuXXY ????22110??? （ i =1 ， 2 ，?， n ）其參數(shù)的最小二乘估計量如下： ? ?? ? ?? ? ? ????22122212122211?xxxxxxyxxyx? ? ?2211022122212112122????XXYxxxxxxyxxyx??????????? ? ?? ? ? ?1?、 2?稱偏回歸系數(shù)。1??的數(shù)值結(jié)果表明，當 2X保持不變時，1X每增加 1 個單位， Y 平均增加 1??個單位；2??的數(shù)值結(jié)果表明，當 1X保持不變時，2X每增加 1 個單位， Y 平均增加2??個單位。Back 由矩陣推導(dǎo)求參數(shù)值 ?????????????????????????????????????????????????????????????????????????????XYxxxxxxxxxyyynnkkknknnnkknn即：1211)1(210)1(212221212111121111????????????? XY ?eXYeeexxxxxxxxxyyynnkkknknnnkknn????????????????????????????????????????????????????????????????????????????????1111211)1(210)1(212221212111121即：或者??????????則上式可寫成：、得到參數(shù)估計值如果根據(jù)實際數(shù)據(jù)已經(jīng) ,??? 10 k??? ? 按最小二乘原則：)?()?(),()?(39。39。21211212?? XYXYeeeeeeeeeyyQnnniiniii?????????????????????? ??????離差平方和為：0)?()?(?? 39。 ????????????XYXYQ0)?()?(?? 39。 ???????? ????XYXYQ0)?)(?(? 39。39。39。 ????? ???XYXY0)????(? 39。39。39。39。39。39。 ?????? ?????XXXYYXYY0)???2(? 39。39。39。39。 ????? ????XXXYYY(1 (k+1))((k+1) n)(n 1) (1 n)(n (k+1))((k+1) 1) ? 復(fù)習(xí)： AXXAXX 39。39。2)( ???AXX AXX 2)( 39。39。???WAXW A X ??? )(AXWW A X ??? )(0)???2(? 39。39。39。39。 ????? ????XXXYYY0?22 39。39。39。 ??? XXXY ?XYXX 39。39。39。? ??YXXX 39。39。 ? ??YXXX 39。139。 )(? ????????????????????????????????????????????????? ???????kjeXeeeeXXXXXXeXeXXXXXYXXX、iijiinknkkneXY,2,1,0001110???221211121139。39。39。39。?39。39。?????????????乘估計離差形式的普通最小二??????????????????????????????????????????????????????????????????????????????????????????????????????????kknkknnnkknikikiiiikkikiiikkkkikikiiiXXXYyxxxeeeexxxxxxxxxxyyyyexyniexxxynieXXXXXXYYXXXYeXXXYnieXXXY????????????????????????????????)(?:,????,?,2,1,???,2,1,)(?)(?)(?????????,2,1,????2211039。139。2121212221212111212211222111221102211022110??????????????????二乘估計結(jié)果離差形式的參數(shù)的最小其中即即則]0[ ?? ie? 關(guān)于隨機干擾項 μ： 0)( ??E111)?(1?39。12122?????????????????kneekneknyyknQniiniii?)(四、參數(shù)估計量的性質(zhì) 線性性 CYYXXX ?? ? 39。139。 )(??無偏性 ?? ?)?(E即：))(()?( 39。139。 YXXXEBE ??證明：))()(( 39。139。 ?? ?? ? XXXXE))()(( 39。139。39。139。 ?? XXXXXXXE ?? ??))(( 39。139。 ?? XXXE ???)()( 39。139。 ?? EXXX ????? )(有效性：即方差最小性。 YXXX 39。139。 )(? ???　證明：　 ?)()( 39。139。 ?? ?? ? XXXX?? 39。139。 )( XXX ?????? 39。139。 )(? XXX ???即：239。 ))(()()( ???? EEV a r ??又　　0)(I 39。2 ?? ??? EI)( 239。 ??? ?E即：　的協(xié)方差矩陣定義為：B????????????????)?v a r ()?,?c o v ()?,?c o v ()?,?c o v ()?v a r ()?,?c o v ()?,?c o v ()?,?c o v ()?v a r ()?(1011010100kkkkkC o v???????????????????????39。))?(?))(?(?( ???? EEE ???39。))?(?) ) (?(?()?( ????? EEEC o v ????39。)?)(?( ???? ??? E39。39。139。39。139。 )))(()(( ?? XXXXXXE ???))()(( 139。39。39。139。 ??? XXXXXXE ??139。39。39。139。 )()()( ??? XXXEXXX ??139。239。139。 )()( ??? XXIXXXX ?139。39。139。2 )()( ??? XXXXXX?139。2 )( ?? XX?估計量中方差最小的。，上述方差是所有無偏椐高斯－馬爾可夫定理)(五、樣本容量問題 最小樣本容量 YXXX 39。139。 )(? ???　由于必須存在，則要得出參數(shù)估計值 139。 )X(? ?X?為滿秩矩陣。，也就是則要求 XX 39。39。 X0X ?)1(212221212111111?????????????????knknnnkkxxxxxxxxxX???????由于的滿秩矩陣。應(yīng)為那么， ))1()1((X 39。 ??? kkX))(),(m i n ()( 39。39。 XRXRXXR ?而)(1 XRk ??即）矩陣，是（ )1( ?? knX?可能的。時才是的條件，只有在要滿足 11)( ????? knkXR1)( ?? kXR亦即。的解釋變量的數(shù)目數(shù)項在內(nèi)必須不少于模型包括常最小樣本容量即)1(:?kn滿足基本要求的樣本容量 （ 1）當 n＜ k+1時，不能得出參數(shù)估計量； （ 2）當 n≥k+1時，可以得出參數(shù)估計量；但問題是 :① 參數(shù)估計質(zhì)量不高 ②統(tǒng)計檢驗沒法進行 （ 3）滿足基本要求的樣本容量： 一般經(jīng)驗認為： n≥30 ， 或者 n≥3（ k+1） 六 參數(shù)估計實例 例： 年份 消費總額 國內(nèi)生產(chǎn)總值