【文章內(nèi)容簡介】 ? 對于一元線性回歸模型 , 假設(shè)從總體中獲取了 n組觀察值（ X1， Y1），（ X2， Y2）， ? ，（ Xn， Yn）。對于平面中的這 n個(gè)點(diǎn)，可以使用無數(shù)條曲線來擬合。要求樣本回歸函數(shù)盡可能好地?cái)M合這組值 . ? 描述這一標(biāo)準(zhǔn)最常用的是普通最小二乘法（ Ordinary Least Square， OLS）： 最小化圖中垂直方向的 剩余平方和確定樣本回歸函數(shù)。 ? 最小二乘法的原則是以“剩余平方和最小”確定直線位置。用最小二乘法除了計(jì)算比較方便外，得到的估計(jì)量還具有優(yōu)良特性。 ? ? 22 m i n m i niiYYe i ? ? ? ???(Xn , Yn) (X1 , Y1) ? ? ? ? ? ? ? ? ? (X2 , Y2) (Xi ,Yi) 最小二乘估計(jì)的圖示 x y ei = YiYi ＾ 12? ??iiYX????二 .普通最小二乘法 （Ｏ rdinary Least Squares ） ? 對于一元線性回歸模型 , 假設(shè)從總體中獲取了 n組觀察值（ X1， Y1），（ X2， Y2）， ? ，（ Xn， Yn）。對于平面中的這 n個(gè)點(diǎn)，可以使用無數(shù)條曲線來擬合。要求樣本回歸函數(shù)盡可能好地?cái)M合這組值 . ? 描述這一標(biāo)準(zhǔn)最常用的是普通最小二乘法（ Ordinary Least Square， OLS）： 最小化圖中垂直方向的 剩余平方和確定樣本回歸函數(shù)。 ? 最小二乘法的原則是以“剩余平方和最小”確定直線位置。用最小二乘法除了計(jì)算比較方便外，得到的估計(jì)量還具有優(yōu)良特性。 ? ? 22 m i n m i niiYYe i ? ? ? ???數(shù)學(xué)推證 ? ? 22 ? ?m in m in12e YXiii ??? ? ? ? ???? ?? ?? ?? ?2? ?2 0 .. .( 1 )12?12? ?2 0 .. .( 2 )12?2eiYXiieiY X Xi i i???????? ??? ? ? ? ??? ???? ? ?? ? ? ? ? ?????12? ??i i i i iY Y Y Xe ??? ? ? ? ? 正規(guī)方程和估計(jì)式 用克萊姆法則求解得觀測值形式的 OLS估計(jì)式： 取偏導(dǎo)數(shù)為 0，得正規(guī)方程 12? ?iiY n X??????212? ?i i i iX Y X X????? ? ?_ _ _ _^2 __2( ) ( )()iiiX X Y YXX???????XY 2__1^ ??? ?? 為表達(dá)得更簡潔，或者用離差形式 OLS估計(jì)式 ： 注意 其中： ???? ?????22______2^)())((iiiiiixyxXXYYXX?XY 2__1^ ??? ??XXx ii ??YYy ii ??用離差表現(xiàn)的 OLS估計(jì)式 ? 例 序號(hào) iX ( 可支配收入 ) iY( 消費(fèi)支出 ) iix X X?? iiy Y Y?? iixy 2ix 1 2 3 4 5 6 7 8 9 10 2022 2500 3000 3500 4000 4500 5000 5500 6000 6500 1548 1814 2179 2485 266 5 3050 3321 3650 4087 4265 合計(jì) 42500 29064 平均 4250 ^ 2 2 12653000 0 . 6 1 3 4 820625000iiixyx? ? ? ???__^1 2? 2 9 0 6 .4 0 .6 1 3 4 8 4 2 5 0 2 9 9 .1 1YX?? ? ? ? ? ? ?^299 .11 134 8i iYX??樣本回歸函數(shù) 三 .OLS回歸線的性質(zhì) 可以證明 ：書上 P33 ● 回歸線通過樣本均值 ●估計(jì)值 的均值等于實(shí) 際觀測值 的均值 XYXYiY?iY12? ?YX?????iY Yn?? ● 剩余項(xiàng) 的均值為零 ●應(yīng)變量估計(jì)值 與剩余項(xiàng) 不 相關(guān) ● 解釋變量 與剩余項(xiàng) 不相關(guān) ie0?? ?nee i?C o v ( , ) 0iiYe ??iYieieiXC ov ( , ) 0iiXe ? 四、 OLS估計(jì)式的統(tǒng)計(jì)性質(zhì) ● 由 OLS估計(jì)式可以看出 由可觀測的樣本值 和 唯一表示。 ● 因存在抽樣波動(dòng)， OLS估計(jì) 是隨機(jī)變量 ● OLS估計(jì)式是點(diǎn)估計(jì)式 iYiX21 22?()i i i i iiiX Y X X Yn X X? ???? ? ? ???2 22?()i i i iiin X Y X Yn X X? ???? ? ???k??k?? 當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 一個(gè)用于考察總體的估計(jì)量，可從如下幾個(gè)方面考察其優(yōu)劣性： （ 1）線性性 ，即它是否是另一隨機(jī)變量的線性函數(shù)； （ 2）無偏性 ，即它的均值或期望值是否等于總體的真實(shí)值； （ 3）有效性 ，即它是否在所有線性無偏估計(jì)量中具有最小方差。 ? 這三個(gè)準(zhǔn)則也稱作估計(jì)量的 小樣本性質(zhì)。 擁有這類性質(zhì)的估計(jì)量稱為 最佳線性無偏估計(jì)量 （ best liner unbiased estimator, BLUE）。 1. 線性特征 是 的線性函數(shù) 2. 無偏特性 （ 證明見教材 P38） 3. 最小方差特性 （ 證明見教材 P68附錄 21） 在所有的線性無偏估計(jì)中 ， OLS估計(jì) 具有最小方差 結(jié)論：在古典假定條件下 ,OLS估計(jì)式是最佳線性無 偏估計(jì)式 （ BLUE） k??OLS估計(jì)式的統(tǒng)計(jì)性質(zhì) ——高斯定理 kkE ?? ?)?(^2 22( ) ( )()i i i iiiX X Y Y x yX X x?????????? 2iiixkx? ?k??Y iikY??2122 2221 2? ?1?()?()iiiVa rxXVa rnx???????????參 數(shù) 估 計(jì) 量 ， 的 方 差 分 別 為 ：2221 2?()?()iiiSExXSEnx?????????2 2 2 2 22 2 2 2 2 2 2 2? ? ? ?( ) [ ( ) ] ( ) ( ) ( ) [ ]iii i i iixuV a r E E E E k u E k u Ex? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?????結(jié)論： ? 高斯 馬爾可夫定理：在古典假定條件下，用 OLS法得到的估計(jì)量就具有最佳線性無偏性。估計(jì)量稱最佳線性無偏估計(jì)量。最佳線性無偏估計(jì)特性保證估計(jì)值最大限度的集中在真值周圍，估計(jì)值的置信區(qū)間最小。 第三節(jié) 擬合優(yōu)度的度量 本節(jié)基本內(nèi)容 : ● 什么是擬合優(yōu)度 ● 總變差的分解 ● 可決系數(shù) 說 明 ? 回歸分析 是要通過樣本所估計(jì)的參數(shù)來代替總體的真實(shí)參數(shù)，或者說是用樣本回歸線代替總體回歸線。 ? 盡管從 統(tǒng)計(jì)性質(zhì) 上已知，如果有足夠多的重復(fù) 抽樣，參數(shù)的估計(jì)值的期望（均值）就等于其總體的參數(shù)真值，但在一次抽樣中，估計(jì)值不一定就等于該真值。 ? 那么，在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行 統(tǒng)計(jì)檢驗(yàn) 。 ? 主要包括 擬合優(yōu)度檢驗(yàn) 、變量的 顯著性檢驗(yàn)及參數(shù)的 區(qū)間估計(jì) 。 一 .什么是擬合優(yōu)度 ? 概念 ： 樣本回歸線是對樣本數(shù)據(jù) 的一種擬合 ， 不同估計(jì)方 法可擬合出不同的回歸線 ， 擬合的回歸線與樣本觀測 值總有偏離 。 樣本回歸線對樣本觀測數(shù)據(jù)擬合的優(yōu)劣程度 —— 擬合優(yōu)度 擬合優(yōu)度的度量建立在對總變差分解的基礎(chǔ)上 ?????????XYiY?i(Y Y )SRF^i(Y Y )iXY變差分解的圖示 YX?i i( Y Y )二 .總變差的分解 ^^ )()(iiii YYYYYY ?????Y 的觀測值、估計(jì)值與平均值的關(guān)系 將上式兩邊平方加總，可證得 （ TSS） （ ESS） （ RSS） ^^ )()(iiii YYYYYY ?????^^2 2 2( ) ( ) ( )ii i iY Y Y Y Y Y? ? ? ? ?? ? ?^2 2 2( ) ( ) ( )iiiy y e?????iY?i(Y Y)SRF^ i(Y Y )iXYYX?i i(Y Y ) 總變差 （ TSS）：應(yīng)變量 Y的觀測值與其平均值的離差平方和（總平方和） 回歸平方和 （ ESS）：應(yīng)變量 Y 的估計(jì)值與其平均值的離差平方和（解釋了的變差） 剩余平方和 （ RSS）：應(yīng)變量觀測值與估計(jì)值之差的平方和 （未解釋的平方和） 22()iiY Y y????^ 22 ?()iiY Y y????^ 22()iiiY Y e????iY?i(Y Y)SRF^ i(Y Y)iXYYX?i i(Y Y )iY