【正文】 差、均值都不相同，分布函數(shù)的形式也不同。 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 26 P ( y | x ) o y x2 x3 x4 x X1 家庭消費(fèi)支出 Y是家庭收入 X的條件概率函數(shù) P(Y |Xi)。 這個概率函數(shù)有三個明顯特征： ? 對于不同的 X，條件概率 P(Y|Xi)的分布函數(shù)形式不同 ? 對于不同的 X，條件概率 P(Y|Xi)的方差不同 ? 對于不同的 X，條件概率 P(Y|Xi)的均值 E(Y)一般不在同一條直線上 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 27 對于這樣的概率函數(shù)進(jìn)行數(shù)學(xué)分析是非常困難的，目前還沒有較好的解決辦法。為了簡化數(shù)學(xué)分析，通常對實(shí)際情況進(jìn)行抽象，做一些假設(shè)： 1) 假設(shè)概率函數(shù) P(Y|X)的分布函數(shù)形式相同。 例如服從正態(tài)分布； 2) 假設(shè)概率函數(shù) P(Y|X)的分布函數(shù)的方差相同，均為常數(shù) ?u2，即 Var(Yi)=Var(ui)= ?u2，i=1,2, ……, n 3) 對于不同的 X， Y的均值 E(Y)在同一條直線上。即 E(Yi)= ?0+?1Xi ， i=1,2, ……, n 這個假設(shè)是滿足一元線性回歸要求的。 滿足這些假設(shè)條件的 Y的概率分布函數(shù)如圖所示。 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 28 P( Y | X ) o Y x 2 x 3 x 4 X i i X Y E 1 0 ) ( ? ? ? ? X 1 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 29 1） 重復(fù)抽樣中 ， 解釋變量 是一組固定的值或 雖然是隨機(jī)的 ， 但與干擾項 獨(dú)立； iXiu一、 對變量和模型的假定 2） 無測量誤差； iX3） 模型設(shè)定正確 （ 不存在設(shè)定誤差 ） 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 30 假定 1： 隨機(jī)誤差項 ui的數(shù)學(xué)期望（均值）為 0，即 0)( ?iuE 01()iiE Y X????二 、 對隨機(jī)擾動項 （ 或分布 ） 的假定 iu iY01P R F : iiYX????中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 31 假定 2：隨機(jī)誤差項 ui的方差與 i無關(guān)，為一個常數(shù)，又稱為同方差性。 2)( ??iuV a r 2)( ??iYV a rVar(ui)= E(ui－ E(ui))2 = E(ui2) = ?u2 , i=1,2, ……, n 如果誤差項的方差不同，那么與其對應(yīng)的觀測值 Yi的可靠程度也不相同。 這會使參數(shù)的檢驗(yàn)和利用模型進(jìn)行預(yù)測復(fù)雜化。而滿足同方差假設(shè)，將使檢驗(yàn)和預(yù)測簡化。 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 32 假定 3：無自相關(guān)假定，即 0?），（ ji uuC o v 0),( ?ji YYC o v 表示不同的誤差項之間互相獨(dú)立，同時， 不同的被解釋變量在統(tǒng)計上也是互相獨(dú)立的。 Cov(ui, uj)= E(ui－ E(ui)) (uj－ E(uj)) = E(uiuj)=0 ， i≠j， i， j=1,2, ……, n 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 33 假定 4：擾動項與解釋變量之間不相關(guān)（相互獨(dú)立） 0),( ?ii XuC o vCov(ui, Xi)= E(ui－ E(ui)) (Xi－ E(Xi)) = E(ui (Xi－ E(Xi))=E(uiXi)－ E(ui)E(Xi) = E(uiXi) =0 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 34 ),0(~ 2?Nu i假定 5：隨機(jī)擾動項服從正態(tài)分布 201~iiY N X? ? ??（ ， ） 如果只利用 OLS進(jìn)行參數(shù)估計，不需要該假設(shè)。但是若要進(jìn)行假設(shè)檢驗(yàn)和預(yù)測，就必須知道總體 Yi的分布情況。 如果 Xi為非隨機(jī)變量，總體 Yi與誤差項 ui服從相同的分布， Yi與 ui之間只有均值 E(Yi)的差別。 根據(jù)中心極限定理，當(dāng)樣本容量趨于無窮大時，假定 5對于任何實(shí)際模型都是滿足的。 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 35 以上假定 1－ 4也稱為線性回歸模型的經(jīng)典假設(shè)或高斯（ Gauss）假設(shè)，滿足該假設(shè)的線性回歸模型，也稱為經(jīng)典線性回歸模型（ Classical Linear Regression Model, CLRM）。 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 36 模型的參數(shù)估計 參數(shù)估計 —— 最小二乘法（ OLS） 最小二乘估計量的性質(zhì) 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 37 X Y (Xn , Yn) (X1 , Y1) ? ? ? ? ? ? ? ? ? (X2 , Y2) (Xi , Yi) ｝ 一、最小二乘法（ OLS） 22 ?()i i ie Y Y? ? ? ?尋找 實(shí)際值與擬合值的 殘 差平方和為最小的回歸直線。 殘差平方和為： 01? ??iiYX?????i i ie Y Y??中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 38 2 2 201? ??( ) ( )i i i i ie Y Y Y X??? ? ? ? ? ? ? ?根據(jù)微積分中求極值的原理 2010() ? ?2 ( ) 0?iiie YX????? ? ? ? ? ? ??2011() ? ?2 ( ) 0?ii i ie Y X X????? ? ? ? ? ? ??0?? ie0?? ii Xe正規(guī)方程組 （ normal equations） 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 39 解方程組 得 截距項 ：當(dāng)解釋變量為零時，被解釋變量的取值； 0??斜率項 ：當(dāng)解釋變量每變動一個單位時，被解釋變量 平均 變動 個單位。 1??1??注：令 1 22?()i i i iiin X Y X Yn X X?? ? ? ??? ? ? 1 2( ) ( )?()()iiiX X Y YXX???????01? ?YX????01? ??iiYX????XXx ii ?? YYy ii ?? 1 2? iiixyx????或 01201? ?? ?iii i i iY n XX Y X X????? ? ? ?? ? ? ??OLS估計量的 離差形式（ deviation form） 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 40 YYy ii ?? ??0 1 0 1? ? ? ?? iiy X X? ? ? ?? ? ? ?（ ） （ ）11? ?? i i iy X X x??? ? ?（ ）樣本回歸函數(shù)可以記作： 01? ??iiYX????iii eYY ?? ?01? ?i i iY X e??? ? ?01? ??iiYX???? 1?? iiyx??定義： 右式稱為樣本回歸函數(shù)的離差形式 。 因此 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 41 例 : 討論 家庭收入 X對家庭消費(fèi)支出 Y的影響問題。如果通過調(diào)查得到一組數(shù)據(jù)：（百元） 1 8 64 2 12 11 144 132 3 20 13 400 260 4 30 22 900 660 5 40 21 1600 840 6 50 27 2500 1350 7 70 38 4900 2660 8 90 39 8100 3510 9 100 55 10000 6050 10 120 66 14400 7920 合計 540 43008 2X XYX Y中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 42 210 22 89 3. 6 54 0 29 9. 7 10 43 00 8 54 0? ? ?????01? ? 3 . 8 0 5YX??? ? ?? 3 . 8 0 5 0 . 4 8 4 5YX??1 2 2 2?()i i i i i ii i in X Y X Y x yn X X x? ? ? ? ? ???? ? ? ?中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 43 二、最小二乘估計量的性質(zhì) 當(dāng)模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 44 一個用于考察總體的估計量，可以從以下幾個方面考察其優(yōu)劣性： （ 1）線性性，即它是否是隨機(jī)變量 Yi 的線性函數(shù)； （ 2）無偏性，即它的均值或期望值是否等于總體的真實(shí)值； （ 3）有效性，即它是否在所有線性無偏估計量中具有最小方差。 這三個準(zhǔn)則也稱作估計量的 小樣本性質(zhì) 。擁有這類性質(zhì)的估計量稱為 最佳線性無偏估計量（ best liner unbiased estimator, BLUE）。 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 45 在給定經(jīng)典線性回歸的假定下 ， 最小二乘估計量是具有最小方差的線性無偏估計量 。 —— 高斯 — 馬爾可夫定理 (GaussMarkov theorem) 中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 46 1 2? iiixyx???? 2()iiix Y Yx???? 22i i iiix Y x Yxx??????2 0iiiix kkx ??令 ， （ 是 常 數(shù) 且 不 全 為 ） ，2iiix Yx???線性特性是指參數(shù)估計量 分別為觀測值 Yi 或擾動項 ui的線性組合 。 01? ???和（一）線性性 0)( ????????? XXXXx iii注：0。ik??且1? iikY? ??則2ii i iixk X Xx? ? ? ? 2()iiix x Xx????1?1 0 1? ()i i i i ik Y k X u? ? ?? ? ? ? ? ?01i i i i ik k X k u??? ? ? ? ? ?11? iiku??? ? ?故 亦 有 ：中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 47 01? ?YX???? 1i i iY X k Yn? ? ? ?1()iiXk Yn? ? ?1 , ( )i i iw X k wn??令 也 是 常 數(shù)0? iiwY? ??則0 0 1? ()i i i i iw Y w X u? ? ?? ? ? ? ? ?01i i i i iw w X w u??? ? ? ? ? ?00? iiwu??? ? ?故 亦 有 ：1()iiw X kn? ? ? ?且1 1 。iXk? ? ? ?1()i i i iw X X k Xn? ? ? ? 0。iiX X k X? ? ? ?中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 48 （二）無偏性 證： 0?E ?（ ）0()iiE w u?? ? ?00?()E ???11?()E ???證： 1?E ?（ ）1 iiE k u?? ? ?（ ）1 ()iik E u?? ? ?1??0 ()iiw E u?? ? ?0??中央財經(jīng)大學(xué)統(tǒng)計學(xué)院 邊雅靜 49 222) ( )iiiixxxx??? ??(（三）有效性（最小方差性） 先求 和 的方差 0?? 1?? 1?()V ar ? ? 22ix? ?證明： 211iiE k u??? ? ? ?（ ）22ik???2iiE k u??（ ）2222iixx??? ?()2222()iixx??