【正文】 Yi=?1+?2Xi+ui(i=1,2,3… ,n) 假定 1：干擾項(xiàng)的均值為零。即， E(ui|Xi)=0 假定 2：同方差性或 ui的方差相等。即， Var(ui|Xi)=?2 假定 3：各個(gè)干擾項(xiàng)無自相關(guān)。即， Cov(ui, uj|Xi,Xj)=0 假定 4： ui和 Xi的協(xié)方差為零。即， Cov(ui,Xi)=E(uiXi)=0 假定 5：在重復(fù)抽樣中 X的值是固定的（非隨機(jī)） 假定 6：隨機(jī) 干擾項(xiàng)服從 0均值、同方差的正態(tài)分布。 即： ui ~N（ 0， ?2 ） 注：在實(shí)際建模時(shí)，除了假定 6以外，對模型是否滿足假定都要進(jìn)行檢驗(yàn)。對于假定 6，由中心極限定理，當(dāng)樣本趨于無窮大時(shí)，對于任何實(shí)際模型都是滿足的。 參數(shù)的 OLS估計(jì)（ ?和 ?2） 雙變量線性回歸模型的一般形式是 滿足： – E(ui|Xi)=0 – Var(ui|Xi)=?2 – Cov(ui, uj|Xi,Xj)=0 – Cov(ui,Xi) =0 ? 如果 X是確定的，則上述條件自然成立。 其中 i,j=1,2,3… ,n。 i≠j ),2 ,1( 21 niuXY iii ????? ??普通最小二乘法 （ OLS） ),2 ,1( :P R F 21 niuXY iii ????? ?? iiiii uYuXY ? ? ??? :S R F 21 ????? ??22122121)]??([m i n?m i n?,?m i n s q u a r el e a s t o r d i n a r y :OL S)??(?? ???????????iiiiiiiiXYu)f(XYYYu??????求解：樣本點(diǎn)的圖示 0204060801000 20 40 60 80 100家庭收入家庭支出正規(guī)方程（ Normal equation） ( 2 ) ??( 1 ) ??得到的方程 組0)()]??([2?f0)1()]??([2?f22121212211???????????????????????????????????iiiiiiiiiiiXXXYXnYXXYXY??????????整理得：稱為正規(guī)方程組由）（此即令 R SSfunii )?,?(?1012 ????? ? 的估計(jì) XYXnYnYYyXXxxxy)X(X)Y(Y)X(X)X(XnXYXYniiiiiiiiiiiiiiiiii22122222221?1?1?1? YXYX???1???????????????????????? ???????? ??）得代入正規(guī)方程（的離差。將用小寫字母表示對均值。；定義離差：的樣本均值和是和其中的估計(jì)值和解上述正規(guī)方程組得到、公式：?其中， 小寫字母表示對均值的離差。 或者， 也可用字母上加一點(diǎn)來表示 離差。 ?OLS估計(jì)量可以由觀測值計(jì)算 ?OLS估計(jì)量是點(diǎn)估計(jì)量 ?一旦從樣本數(shù)據(jù)取得 OLS估計(jì)值，就可以畫出樣本回歸線 OLS估計(jì)量的說明 注意 “ 帽子 ” 的含義 的估計(jì)，；是對 )|(? ii iXYEY的估計(jì)；是對 11? ??是總體隨機(jī)擾動項(xiàng)。是樣本殘差，而 ii uu??通過 Y和 X的樣本均值 ?Y的估計(jì)值的均值等于實(shí)測值的均值 ?殘差的均值為 0 ?殘差與 Y的估計(jì)值不相關(guān) ?殘差與 Xi不相關(guān) 樣本回歸線的性質(zhì) 樣本回歸線的性質(zhì) 1 n ??)1(X??YXY 12121即可。兩邊同時(shí)除以證明：由正規(guī)方程式的樣本均值和通過：性質(zhì)?? ????iiXnY ????樣本回歸線的 性質(zhì) 2 ?(? ?? ??? ?YY 222221YY)XXβY Xβ)XβY( XββYYYiiii????????兩邊取均值得證明：即：的均值的均值等于實(shí)測的估計(jì)的：性質(zhì)樣本回歸線的 性質(zhì) 3 0?0?0)]??([ 0)1()]??([2?f( 1 ) 0?0? 321211??????????????????uuXYXYuuiiiiii因此，得到由正規(guī)方程式證明：即：的均值等于殘差：性質(zhì)?????0??)?( ??)?(?0??????)?(??0??,)?(? :4222222222222222?????????????????????????????iiiiiiiiiiiiiiiiiiiiiiiiixxxyxxyxxyxuxuYuyuYyuYuYYYu????????由于證明：即值不相關(guān)和預(yù)測的殘差性質(zhì)樣本回歸線的 性質(zhì) 4 0)?( ?0)?(???)(?0?,? :522222??????????????????????iiiiiiiiiiiiiiiiiiiixyxxyxxyxuXuxuXxuXuXXu???由于證明：即不相關(guān)和殘差性質(zhì)樣本回歸線的 性質(zhì) 5 參數(shù) OLS估計(jì)量 的統(tǒng)計(jì)性質(zhì) 當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 一個(gè)用于考察總體的估計(jì)量，可從如下幾個(gè)方面考察其優(yōu)劣性： （ 1）線性性 ，即它是否是另一隨機(jī)變量的線性函數(shù)； （ 2）無偏性 ，即它的均值或期望值是否等于總體的真實(shí)值； （ 3）有效性 ，即它是否在所有線性無偏估計(jì)量中具有最小方差。 這三個(gè)準(zhǔn)則也稱作估計(jì)量的 小樣本性質(zhì)。 擁有這類性質(zhì)的估計(jì)量稱為 最佳線性無偏估計(jì)量（ best liner unbiased estimator, BLUE）。 （ 4） 漸近無偏性 ， 即樣本容量趨于無窮大時(shí) ， 是否它的均值序列趨于總體真值； （ 5） 一致性 ， 即樣本容量趨于無窮大時(shí) ，它是否依概率收斂于總體的真值； （ 6） 漸近有效性 ， 即樣本容量趨于無窮大時(shí) ， 是否它在所有的一致估計(jì)量中具有最小的漸近方差 。 注：在 OLS估計(jì)量中我們無須考慮大樣本性質(zhì) 。 當(dāng)不滿足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的 大樣本 或 漸近性質(zhì) ： ?線性性： ?參數(shù)估計(jì)值是 Yi的線性函數(shù)，即 β是因變量Yi的線性函數(shù)。 ?無偏性：參數(shù)估計(jì)值的期望值等于真值 即 ?最小方差性：滿足古典線性回歸模型的5個(gè)假定時(shí)， OLS估計(jì)量的方差最小。 ?BLUE：最優(yōu)線性無偏估計(jì)量。 OLS估計(jì)量的統(tǒng)計(jì)性質(zhì) ?? ?)?(EBLUE估計(jì) 線性無偏估計(jì)量 全部估計(jì)量 ) (?)0)((?? .1 ?22222222222e s t i m a t o rL i n e a rYXnXnXnxXXxYkxxkYxxxxYYxxxYxxYxxYYxxyxuYiiiiiiiiiiiiiiiiiiiiiiiiiiiiii性估計(jì)量的一個(gè)線性函數(shù)，是線是則，令）（證明：的線性函數(shù)擾動項(xiàng)的線性函數(shù)，也是是因變量一、線性性：??????????????????????????????????????????????????????????高斯 — 馬爾可夫定理 (GaussMarkov theorem) 在給定經(jīng)典線性回歸的假定下 ， 最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量 （ BLUE） 。 一、線性性（續(xù)） 略。的線性函數(shù)，相關(guān)證明擾動項(xiàng)也是也是隨機(jī)變量注：證明：iiiiiiiiuYwYkXnXYkYnXY ?? )1(1?? .221????????????????二、無偏性 1112222221212)(?)()(?10? .1 ????????????????????????????????????????????????iiiiiiiiiiiiiiiiiiiiiuwE)E(uEkukE)E(XkkukukXkkuXkYk)E(類似地，可以證明：（？），其中，）（證明：二、無偏性：即?三、最小方差性 即在所有的線性無偏估計(jì)量中 ,OLS估計(jì)量具有最小方差性。 首先要求出 OLS估計(jì)量的方差 ?? 222 )?va r(ix?????????????????????22222222)v a r ()v a r ()?v a r (? .1iiiiiiiixuxxukuk????證明：最小方差性（續(xù)） ??? ??????????? 22222211)?va r(iii xnXxXn???? ?? ??????????????????????????????????????????????????????222222222222221211 121)v a r (1)?v a r (1? .1iiiiiiiiiiiiixnXxXnxXxxXxnuxXxnuxXxn??????通分后證明：最小方差性（續(xù)） )?v a r ()?v a r (,?2*2*2??????? ?則容易證明：，其中，假設(shè) iiiii dkwYw????????????????????????????]1032[??0)?(0)2()()](0),c o v ([]v a r[)v a r ()?(2*2222222222222222*2iiiiiiiiiiiijiiiiixwddV a rdkdkdkdkjiYYwYYwV a r，為什么？可利用項(xiàng)為步第注：倒數(shù)第時(shí)，方差最小，即顯然，只有注：注：???????????最小二乘估計(jì)量的方差（續(xù)） ) ,(?) ,(?) ,0( 62221122222???iiiixnXNxNNu???????服從服從則服從即，成