【文章內容簡介】 的 常數 。而樣本回歸函數依據樣本觀測資料建立的 ， 參數 是隨抽樣而變化的 隨機變量 。 ?再次 ， 總體回歸函數中的 是不可直觀測的 。而樣本回歸函數中的 ei是只要估計出樣本回歸的參數就可以計算的值 。 ?總之 ， 由于樣本對總體存在代表性誤差 ， 樣本回歸函數幾乎總是與總體回歸函數存在差異 。 iu圖中 : A點左邊部分 SRF過低估計了 PRF， A點右邊部分義過高估計了 PRF。 第二節(jié) 回歸模型的參數估計 一、普通最小二乘估計 二、擬合直線的性質 三、回歸模型的基本假定 四、 OLS估計式的特性 五、參數的估計誤差與置信區(qū)間 一 .普通最小二乘估計 （ Ordinary Least Square) 簡稱 OLS ） 問題的提出 ——必要性 ?通過 相關系數 或協方差證實變量之間存在關系 ， 僅僅只是知道變量之間線性相關的性質——正 （ 負 ） 相關和相關程度的大小 。 ?既然它們之間存在線性關系 ， 接下來必須探求它們之間關系的具體表現形式是什么 ？ ?最好用數學表達式將這種關系盡可能準確 、嚴謹的表示出來 ——Y=β0+β1X+u——把它們之間的內在聯系挖掘出來 。 也就是直線中的截距 β0=？ ；直線的斜率 β1=？ 解決問題的思路 ——可能性 ?由于 Y=β0+β1X+u中的截距 β０ 和斜率 β１ 不可能得到 ， 只能獲得來自于總體的樣本 ， 假設從總體中獲取了一組 （ Xi， Yi） 的樣本觀察值 （ X1， Y1） ，（ X2， Y2） ， … ， （ Xn， Yn） ； ?于是 ， 可采用不同的方法確定樣本回歸直線以擬合樣本觀察值 , 尋找變量之間直線關系的方法很多 ，比如直觀畫線法 ， 幾何劃線法 （ 兩點連線 ） ， 半數平均法等； ?那么如何從這些曲線中選擇一條最佳擬合直線 ？ 最小二乘法的思路 ?1． 為了精確地描述 Y與 X之間的關系 ， 必須使用這兩個變量的每一對觀察值 ， 才不至于以點概面 。 ?2． 在 Y與 X的散點圖上畫出直線的方法很多 。任務 ？ ——找出一條能夠 最好地 描述 Y與 X（ 代表所有點 ） 之間的直線 。 ?3． 什么是最好 ？ —找出判斷 “ 最好 ” 的原則 。 ? 直觀地 ,從幾何意義上講 ， 應該使樣本回歸曲線盡量靠近這些數據點 。 三種距離 Y X 縱向距離 橫向距離 距離 ? ?YX iiA ,? ?YX iiB ?,A為實際點， B為擬合直線上與之對應的點 XYYYe iiiii縱 向距離 10 ??? ?? ?????距離是度量實際值與擬合值是否相符的有效手段 ?點到直線的距離 ——點到直線的垂直線的長度 。 ?橫向距離 ——點沿 （ 平行 ） X軸方向到直線的距離 。 ?縱向距離 ——點沿 （ 平行 ） Y軸方向到直線的距離 。 也就是實際觀察點的 Y坐標減去根據直線方程計算出來的 Y的 擬合值 。 即是 Y的實際值與擬合值之差 ， 差異大擬合不好 ， 差異小擬合好 ， 所以又稱為擬合誤差或殘差 。 最小二乘法的數學原理 ?最好 也就是使剩余 ei（ 或殘差 ） 都很小 ， 可是 ，因為 ei有正有負 ， 簡單代數和 相互抵消 ?將所有縱向距離平方后相加 ， 即得誤差平方和 ，“ 最好 ” 直線就是使誤差平方和最小的直線? “ 擬合總誤差達到最小 ” ； 公式： ?于是可以運用微分學中求極小值的原理 ， 將求最好擬合直線問題轉換為求誤差平方和最小 。 最小?????? 2102 )??( XYe ??ie?數學推證過程 ?最小二乘法原理：要求各個散點到回歸直線的離差的平方和最小。即 （ 219） ? 是 的二次函數并且是非負的，連續(xù)可微的，所以存在極小值； ?根據微分學分別對 求一階偏導數，并令其等于零，就可以得到求 的正規(guī)方程 ? ? ? ?????? 2102102 )??(m i n)??(m i nm i n iiiii XYXYe ?????????????? ????????? ??????0201210121002)X()X??Y(?e)()X??Y(?eiiiiiii??????210 ?? iiii XXYX ????? ??ii XnY ???? 10 ?? ??10 ?? ?,?10 ?? ?,?2102 )??( XYe ?? ????? 10 ?? ?,? 解方程 ?根據正規(guī)方程，可解得 ， 如下： ?稱為回歸參數的最小二乘估計式（ Ordinary Least squares Estimator）簡稱為 OLSE ?其中： n為樣本容量 ， 1??0??XYXYn ii 110 ?)(1? ??? ?????? ?222221)(?XnXYXnYXXXnYXYXnXXXnYXXYniiiiiiiiiiiiiiii?????????????????????nYYnXX ???? ,回歸系數 與相關系數 r關系 ?如果用變量值 X和 Y與其平均數的離差形式表示 ,則： 1??SxSyrnXXnYYrxyryxxyxyxxxyxyxXXYYXXiiiiii?????????????????????????????2222222222221)()()())((??22 yxxysns)YY)(XX(ryx ???????? 二、擬合直線的性質 ?１．樣本回歸直線經過樣本均值點 ?２．估計殘差的均值為零 ?３． Y的真實值和擬合值有共同的均值 ?４．估計殘差與自變量不相關 ?５．估計殘差與擬合值不相關 １．樣本回歸直線經過樣本均值點 ?根據 正規(guī)方程 : ?兩邊同除以 n得： ?因此有： ?所以樣本回歸線 必然通過均值點（ ） ii XnY ???? 10 ?? ?? ii XnYn ????1??110 ?? XY 10 ?? ?? ??YX ,ii X??Y? 10 ?? ???????????????????????????020210100iiiiiiiiX)X??Y(?e)X??Y(?e??????２．估計殘差和為零 （ ） ?由 ?因為 ?所以 ?即： 0)??(2? )( 1002?????????iii XYe ???0)??( 10 ?????? nen XY iii ??0??? nee ii?????????????????)XeX)X??Y(e)X??Y(iiiiiiii0等價于 (0) 0 等價于 (01010?????????????????????????????020210100iiiiiiiiX)X??Y(?e)X??Y(?e??????0?e3． Y的真實值和擬合值有共同的均值 （ ） ?因為 而 ?所以 ?即 ?這說明，對 的每一個預測值都可估計出 ，由各個樣本觀測值所估計的 的均值與實際樣本觀測值 的均值 相等。 0?ie iii eYY ???nenYnY iii ????? ?ii YY ??ii YY ??iX iY?iY?iYY4．估計殘差與自變量不相關 （ ） neXneXeXneXeXneXXneeXXeXiiiiiiiiiiiiiiii?????????????????)())((),c o v (因為 由最小二乘法（ 221）式知： 0??ii Xe 所以： 從而 ，說明 不相關 0),co v ( ?ii eX ii eX 與0),co v ( ?ii eX5．估計殘差與擬合值不相關 （ ） 0),?c o v ( ?ii eY0001111111111????????????????????)(?n)eXeX(?ne)XX(?ne)]XX(?[ne)YY?(n)ee)(Y?Y?(n)e,Y?c o v (iiiiiiiiiiiii????由此可見， 不相關 ii eY 與?關于回歸直線性質的總結 eXeYY iiiii ba ????? ???殘差和 =0 平均數相等 擬合值與殘差不相關 自變量與殘差不相關 注意： 這里的殘差與隨機擾動項不是一個概念。隨機擾動項是總體的殘差。 三、回歸模型的基本假定 （一）關于隨機項的假定 1. 零均值假定 2. 同方差假定 3. 非自相關假定 4. 解釋變量與隨機誤差項不相關假定 5. 正態(tài)性假定 1. u是一個隨機變量，其均值為零 ? 此假定表示對于每一個 Xi， 的值可在其條件均值的上下波動 ， 與其均值的偏差有正有負 ， 但在大量觀測下 ， 平均來說其總和為零 0)|( ?ii XuEiu（ ） iu同時假定： ?此假定表示對于每一個 Xi， 由于隨機擾動因素的存在 ， Yi的值在其條件均值 E（ Y/Xi） 附近上下波動 ， 如果模型設定正確 ， Yi相對于 E(Yi/Xi)的正偏差和負偏差都會有 ， 故此隨機擾動項可正可負 ，發(fā)生的概率大致相同 ， 平均地看 ， 這些隨機擾動項有互相抵消的趨勢 。 在此假定下 ， 才有： ?E(Yi/Xi)=E[E(Yi/Xi)]+E(ui/Xi)=E(Yi/Xi)+ E(ui/ Xi)=E(Yi/ Xi)= ?顯然，這里暗含著的假定條件，也就是假定總體回歸直線通過 X與 Y的條件均值組成的點。 iX10 ?? ?2． u的方差為常數（同方差假定） 2)]|([)|( iiiii XuEuEXuV a r ???此假定表示對于所有的 Xi， ui對其均值的分散程度都是相同的 。且方差都等于某個常數 ， 如圖 。 22 )( ??? iuE2?2?同時假定： ?可以推證：因變量 Yi與 ui具有相同的方差，這是因為 )()]([)]([)(2210102iiiiiiiuEXuXYEYYV a r??????????????22 )()]([ ?????iii uVa ruEuE因此，該假定同時表明，被解釋變量 Yi可能取值的 分散程度也是相同的。 3． u的協方差等于零 （ COV(ui,uj)=0 （ i≠j）） ?即隨機誤差項之間是互不相關，互不影響的。 ?由于 ? ?即有： ?此假定表示不同觀測值的隨機項是互不相關的，即不會出現圖 （ a）（ b）情形，而呈現的是（ c）的情況。 0)]() ] [([),( ???? jjiiji uEuuEuEuuC o v