【文章內容簡介】 普通最小二乘法 （ Ordinary least squares, OLS）給出的判斷標準是：二者之差的平方和 ?? ????? n iiin i XYYYQ121021))??(()?( ??最小。 32 方程組（ *）稱為 正規(guī)方程組 （ normal equations） 。 正規(guī)方程組 33 ? ? 2222 1)( ??? ? ???? iiii XnXXXx? ? ? ? ?????? iiiiiiii YXnYXYYXXyx 1))((上述參數估計量可以寫成： ??????????XYxyxiii1021??????稱為 OLS估計量的 離差形式 （ deviation form）。 回歸系數的估計量 由正規(guī)方程組 34 由于參數的估計結果是通過最小二乘法得到的，故稱為 普通最小二乘估計量 （ ordinary least squares estimators）。 注意： ?OLS估計量可由觀測值計算； ?OLS估計量是點估計量； ?一旦從樣本數據得到 OLS估計值，就可畫出樣本回歸線。 35 順便指出 ，記 YYyii ?? ??則有 ?????????iniiieXXeXXy111010)(?)??()??(??????可得 ii xy 1?? ??（ **） 式也稱為 樣本回歸函數 的 離差形式 。 （ **） 注意： 在計量經濟學中，往往以小寫字母表示對均值的離差。 36 樣本回歸線的性質 n ??)1(X??YXY 11010即可。兩邊同時除以程證明：由正規(guī)方程組方的樣本均值和通過：性質?? ????iiXnY ????37 ?)(? ?)?( ??? ? 211110YYXXβY XβXβY XββYYYiiii????????兩邊取均值得證明：即：等于其估計值的平均值值被解釋變量的樣本平均：性質38 性質 3：殘差和等于零 ，即 0ie ??? ?2 ( 1 )?0iiiiiYXYYe?? ???????01由 正 規(guī) 方 程 組( )()39 1 1 12221 1 12 2 2 211?4 : ( ) ,?0?? ?()? ? ?0 ( )? ? ? ( )? ?0i i iiii i i i i i ii i i i iiii i iiiie Y YYeY e y Y e y e Y ex e x y xxyx y xxxx? ? ?? ? ?????? ? ? ?? ? ? ?? ? ?????? ? ? ?????????性 質 殘 差 和 預 測 的 值 不 相 關即證 明 ：由 于40 122115 : , 0()?( ) 0? ? ( )0i i i ii i i i i i ii i iiii i iie X X eX e x X e x e X ex y xxyx y xx????? ? ? ?? ? ?? ? ???? ? ? ??????性 質 殘 差 和 不 相 關 即證 明 ：由 于41 三、最小二乘估計量的性質 當模型參數估計出后，需考慮參數估計值的精度，即是否能代表總體參數的真值，或者說需考察參數估計量的統計性質。 一個用于考察總體的估計量，可從如下幾個方面考察其優(yōu)劣性： （ 1）線性性 ，即它是否是另一隨機變量的線性函數； （ 2）無偏性 ，即它的均值或期望值是否等于總體的真實值； （ 3）有效性 ，即它是否在所有線性無偏估計量中具有最小方差。 42 （ 4） 漸近無偏性 ， 即樣本容量趨于無窮大時 ， 是否它的均值序列趨于總體真值； （ 5） 一致性 ， 即樣本容量趨于無窮大時 ， 它是否依概率收斂于總體的真值； （ 6） 漸近有效性 ， 即樣本容量趨于無窮大時 ， 是否它在所有的一致估計量中具有最小的漸近方差 。 這三個準則也稱作估計量的 小樣本性質。 擁有這類性質的估計量稱為 最佳線性無偏估計量 （ best liner unbiased estimator, BLUE）。 當不滿足小樣本性質時，需進一步考察估計量的大樣本 或 漸近性質 ： 43 高斯 — 馬爾可夫定理 (GaussMarkov theorem) 在給定經典線性回歸的假定下 ， 最小二乘估計量是具有最小方差的線性無偏估計量 。 2 、無偏性 ， 即估計量 0?? 、 1?? 的均值（期望）等于總體回歸參數真值 ? 0 與 ? 1 3 、有效性（最小方差性） ， 即在所有線性無偏估計量中，最小二乘估計量 0?? 、 1?? 具有最小方差。 44 普通最小二乘估計量 （ ordinary least Squares Estimators）稱為 最佳線性無偏估計量 （ best linear unbiased estimator, BLUE） 45 四 、參數估計量的概率分布及隨機干擾項方差的估計 1 、參數估計量 0?? 和 1?? 的概率分布 ),(~? 2211 ?ixN ??? ),(~? 22200 ??? ??iixnXN46 ?? 22? /1 ix?? ????222?0iixnX?? ?47 隨機誤差項 u的方差 ?2的估計 由于隨機項 ui不可觀測，只能從 ui的估計 —— 殘差 ei出發(fā)，對總體方差進行估計。 ?2又稱為 總體方差 。 可以證明 ， ?2的 最小二乘估計量 為 2?22???ne i?它是關于 ?2的無偏估計量。 48 在隨機誤差項 ? 的方差 ? 2 估計出后，參數 0??和 1?? 的 方差 和 標準差 的估計量分別是： 1?? 的樣本方差： ??222??1ixS ?? 1?? 的樣本標準差： ??2??1ixS ?? 0?? 的樣本方差： ???2222??0iixnXS ?? 0?? 的樣本標準差： ???22??0iixnXS ?? 一元線性回歸模型的統計檢驗 一、擬合優(yōu)度檢驗 二、變量的顯著性檢驗 三、參數的置信區(qū)間 50 ? 回歸分析 是要通過樣本所估計的參數來代替總體的真實參數，或者說是用樣本回歸線代替總體回歸線。 ? 盡管從 統計性質 上已知，如果有足夠多的重復 抽樣，參數的估計值的期望（均值）就等于其總體的參數真值，但在一次抽樣中，估計值不一定就等于該真值。 ? 那么，在一次抽樣中，參數的估計值與真值的差異有多大，是否顯著，這就需要進一步進行 統計檢驗 。 ? 主要包括 擬合優(yōu)度檢驗 、變量的 顯著性檢驗及參數的 區(qū)間估計 。 51 一、擬合優(yōu)度檢驗 擬合優(yōu)度檢驗 ： 對樣本回歸直線與樣本觀測值之間擬合程度的檢驗。 度量擬合優(yōu)度的指標 ： 判定系數 （ 可決系數 ） R2 問題： 采用普通最小二乘估計方法，已經保證了模型最好地擬合了樣本觀測值，為什么還要檢驗擬合程度？ 52 總離差平方和的分解 已知由一組樣本觀測值（ Xi,Yi）， i=1,2… ,n得到如下樣本回歸直線 ii XY 10 ??? ?? ??iiiiiii yeYYYYYYy ?)?()?( ????????53 如果 Yi=?i 即實際觀測值落在樣本回歸“線”上，則 擬合最好 。 可認為， “離差” 全部來自回歸線，而與“殘差”無關。 54 對于所有樣本點，則需考慮這些點與樣本均值離差的平方和 ,可以證明 ： 記 ? ? ???22 )( YYyT S S ii總體平方和 ? ? ??? 22 )?(? YYyR S S ii 回歸平方和 ? ? ??? 22 )?( iii YYeE S S 殘差平方和 55 TSS=ESS+RSS Y的觀測值圍繞其均值的 總離差 (total variation)可分解為兩部分： 一部分來自回歸線 (RSS)，另一部分則來自隨機勢力 (RSS)。 在給定樣本中， TSS不變， 如果實際觀測點離樣本回歸線越近，則 RSS在TSS中占的比重越大，因此 擬合優(yōu)度 ：回歸平方和 RSS/Y的總離差 TSS 56 T S SE S ST S SR S SR ??? 1記 2可決系數 R2統計量 稱 R2 為 （樣本） 可決系數 /判定系數 （ coefficient of determination)。 可決系數 的 取值范圍 ： [0， 1] R2越接近 1，說明實際觀測點離樣本線越近，擬合優(yōu)度越高 。 57 二、變量的顯著性檢驗 回歸分析 是要判斷 解釋變量 X是否是 被解釋變量 Y的一個顯著性的影響因素。 在 一元線性模型 中，就是要判斷 X是否對 Y具有顯著的線性性影響。這就需要進行 變量的顯著性檢驗。 變量的顯著性檢驗所應用的方法是數理統計學中的 假設檢驗 。 計量經計學中 ，主要是針對變量的參數真值是否為零來進行顯著性檢驗的。 58 假設檢驗 ? 所謂 假設檢驗 ， 就是事先對總體參數或總體分布形式作出一個假設，然后利用樣本信息來判斷原假設是否合理，即判斷樣本信息與原假設是否有顯著差異，從而決定是否接受或否定原假設 。 ? 假設檢驗采用的邏輯推理方法是反證法。 先假定原假設正確，然后根據樣本信息，觀察由此假設而導致的結果是否合理，從而判斷是否接受原假設。 ? 判斷結果合理與否，是基于“小概率