【文章內容簡介】 T? ? 可見，與 OLS估計量的正規(guī)方程組是相同的。 ? 多元線性回歸模型矩估計的矩條件通常是這樣構造的： 對于多元線性回歸模型 Y=Xβ+ε 兩邊分別左乘 ，即得到 X? εXX βXYX ????? )X βXE(Y)XE( ???上式稱為總體回歸方程的一組矩條件?，F在，我們隨機抽取樣本，用樣本矩代替總體矩，得到： βXXn1YXn1 ???? ? 解此正規(guī)方程組即得參數的估計量，這種估計方法稱為矩估計。其參數估計結果與 OLS一致。 ? 樣本形式：用每個解釋變量分別乘以模型的兩邊，并對所有樣本點求和，即得到： ??????????????????????????????kiikikiikiiiikikiiiiikikiiixxxxxyxxxxxy)xxx(y)()(22112221122211????????????????YX?)XX( ??? ? ? 對每個方程的兩邊求期望，有： ??????????????????????????????))(()())(()()(()(22112221122211kiikikiikiiiikikiiiiikikiiixxxxExyExxxxExyE)xxxEyE???????????????? ? 得到一組矩條件 ? 求解這組矩條件，即得到參數估計量 ? 與 OLS、 ML估計量等價 ???????????????????????????kikikiikiiikikiiiikikiiixxxxxyxxxxxy)xxx(y)???()???(???22112221122211????????????? ? 矩方法是工具變量方法 (Instrumental Variables,IV)和廣義矩估計方法 (Generalized Moment Method, GMM)的基礎 ? 在矩方法中關鍵是利用了 ? 如果某個解釋變量與隨機項相關，只要能找到 1個工具變量，仍然可以構成一組矩條件。這就是 IV。 ? 如果存在＞ k+1個變量與隨機項不相關，可以構成一組方程數＞ k+1的矩條件。這就是 GMM。 kjxE jii ,2,1,0)( ???? ? 廣義矩估計中，矩條件的個數大于參數個數，會出現什么問題呢？ 過度識別 ? 則必須想辦法調和出現在過度識別系統中相互沖突的估計。那如何解決呢？ 廣義矩估計的思想是使得樣本矩與總體矩的加權距離（即馬氏距離）最小。主要是考慮到不同的矩所起的作用可能不同。 設 樣本矩/)R()1( )X,...,X(X ?， 總體矩/)R()1( )M,...,M(M ?， 其中 kR ? 則馬氏距離為： )MX()MX()(Q 1/ ???? ?? 參數?的 G M M 估計就是使得)(Q ?達到最小的??。 ? 注意： GMM估計是一個大樣本估計。在大樣本的情況下， GMM估計量是漸進有效的，在小樣本情況下是無效的。所以，只有在大樣本情況下，才能使用 GMM方法進行參數估計。 二、投影和投影矩陣 —— OLS估計的幾何性質 獲得最小二乘估計以后，可以獲得下述最小二乘殘差 ： Xbye ??將最小二乘估計的表達式代入，得到： yMyXXXXIyXXXXye ????????? ?? ])([)( 11其中定義的矩陣 在回歸分析中是非?；A和重要的。顯然，這個矩陣是對稱冪等矩陣： XXXXIM ???? ? 1)(MM ?? 2M 其次，還有一些重要的性質需要注意，例如對稱冪等矩陣的特征根非 0即 1(對稱矩陣的特征根均為實數 )，因此矩陣具有性質：矩陣的跡等于矩陣的秩。 ? 顯然，矩陣 M的作用是，它乘積作用在某個向量 y上，就可以得到這個向量 y基于數據變量的最小二乘回歸的殘差向量，因此經常將這個矩陣稱為 “殘差生成矩陣” (residual maker)。這里需要注意 M的定義和所作用的變量，是所作用變量關于 M定義中數據矩陣的回歸殘差。即 yeY ?M zeZ ? weW ?M ? 顯然， X基于自己的線性回歸的最小二乘殘差一定為零，則必然有 (即使驗證也十分顯然 )： 0?XM? 根據此性質，我們來考察最小二乘估計的性質。已知： eyeXby ???? ?? 這說明最小二乘回歸將變量 y分解成為兩個部分，一個部分是擬合值 ，另一個部分是殘差 e，由于 bXy ?? 0)(? ???????? bXMYbXMYbXeye ? 這說明最小二乘回歸與殘差是正交的。因此，這樣的分解是正交分解，也就是說最小二乘的擬合值向量和殘差向量是正交的 (意味著這兩個向量之間的夾角為垂角 )。這時也可以得到： yPyXXXXyMIeyy ?????????? 1)()(?? 這里矩陣 也是一個對稱冪等矩陣，我們稱其為 投影矩陣 (project matrix)，它是由矩陣 X構成的，并且它如果乘積作用到向量 y上，則可以得到 y基于變量 X的最小二乘回歸的擬合值 。這也是向量 y在矩陣 X的各列生成的線性空間上的投影。 XXXXP ???? ? 1)( ? 注釋：假設 y在矩陣 X的各列生成的線性空間上的投影是 yp ，則 yp的定義是： bX~?Pb~ m in|||| ?? yy P且選擇 使得 ? 由于上述向量之間的模與最小二乘距離是一致的，因此投影值便是最小二乘估計的擬合值，即 又被稱為帽子矩陣。所以，因為 P,y?XbyP p ???yy?Xb~ ??? bXy P 為了更好地理解上述定義和公式，我們將一些有用的結論歸納為下述命題： 命題 1 在線性模型的最小二乘估計中，可以得到： （ 1） P+M=I（顯然） （ 2） PM=MP=0，即矩陣 P與 M是正交的。 證明：因為 P=IM，所以 PM=（ IM） M=MM2=0 （ 3）矩陣 P具有自投影不變性，即 PX=X。 （ 4）向量 y可以通過投影進行正交分解，即分解為投影和殘差： y=Py+My。 證明： y=Iy=（ P+M） y=Py+My，投影和殘差是正交的 （ 5）平方和分解公式成立： 證明：因為 所以 （ 6）殘差平方和可以表示為： 證明：因為 e=My，且 M是對陣冪等矩陣，所以 eeyyyy ????? ?? IMMPPMPMP ???????? 22 IMMPPMPMP ???????? 22 eeyyyMMyyPyPyMMyyPPyyMMPPyyy?????????????????????)()()()()()()(yeeyee ????? yeeyyMyyMMyee ?????????? （ 7）殘差平方和也可以表示為： 證明：根據（ 5）式，可得 而且可推知， 又因為 e=yXb，則有 bXyyyyXbyybXXbyyee ??????????????? bXyyXbbXXbyybXybXyee ??????????????? )()( bXXbyyee ?????? bXyyXbbXXb ??????? bXyyyyXbyybXXbyy?????????????? 三、分塊回歸與偏回歸 （ partitioned regression and partial regression ） ? 通常在進行線性回歸時我們假定了完全的回歸變量，但事實上我們只對其中的部分變量感興趣。這時我們就需要考慮將一部分變量從回歸變量中刪除所導致的結果。 ? 假設回歸方程中涉及到兩部分變量 X1和 X2，這時有： ? 由于 X=（ X1， X2）， k1 k2 εβXβXεβXy ????? 2211維維2121kk????????????? ? 請問：根據模型 得到的 b1，是否與根據模型 得到的 b1相等？ εβXβXεβXy ????? 2211思考 ??? 11 βXy 則有： ?????????