【正文】 122122111121YXX)X(bbb ? 上述四塊矩陣可以通過下述分塊逆矩陣公式得到： 利用該公式可得到 ： ?????????????????????211121221211111121212111122211211 )(FAAFFAAAAFAIAAAAA11211121222 )( ???? AAAAF)()()()( 22111122111111111 bXyXXXbXXXXyXXXb ?????????? ???以上結(jié)果也可以直接計(jì)算得到： 由正規(guī)方程組 ?????????????????????????yXyXbbXXXXXXXX212122122111Y39。 證明： y=Iy=（ P+M） y=Py+My，投影和殘差是正交的 （ 5）平方和分解公式成立： 證明：因?yàn)? 所以 （ 6）殘差平方和可以表示為： 證明：因?yàn)?e=My，且 M是對陣冪等矩陣，所以 eeyyyy ????? ??IMMPPMPMP ???????? 22IMMPPMPMP ???????? 22eeyyyMMyyPyPyMMyyPPyyMMPPyyy??????????????????????)()()()()()()(yeeyee ?????yeeyyMyyMMyee ??????????（ 7）殘差平方和也可以表示為： 證明：根據(jù)（ 5）式，可得 而且可推知， 又因?yàn)?e=yXb，則有 bXyyyyXbyybXXbyyee ???????????????bXyyXbbXXbyybXybXyee ??????????????? )()(bXXbyyee ??????bXyyXbbXXb ???????bXyyyyXbyybXXbyy??????????????三、分塊回歸與偏回歸 （ partitioned regression and partial regression ） ? 通常在進(jìn)行線性回歸時我們假定了完全的回歸變量，但事實(shí)上我們只對其中的部分變量感興趣。 證明：因?yàn)?P=IM，所以 PM=（ IM） M=MM2=0 （ 3）矩陣 P具有自投影不變性，即 PX=X。 XXXXP ???? ? 1)(? 注釋：假設(shè) y在矩陣 X的各列生成的線性空間上的投影是 yp ，則 yp的定義是： bXy ~?Pb~ m in|||| ?? yy P且選擇 使得 ? 由于上述向量之間的模與最小二乘距離是一致的，因此投影值便是最小二乘估計(jì)的擬合值，即 又被稱為帽子矩陣。這時也可以得到： yPyXXXXyMIeyy ????????? ? 1)()(?? 這里矩陣 也是一個對稱冪等矩陣，我們稱其為 投影矩陣 (project matrix)，它是由矩陣 X構(gòu)成的，并且它如果乘積作用到向量 y上，則可以得到 y基于變量 X的最小二乘回歸的擬合值 。已知： eyeXby ???? ?? 這說明最小二乘回歸將變量 y分解成為兩個部分，一個部分是擬合值 ，另一個部分是殘差 e，由于 bXy ??0)(? ???????? bXMYbXMYbXeye? 這說明最小二乘回歸與殘差是正交的。這里需要注意 M的定義和所作用的變量，是所作用變量關(guān)于 M定義中數(shù)據(jù)矩陣的回歸殘差。顯然，這個矩陣是對稱冪等矩陣： XXXXIM ???? ? 1)(MM ?? 2MM ? 其次，還有一些重要的性質(zhì)需要注意，例如對稱冪等矩陣的特征根非 0即 1(對稱矩陣的特征根均為實(shí)數(shù) )，因此矩陣具有性質(zhì)：矩陣的跡等于矩陣的秩。所以，只有在大樣本情況下，才能使用 GMM方法進(jìn)行參數(shù)估計(jì)。 ? 注意： GMM估計(jì)是一個大樣本估計(jì)。主要是考慮到不同的矩所起的作用可能不同。 kjxE jii ,2,1,0)( ????? 廣義矩估計(jì)中，矩條件的個數(shù)大于參數(shù)個數(shù)，會出現(xiàn)什么問題呢？ 過度識別 ? 則必須想辦法調(diào)和出現(xiàn)在過度識別系統(tǒng)中相互沖突的估計(jì)。 ? 如果存在＞ k+1個變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組方程數(shù)＞ k+1的矩條件。 ? 樣本形式：用每個解釋變量分別乘以模型的兩邊，并對所有樣本點(diǎn)求和，即得到： ??????????????????????????????kiikikiikiiiikikiiiiikikiiixxxxxyxxxxxy)xxx(y)()(22112221122211????????????????YX?)XX( ??? ?? 對每個方程的兩邊求期望，有： ??????????????????????????????))(()())(()()(()(22112221122211kiikikiikiiiikikiiiiikikiiixxxxExyExxxxExyE)xxxEyE????????????????? 得到一組矩條件 ? 求解這組矩條件，即得到參數(shù)估計(jì)量 ? 與 OLS、 ML估計(jì)量等價 ???????????????????????????kikikiikiiikikiiiikikiiixxxxxyxxxxxy)xxx(y)???()???(???22112221122211?????????????? 矩方法是工具變量方法 (Instrumental Variables,IV)和廣義矩估計(jì)方法 (Generalized Moment Method, GMM)的基礎(chǔ) ? 在矩方法中關(guān)鍵是利用了 ? 如果某個解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到 1個工具變量，仍然可以構(gòu)成一組矩條件?，F(xiàn)在，我們隨 機(jī)抽取樣本，用樣本矩代替總體矩，得到： βXXn1YXn1 ????? 解此正規(guī)方程組即得參數(shù)的估計(jì)量，這種估計(jì)方法稱為矩估計(jì)。 ? 現(xiàn)在，考慮一元線性回歸模型中的假設(shè)條件： 0)E ( x0)(Ettt????? 其所對應(yīng)的樣本矩條件分別為： ? ?? ???T1tT1tt10tt 0)xbb(yT1?T1?? ?? ?????T1tT1tt10tttt 0)xbby(xT1?xT1?? 可見，與 OLS估計(jì)量的正規(guī)方程組是相同的。( )( ) ( ? ) ( ? )?? ? ? ? ?2122? ????Y X Y X? ?? ( )? ? ? ??X X X Y1附錄：矩估計(jì) (Moment Method,MM) ? 矩估計(jì)是基于實(shí)際參數(shù)滿足一些 矩條件 而形成的一種參數(shù)估計(jì)方法。 eyy ?? ?方法 2 根據(jù)擬合值的定義bXy ??， 有yXXbX ????????? ? YX)XX(XXY?X 1 則有： ?????????????????????????????????????????????????????????nTnKnKKnTnKnKKyyyxxxxxxyyyxxxxxx????????????????212222112212222112111???111 上述矩陣方程的第一個方程可以表示為： ?????niinii yy11? 則有：yy ?? 附錄：極大似然估計(jì) 對于一元線性回歸模型： iii XY ??? ??? 10 i = 1 , 2 , ? n隨機(jī)抽取 n 組樣本觀測值iiXY , （ i = 1 , 2 , ? n ），假如模型的參數(shù)估計(jì)量已經(jīng)求得到，為??0和??1 ，那么 iY 服從如下的正態(tài)分布：