清華大學(xué)五道口金融學(xué)院潘文卿第三章多元線性回歸模-文庫吧資料
2025-01-29 14:32本頁面
【正文】 yXbbXXXXXXXX21212212211111211121222 )( ???? AAAAF??????????????????????????????yXyXXXXXXXXX21122122111121YXX)X(bbb ? 上述四塊矩陣可以通過下述分塊逆矩陣公式得到： 利用該公式可得到 ： ?????????????????????211121221211111121212111122211211 )(FAAFFAAAAFAIAAAAA11211121222 )( ???? AAAAF )()()()(22111122111111111 bXyXXXbXXXXyXXXb ?????????? ??? 以上結(jié)果也可以直接計算得到： 由正規(guī)方程組 ?????????????????????????yXyXbbXXXXXXXX212122122111Y39。 證明： y=Iy=（ P+M） y=Py+My，投影和殘差是正交的 （ 5）平方和分解公式成立： 證明：因為 所以 （ 6）殘差平方和可以表示為： 證明：因為 e=My，且 M是對陣冪等矩陣，所以 eeyyyy ????? ?? IMMPPMPMP ???????? 22 IMMPPMPMP ???????? 22 eeyyyMMyyPyPyMMyyPPyyMMPPyyy?????????????????????)()()()()()()(yeeyee ????? yeeyyMyyMMyee ?????????? （ 7）殘差平方和也可以表示為： 證明：根據(jù)（ 5）式，可得 而且可推知， 又因為 e=yXb，則有 bXyyyyXbyybXXbyyee ??????????????? bXyyXbbXXbyybXybXyee ??????????????? )()( bXXbyyee ?????? bXyyXbbXXb ??????? bXyyyyXbyybXXbyy?????????????? 三、分塊回歸與偏回歸 （ partitioned regression and partial regression ） ? 通常在進行線性回歸時我們假定了完全的回歸變量，但事實上我們只對其中的部分變量感興趣。 證明：因為 P=IM，所以 PM=（ IM） M=MM2=0 （ 3）矩陣 P具有自投影不變性，即 PX=X。 XXXXP ???? ? 1)( ? 注釋：假設(shè) y在矩陣 X的各列生成的線性空間上的投影是 yp ，則 yp的定義是： bX~?Pb~ m in|||| ?? yy P且選擇 使得 ? 由于上述向量之間的模與最小二乘距離是一致的，因此投影值便是最小二乘估計的擬合值，即 又被稱為帽子矩陣。這時也可以得到： yPyXXXXyMIeyy ?????????? 1)()(?? 這里矩陣 也是一個對稱冪等矩陣，我們稱其為 投影矩陣 (project matrix)，它是由矩陣 X構(gòu)成的，并且它如果乘積作用到向量 y上，則可以得到 y基于變量 X的最小二乘回歸的擬合值 。已知： eyeXby ???? ?? 這說明最小二乘回歸將變量 y分解成為兩個部分，一個部分是擬合值 ，另一個部分是殘差 e，由于 bXy ?? 0)(? ???????? bXMYbXMYbXeye ? 這說明最小二乘回歸與殘差是正交的。這里需要注意 M的定義和所作用的變量，是所作用變量關(guān)于 M定義中數(shù)據(jù)矩陣的回歸殘差。顯然，這個矩陣是對稱冪等矩陣： XXXXIM ???? ? 1)(MM ?? 2M 其次，還有一些重要的性質(zhì)需要注意，例如對稱冪等矩陣的特征根非 0即 1(對稱矩陣的特征根均為實數(shù) )，因此矩陣具有性質(zhì)：矩陣的跡等于矩陣的秩。所以，只有在大樣本情況下，才能使用 GMM方法進行參數(shù)估計。 ? 注意： GMM估計是一個大樣本估計。主要是考慮到不同的矩所起的作用可能不同。 kjxE jii ,2,1,0)( ???? ? 廣義矩估計中，矩條件的個數(shù)大于參數(shù)個數(shù)，會出現(xiàn)什么問題呢？ 過度識別 ? 則必須想辦法調(diào)和出現(xiàn)在過度識別系統(tǒng)中相互沖突的估計。 ? 如果存在＞ k+1個變量與隨機項不相關(guān)，可以構(gòu)成一組方程數(shù)＞ k+1的矩條件。 ? 樣本形式：用每個解釋變量分別乘以模型的兩邊，并對所有樣本點求和，即得到： ??????????????????????????????kiikikiikiiiikikiiiiikikiiixxxxxyxxxxxy)xxx(y)()(22112221122211????????????????YX?)XX( ??? ? ? 對每個方程的兩邊求期望，有： ??????????????????????????????))(()())(()()(()(22112221122211kiikikiikiiiikikiiiiikikiiixxxxExyExxxxExyE)xxxEyE???????????????? ? 得到一組矩條件 ? 求解這組矩條件，即得到參數(shù)估計量 ? 與 OLS、 ML估計量等價 ???????????????????????????kikikiikiiikikiiiikikiiixxxxxyxxxxxy)xxx(y)???()???(???22112221122211????????????? ? 矩方法是工具變量方法 (Instrumental Variables,IV)和廣義矩估計方法 (Generalized Moment Method, GMM)的基礎(chǔ) ? 在矩方法中關(guān)鍵是利用了 ? 如果某個解釋變量與隨機項相關(guān)，只要能找到 1個工具變量，仍然可以構(gòu)成一組矩條件。現(xiàn)在，我們隨機抽取樣本，用樣本矩代替總體矩，得到： βXXn1YXn1 ???? ? 解此正規(guī)方程組即得參數(shù)的估計量，這種估計方法稱為矩估計。 ? 現(xiàn)在，考慮一元線性回歸模型中的假設(shè)條件： 0)E(x0)(Ettt????? 其所對應(yīng)的樣本矩條件分別為： ? ?? ???T1tT1tt10tt 0)xbb(yT1?T1? ?? ?????T1tT1tt10tttt 0)xbby(xT1?xT? ? 可見，與 OLS估計量的正規(guī)方程組是相同的。( )( ) ( ? ) ( ? )?? ? ? ? ?212 2? ????Y X Y X? ?? ( )? ? ? ??X X X Y1 附錄：矩估計 (Moment Method,MM) ? 矩估計是基于實際參數(shù)滿足一些 矩條件 而形成的一種參數(shù)估計方法。 eyy ?? ?方法 2 根據(jù)擬合值的定義bXy ??， 有yXXbX ????????? ? YX)XX(XXY?X 1 則有： ?????????????????????????????????????????????????????????nTnKnKKnTnKnKKyyyxxxxxxyyyxxxxxx????????????????212222112212222112111???111 上述矩陣方程的第一個方程可以表示為： ?????niinii yy11? 則有：yy ?? 附錄：極大似
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1