【正文】 過度識別 ? 則必須想辦法調(diào)和出現(xiàn)在過度識別系統(tǒng)中相互沖突的估計。 ? 注意： GMM估計是一個大樣本估計。顯然，這個矩陣是對稱冪等矩陣： XXXXIM ???? ? 1)(MM ?? 2M 其次，還有一些重要的性質(zhì)需要注意，例如對稱冪等矩陣的特征根非 0即 1(對稱矩陣的特征根均為實數(shù) )，因此矩陣具有性質(zhì)：矩陣的跡等于矩陣的秩。已知： eyeXby ???? ?? 這說明最小二乘回歸將變量 y分解成為兩個部分，一個部分是擬合值 ，另一個部分是殘差 e，由于 bXy ?? 0)(? ???????? bXMYbXMYbXeye ? 這說明最小二乘回歸與殘差是正交的。 XXXXP ???? ? 1)( ? 注釋：假設(shè) y在矩陣 X的各列生成的線性空間上的投影是 yp ，則 yp的定義是： bX~?Pb~ m in|||| ?? yy P且選擇 使得 ? 由于上述向量之間的模與最小二乘距離是一致的，因此投影值便是最小二乘估計的擬合值，即 又被稱為帽子矩陣。 證明： y=Iy=（ P+M） y=Py+My，投影和殘差是正交的 （ 5）平方和分解公式成立： 證明：因為 所以 （ 6）殘差平方和可以表示為： 證明：因為 e=My，且 M是對陣冪等矩陣，所以 eeyyyy ????? ?? IMMPPMPMP ???????? 22 IMMPPMPMP ???????? 22 eeyyyMMyyPyPyMMyyPPyyMMPPyyy?????????????????????)()()()()()()(yeeyee ????? yeeyyMyyMMyee ?????????? （ 7）殘差平方和也可以表示為： 證明：根據(jù)（ 5）式，可得 而且可推知， 又因為 e=yXb，則有 bXyyyyXbyybXXbyyee ??????????????? bXyyXbbXXbyybXybXyee ??????????????? )()( bXXbyyee ?????? bXyyXbbXXb ??????? bXyyyyXbyybXXbyy?????????????? 三、分塊回歸與偏回歸 （ partitioned regression and partial regression ） ? 通常在進行線性回歸時我們假定了完全的回歸變量，但事實上我們只對其中的部分變量感興趣。X(b)X(X22221121221111????????得到： )()()()(22111122111111111 bXyXXXbXXXXyXXXb ?????????? ???根據(jù)第一個方程得到 ? 上述解的公式表明，系數(shù) 的最小二乘估計 是 y基于 X1的回歸系數(shù)，減去一個修正向量 。 證明：如果回歸方程中的解釋變量是正交的，則有021 ?? XX。 注意到1M是冪等矩陣，則有： ????? ??? yXXXb21222 )( 其中 212 XMX ??，yMy 1?? ? 上述結(jié)論對于回歸分析來說是一個基礎(chǔ)結(jié)論，非常重要。 ? 對于這個情形的一種特例，我們考慮向量 Y基于一組變量 X和一個附加變量 Z的最小二乘回歸問題。這與將時間 T作為解釋變量放入模型中的效果是等同的。 此時殘差生成矩陣為： JIXXXXIXXXXIMn1)()( 11111111111 ?????????? ?? 此時1M的作用就是將數(shù)據(jù)進行樣本均值為中心的中心化， 因此命題成立。例如，如果 )1,1(1 ??X，則可以得到常數(shù)項的估計為： KK bxbxyb ???? ?221 四、偏回歸與偏相關(guān)系數(shù) （ partial regression and partial correlation coefficients ） ? 多元回歸的用途之一，是提供了一個概念性框架，用以解決實踐中難以進行的實驗，就象經(jīng)濟學(xué)中的“其他假設(shè)不變” (ceteris paribus)的分析。正常情形下，人們認為較高的教育水平大都與較高的收入水平相關(guān)聯(lián)。例如，我們可以比較兩個具有相同年齡但是不同教育水平的兩個個體的收入情況，雖然真實的數(shù)據(jù)中并不包含這樣的情形。因此，“擠出” 年齡 影響后的成分之間的關(guān)系是完全獨立于 年齡 的。 一般的做法是： 1. 假設(shè)?y是“收入”基于常數(shù)和“年齡”變量回歸后 獲得的殘差； 2. 假設(shè)?z是“教育”基于常數(shù)和“年齡”變量回歸后 獲得的殘差； 3. “收入”和“教育”之間的偏相關(guān)系數(shù)?zyr是?y和?z 之間的簡單相關(guān)系數(shù)。假設(shè)矩陣X中 包含常數(shù)項 ( 第 1 列全為 1 ) ，則殘差向量yM??y和zM??z的 樣本 均值為零。 證明 1 ：1)( ??WW的最后一個對角元是：11 )()( ???? ??? zzzMz 參考 ： ?????????????????????????yXyXbbXXXXXXXX212122122111 上述四塊矩陣可以通過下述分塊逆矩陣公式得到： ?????????????????????211121221211111121212111122211211 )(FAAFFAAAAFAIAAAAA 11211121222 )(???? AAAAF 證明 2 ：連等式證明 1**221**21**2222)zz)((cc)1kn()zz(1knc)zz(1knc)1kn(????????????????????????????????zzzyttr 又知： **1**Yz)zz(c???? ， 代入可得： ))(()()(r222*yz????????????zzuuyzyz 分子分母分別除以)zz)(y(y****?? ，有 )/()(r222*yz????????yyuuyzyzrr 由)/()(r222*yz????????yyuuyzyzrr知 0ee11r2*yz ???????????????yy 所以：ee ????? ? 關(guān)于兩個模型 y=xd+zc+u和 y=xb+e的殘差平方和的詳細關(guān)系的推導(dǎo)見下頁： 已知：czXdyu ???，是y基于],[ zXW ?回歸的殘差向量。 則有eezzeeuu ??????? ?? )(2c 這里c是全變量回歸中變量 z 的系數(shù)的最小二乘估計， zXXXXIz ])([ 1 ???? ??是 z 基于 X 線性回歸的殘差向量。 謝謝觀看 /歡迎下載 BY FAITH I MEAN A VISION OF GOOD ONE CHERISHES AND THE ENTHUSIASM THAT PUSHES ONE TO SEEK ITS FULFILLMENT REGARDLESS OF OBSTACLES. BY FAITH I BY FAITH 。這樣一來，無論解釋變量與相依變量之間的關(guān)系如何，解釋變量都是“有用”的或者是“有價值”的。 進一步，除非0?c，那么u就不等于Xbye ???？梢岳盟膲K矩陣的分塊求逆公式獲得上述 對角元素。 表面上看，上述過程需要相當(dāng)繁雜的計算。在多元回歸中，“偏相關(guān)系數(shù)”經(jīng)常表示兩個變量之間的“直接關(guān)系”，這是一種分離其他變量影響之后的兩者之間的“凈關(guān)系”。 ? 偏回歸系數(shù)是這樣得到的：我們將 收入 和 教育 分別基于 年齡 回歸，得到回歸殘差。如果年齡和教育是正相關(guān)的，那么上述回歸模型中收入的所有可以觀測的增加將同教育中的增加具有關(guān)聯(lián)。這就是偏回歸系數(shù)的特征。 ? 從矩陣結(jié)構(gòu)可以看出，其與變量 X無關(guān)，只是一個數(shù)據(jù)轉(zhuǎn)換工具，其中的矩陣 Jn被稱為 列求和矩陣 。 推論 ( C o r ol l ar y ) 具有常數(shù)項的回歸 包含常數(shù)項的多元回歸的斜率 估計可以按照下述方式獲得，首先將數(shù)據(jù)轉(zhuǎn)換為與其均值的偏離， 然后將y(