【正文】 。這樣一來，無論解釋變量與相依變量之間的關(guān)系如何，解釋變量都是“有用”的或者是“有價(jià)值”的。 則有eezzeeuu ??????? ?? )(2c 這里c是全變量回歸中變量 z 的系數(shù)的最小二乘估計(jì)， zXXXXIz ])([ 1 ???? ??是 z 基于 X 線性回歸的殘差向量。 進(jìn)一步，除非0?c，那么u就不等于Xbye ??。 證明 1 ：1)( ??WW的最后一個(gè)對角元是：11 )()( ???? ??? zzzMz 參考 ： ?????????????????????????yXyXbbXXXXXXXX212122122111 上述四塊矩陣可以通過下述分塊逆矩陣公式得到： ?????????????????????211121221211111121212111122211211 )(FAAFFAAAAFAIAAAAA 11211121222 )(???? AAAAF 證明 2 ：連等式證明 1**221**21**2222)zz)((cc)1kn()zz(1knc)zz(1knc)1kn(????????????????????????????????zzzyttr 又知： **1**Yz)zz(c???? ， 代入可得： ))(()()(r222*yz????????????zzuuyzyz 分子分母分別除以)zz)(y(y****?? ，有 )/()(r222*yz????????yyuuyzyzrr 由)/()(r222*yz????????yyuuyzyzrr知 0ee11r2*yz ???????????????yy 所以：ee ????? ? 關(guān)于兩個(gè)模型 y=xd+zc+u和 y=xb+e的殘差平方和的詳細(xì)關(guān)系的推導(dǎo)見下頁： 已知：czXdyu ???，是y基于],[ zXW ?回歸的殘差向量?？梢岳盟膲K矩陣的分塊求逆公式獲得上述 對角元素。假設(shè)矩陣X中 包含常數(shù)項(xiàng) ( 第 1 列全為 1 ) ，則殘差向量yM??y和zM??z的 樣本 均值為零。 表面上看，上述過程需要相當(dāng)繁雜的計(jì)算。 一般的做法是： 1. 假設(shè)?y是“收入”基于常數(shù)和“年齡”變量回歸后 獲得的殘差； 2. 假設(shè)?z是“教育”基于常數(shù)和“年齡”變量回歸后 獲得的殘差； 3. “收入”和“教育”之間的偏相關(guān)系數(shù)?zyr是?y和?z 之間的簡單相關(guān)系數(shù)。在多元回歸中，“偏相關(guān)系數(shù)”經(jīng)常表示兩個(gè)變量之間的“直接關(guān)系”，這是一種分離其他變量影響之后的兩者之間的“凈關(guān)系”。因此，“擠出” 年齡 影響后的成分之間的關(guān)系是完全獨(dú)立于 年齡 的。 ? 偏回歸系數(shù)是這樣得到的：我們將 收入 和 教育 分別基于 年齡 回歸，得到回歸殘差。例如，我們可以比較兩個(gè)具有相同年齡但是不同教育水平的兩個(gè)個(gè)體的收入情況，雖然真實(shí)的數(shù)據(jù)中并不包含這樣的情形。如果年齡和教育是正相關(guān)的，那么上述回歸模型中收入的所有可以觀測的增加將同教育中的增加具有關(guān)聯(lián)。正常情形下，人們認(rèn)為較高的教育水平大都與較高的收入水平相關(guān)聯(lián)。這就是偏回歸系數(shù)的特征。例如，如果 )1,1(1 ??X，則可以得到常數(shù)項(xiàng)的估計(jì)為： KK bxbxyb ???? ?221 四、偏回歸與偏相關(guān)系數(shù) （ partial regression and partial correlation coefficients ） ? 多元回歸的用途之一，是提供了一個(gè)概念性框架，用以解決實(shí)踐中難以進(jìn)行的實(shí)驗(yàn)，就象經(jīng)濟(jì)學(xué)中的“其他假設(shè)不變” (ceteris paribus)的分析。 ? 從矩陣結(jié)構(gòu)可以看出，其與變量 X無關(guān)，只是一個(gè)數(shù)據(jù)轉(zhuǎn)換工具，其中的矩陣 Jn被稱為 列求和矩陣 。 此時(shí)殘差生成矩陣為： JIXXXXIXXXXIMn1)()( 11111111111 ?????????? ?? 此時(shí)1M的作用就是將數(shù)據(jù)進(jìn)行樣本均值為中心的中心化， 因此命題成立。 推論 ( C o r ol l ar y ) 具有常數(shù)項(xiàng)的回歸 包含常數(shù)項(xiàng)的多元回歸的斜率 估計(jì)可以按照下述方式獲得，首先將數(shù)據(jù)轉(zhuǎn)換為與其均值的偏離， 然后將y( 表示為與均值偏離的形式 ) 基于解釋變量 ( 表示為與均值 偏離的形式 ) 進(jìn)行回歸。這與將時(shí)間 T作為解釋變量放入模型中的效果是等同的。這種情形下的結(jié)果可以由下述推論得到： 推論 ( Co r ol l ar y ) 單獨(dú)回歸系數(shù) 在向量y基于變量],[ zXW ? 的多元最小二乘回歸中，變量 z 的系數(shù)可以按照下述公式計(jì)算： ?????? ?????? yzzzyMzzMz 11 )()()(c 這里 ?z 和?y是 z 和y基于 X 的最小二乘回歸的殘差向量。 ? 對于這個(gè)情形的一種特例，我們考慮向量 Y基于一組變量 X和一個(gè)附加變量 Z的最小二乘回歸問題。 y? 這個(gè)過程一般被稱為變量 X1作用的“擠出”或者“分離”過程。 注意到1M是冪等矩陣，則有： ????? ??? yXXXb21222 )( 其中 212 XMX ??，yMy 1?? ? 上述結(jié)論對于回歸分析來說是一個(gè)基礎(chǔ)結(jié)論，非常重要。 獲得系數(shù)1β的分塊最小二乘估計(jì)1b的表達(dá)式 ( 2. 29 ) 以后， 將其代入到分塊估計(jì)矩陣中，可以得到： yXbXXbXXXXXXyXXXXX 222222111112111112 )()( ??????????? ?? 從中獲得2b的估計(jì)式為： )()(]))(([]))(([121212111112121111122yMXXMXyXXXXIXXXXXXIXb???????????????? 注意到我們曾經(jīng)討論過的矩陣1M的性質(zhì)，這是一種基于數(shù)據(jù)1X 回歸的“殘差生成算子”，它作用到某個(gè)向量上所獲得的便是這個(gè) 向量基于數(shù)據(jù)1X回歸的殘差向量。 證明：如果回歸方程中的解釋變量是正交的，則有021 ?? XX。 ? 一種特殊情形是 ，這時(shí)， 正好是 y基于 X1的回歸系數(shù)。X(b)X(X22221121221111????????得到： )()()()( 22111122111111111 bXyXXXbXXXXyXXXb ?????????? ???根據(jù)第一個(gè)方程得到 ? 上述解的公式表明，系數(shù) 的最小二乘估計(jì) 是 y基于 X1的回歸系數(shù)，減去一個(gè)修正向量 。 ? 假設(shè)回歸方程中涉及到兩部分變量 X1和 X2，這時(shí)有： ? 由于 X=（ X1， X2）， k1 k2 εβXβXεβXy ????? 2211維維2121kk?????????????? 請問：根據(jù)模型 得到的 b1，是否與根據(jù)模型 得到的 b1相等？ εβXβXεβXy ????? 2211思考 ??? 11 βXy則有： ??????????????221221112121 )X,X()X,X(XXXXXXXXXX????????????yXyX2121 Y)X,X(YX? 從而，正規(guī)方程組 X ‘Y = X ’Xb變成： ? 從而得到 ?????????????????????????yXyXbbXXXXXXXX21212212211111211121222 )( ???? AAAAF??????????????????????????????yXyXXXXXXXXX21