【正文】 ? 例子：取自 Greene的 《 經(jīng)濟(jì)計(jì)量分析 》 投資與其余變量之間的關(guān)系表 簡(jiǎn)單相關(guān)系數(shù) 偏相關(guān)系數(shù) 時(shí)間 GNP 利率 通貨膨脹 注意到：偏相關(guān)系數(shù)的符號(hào)與多元回歸模型的參數(shù)符號(hào)相同。 根據(jù)已經(jīng)獲得的推論， 可以知道：cc zXXXbzyXXXd ???????? ?? 11 )()()( 代入到u的表達(dá)式中，得到： cccc ?? ?????????? zeMzezzXXXXXbyu 1)( 因此 ezzzeeuu ??? ??????? cc 2)(2 其中??? yMye，)( ????? ????? zzyzez c 證明： 因?yàn)???? zcxdy，所以 **zczMzzc)uzcxd(MzMyz????????????????yzez 總結(jié)上述推導(dǎo)可以得到下述重要結(jié)果： 定理 增加回歸變量時(shí)殘差平方和的變化 假設(shè)ee ?是y基于 X 線性回歸的最小二乘殘差平方和， uu ?是y基于 X 和z線性回歸的最小二乘殘差平方和。 定理 矩陣逆的對(duì)角元 如果],[ zXW ?，則1)( ??WW的最后 一個(gè)對(duì)角元是： 11 )()( ???? ??? zzzMz 這里zM??z，XXXXIM ???? ? 1)( 利用上述結(jié)果，可以得到： )/()())(()()()]1([222222??????????????????????? yyuuzzuuyzyzyzyzzzrrKntt 這里：czXdyu ???，是y基于],[ zXW ?回歸的殘差向量。但是，計(jì)算偏相關(guān)系數(shù) 具有一種捷徑，這就是一旦計(jì)算的多元回歸方程的估計(jì)，那么就可以 獲得檢驗(yàn)系數(shù)等于零的檢驗(yàn)統(tǒng)計(jì)量2zt，從而得到： fttrzzzy???222，f是自由度 利用推論， 假設(shè)W表示回歸變量的數(shù)據(jù)矩陣],[ zXW ?， 階數(shù)為)1( ?? Kn， 即???? zcxdy （ * ） 假設(shè)XXXXIM ???? ? 1)(。 現(xiàn)在的問(wèn)題是，我們?nèi)绾螌で蟆笆杖搿焙汀敖逃敝g的偏 相關(guān)系數(shù)，即排除年齡影響后，兩者之間的“凈關(guān)系”。我們知道， 年齡 對(duì)這些殘差毫無(wú)解釋能力。 一個(gè)更合適的模型是： ???? ?????? 年齡教育收入 321 我們還注意到，在獲得收入的早期，收入上升的速度一般都大于獲得收入的晚期時(shí)候，因此，可以將上述模型進(jìn)一步調(diào)整為： ????? ???????? 24321 年齡年齡教育收入 這個(gè)模型的關(guān)鍵特點(diǎn)是允許我們進(jìn)行一種觀念性的實(shí)驗(yàn) ( c o nc e p t u a l e x p e r i m e n t ) ，這種實(shí)驗(yàn)可能是現(xiàn)實(shí)數(shù)據(jù)中無(wú)法觀測(cè)到的。 例 收入和教育 ( e a r n i ng s a nd e d uc a t i on ) 大量的研究在關(guān)注收入和教育之間的關(guān)系。 例子： 中心化矩陣是對(duì)稱冪等矩陣嗎？ 其是否滿秩？ nn0 Jn1IM ????????????????????????yy. . .yyyyyyYMn3210最后一個(gè)問(wèn)題是，如果知道了系數(shù)2b，如何求解出 系數(shù)1b？其中一個(gè)方法是改變變量1X和2X的作用， 另外我們也可以直接從分塊矩陣中求解1b。 證明：根據(jù)上述定理，????? ??? yXXXb21222 )(，這里)1,1(1 ?? ?X。 例子： 這個(gè)命題的一個(gè)直接應(yīng)用是，可以考慮采用時(shí)間趨勢(shì)脫離后的殘差向量進(jìn)行替代，以求出包含時(shí)間變量的多元回歸系數(shù)。出于這個(gè)原因，多元回歸系數(shù)經(jīng)常被稱為 偏回歸系數(shù) (partial regression coefficients)。因此，21 XM是一個(gè)由殘差向量 構(gòu)成的殘差矩陣，每個(gè)列向量是基于它數(shù)據(jù)1X回歸的殘差向量。更為一般的結(jié)果可以由下述定理給出： 1β 1b221111 )( bXXXX ?? ?1b)( 22 bXy ?1b021 ?? XX yXXXb 11111 )( ??? ?? 定理 1： 正交分塊回歸 在變量 y基于兩部分變量 X1和 X2進(jìn)行多元線性回歸時(shí)，如果這兩個(gè)變量之間是正交的，則X1和 X2的回歸系數(shù)可以通過(guò)單獨(dú)進(jìn)行 y基于X1的回歸系數(shù)和基于 X2的回歸系數(shù)得到。Xb)XX(b)X(XYXb)X39。 （ 4）向量 y可以通過(guò)投影進(jìn)行正交分解，即分解為投影和殘差： y=Py+My。這也是向量 y在矩陣 X的各列生成的線性空間上的投影。即 yeY ?MzeZ ?MweW ?M? 顯然， X基于自己的線性回歸的最小二乘殘差一定為零，則必然有 (即使驗(yàn)證也十分顯然 )： 0?XM? 根據(jù)此性質(zhì)，我們來(lái)考察最小二乘估計(jì)的性質(zhì)。 二、投影和投影矩陣 —— OLS估計(jì)的幾何性質(zhì) 獲得最小二乘估計(jì)以后，可以獲得下述最小二乘殘差 ： Xbye ??將最小二乘估計(jì)的表達(dá)式代入，得到： yMyXXXXIyXXXXye ????????? ?? ])([)( 11其中定義的矩陣 在回歸分析中是非?；A(chǔ)和重要的。 設(shè) 樣本矩/)R()1( )X, . . . ,X(X ?， 總體矩/)R()1( )M, . . . ,M(M ?， 其中 kR ? 則馬氏距離為： )MX()MX()(Q 1/ ???? ?? 參數(shù)?的 G M M 估計(jì)就是使得)(Q ?達(dá)到最小的??。這就是 GMM。其參數(shù)估計(jì)結(jié)果與 OLS一致。 ? 隨機(jī)變量的均值和方差如何得到？ 例： 總體： E（ Yμ） =0 樣本矩（用樣本矩估計(jì)總體矩）： 滿足相應(yīng)的矩條件： ??????T1tt 0)?(YT1?? 同理，方差的估計(jì)量是樣本的二階中心矩。這樣一個(gè)思考題目就是，當(dāng)線性模型中不包含常數(shù)項(xiàng)時(shí)，結(jié)論是什么樣的？ 證明： ( 1 ) 根據(jù)正規(guī)方程，可知： 0)( ??????????? eXXbyXyXXbX 這說(shuō)明對(duì)于矩陣 X 的每一列kx，都有0?? ex k，由于矩陣 X 的 第 1 列中都是 1 ，所以得到 ( 因此這條性質(zhì)成立的前提條件是 回歸模型中包含常數(shù)項(xiàng) ) ： 0),)(1,1,1(121 ??? ??niin eeee ?? ( 2) 正規(guī)方程0???? yXXbX表示為矩陣形式為： ???????????????????????????????????????????????????????????????????????nTnKnKKKnKnKKTnKnKKyyyxxxxxxbbbxxxxxxxxxxxx???????????????????????2122221122122221122222112111111111 將上述矩陣方程的第一個(gè)方程表示出來(lái)，則有： ?????????????????????????????niiKniiKniiniiybbbxxx12111211?? 根據(jù)數(shù)據(jù)的樣本均值定義，則有： ????????? ??????niiKniiniixnxnxn112111,1,1?x