【正文】 察最小二乘估計(jì)的性質(zhì)。 設(shè) 樣本矩/)R()1( )X, . . . ,X(X ?， 總體矩/)R()1( )M, . . . ,M(M ?， 其中 kR ? 則馬氏距離為： )MX()MX()(Q 1/ ???? ?? 參數(shù)?的 G M M 估計(jì)就是使得)(Q ?達(dá)到最小的??。其參數(shù)估計(jì)結(jié)果與 OLS一致。這樣一個(gè)思考題目就是，當(dāng)線性模型中不包含常數(shù)項(xiàng)時(shí)，結(jié)論是什么樣的？ 證明： ( 1 ) 根據(jù)正規(guī)方程，可知： 0)( ??????????? eXXbyXyXXbX 這說明對(duì)于矩陣 X 的每一列kx，都有0?? ex k，由于矩陣 X 的 第 1 列中都是 1 ，所以得到 ( 因此這條性質(zhì)成立的前提條件是 回歸模型中包含常數(shù)項(xiàng) ) ： 0),)(1,1,1(121 ??? ??niin eeee ?? ( 2) 正規(guī)方程0???? yXXbX表示為矩陣形式為： ???????????????????????????????????????????????????????????????????????nTnKnKKKnKnKKTnKnKKyyyxxxxxxbbbxxxxxxxxxxxx???????????????????????2122221122122221122222112111111111 將上述矩陣方程的第一個(gè)方程表示出來，則有： ?????????????????????????????niiKniiKniiniiybbbxxx12111211?? 根據(jù)數(shù)據(jù)的樣本均值定義，則有： ????????? ??????niiKniiniixnxnxn112111,1,1?x 也即：bx?y （ 3）的證明方法 1 因?yàn)?Σei=0，所以對(duì) 兩邊求和即可。 因?yàn)?x是滿秩的（假設(shè) 2），所以（ X ‘X） 1存在。 167。 這是收入對(duì)消費(fèi)額的直接影響 。 同方差性和非自相關(guān)性。即要求模型關(guān)于參數(shù)是線性的，關(guān)于擾動(dòng)項(xiàng)是可加的。 ? 多元線性回歸模型參數(shù)估計(jì)的原理與一元線性回歸模型相同，只是計(jì)算更為復(fù)雜。 多元線性回歸模型的描述 多元線性回歸模型的形式 ? 由于在實(shí)際經(jīng)濟(jì)問題中，一個(gè)變量往往受到多個(gè)原因變量的影響； ? “從一般到簡(jiǎn)單”的建模思路。 在計(jì)量經(jīng)濟(jì)學(xué)分析中，通常會(huì)借助矩陣工具，在此亦將多元線性模型表示成矩陣形式，以便于下一步的數(shù)學(xué)運(yùn)算。 （ 4） x的 DGP是外生的。 在經(jīng)典回歸模型的諸假設(shè)下 ， 對(duì) （ 1） 式兩邊求條件期望得 E（ Y|X1,X2,… Xk)= x1?1 + x2?2 +… + xk ?k ?偏回歸系數(shù) 的含義如下： ?1度量著在 X2,X3,…,X k保持不變的情況下， X1每變化 1個(gè)單位時(shí)， Y的均值 E(Y)的變化，或者說?1給出 X1的單位變化對(duì) Y均值的“直接”或“凈”（不含其他變量）影響。 tttt uLDC ???? 321 βββntuDC ttt ,...,2,1, ???? ?? 需要說明的是 ， 如果令 x1≡ 1， 則 ?1便是常數(shù)項(xiàng) 。β)39。 顯然，根據(jù)正定矩陣的定義或者正定矩陣的判斷準(zhǔn)則，可知當(dāng)矩陣的滿秩條件滿足時(shí)，矩陣是正定的，因此最小二乘解的充分性成立。 ? 現(xiàn)在，考慮一元線性回歸模型中的假設(shè)條件： 0)E ( x0)(Ettt????? 其所對(duì)應(yīng)的樣本矩條件分別為： ? ?? ???T1tT1tt10tt 0)xbb(yT1?T1?? ?? ?????T1tT1tt10tttt 0)xbby(xT1?xT1?? 可見，與 OLS估計(jì)量的正規(guī)方程組是相同的。 kjxE jii ,2,1,0)( ????? 廣義矩估計(jì)中，矩條件的個(gè)數(shù)大于參數(shù)個(gè)數(shù)，會(huì)出現(xiàn)什么問題呢？ 過度識(shí)別 ? 則必須想辦法調(diào)和出現(xiàn)在過度識(shí)別系統(tǒng)中相互沖突的估計(jì)。顯然，這個(gè)矩陣是對(duì)稱冪等矩陣： XXXXIM ???? ? 1)(MM ?? 2MM ? 其次，還有一些重要的性質(zhì)需要注意，例如對(duì)稱冪等矩陣的特征根非 0即 1(對(duì)稱矩陣的特征根均為實(shí)數(shù) )，因此矩陣具有性質(zhì)：矩陣的跡等于矩陣的秩。 XXXXP ???? ? 1)(? 注釋：假設(shè) y在矩陣 X的各列生成的線性空間上的投影是 yp ，則 yp的定義是： bXy ~?Pb~ m in|||| ?? yy P且選擇 使得 ? 由于上述向量之間的模與最小二乘距離是一致的，因此投影值便是最小二乘估計(jì)的擬合值，即 又被稱為帽子矩陣。X(b)X(X22221121221111????????得到： )()()()( 22111122111111111 bXyXXXbXXXXyXXXb ?????????? ???根據(jù)第一個(gè)方程得到 ? 上述解的公式表明，系數(shù) 的最小二乘估計(jì) 是 y基于 X1的回歸系數(shù)，減去一個(gè)修正向量 。 注意到1M是冪等矩陣，則有： ????? ??? yXXXb21222 )( 其中 212 XMX ??，yMy 1?? ? 上述結(jié)論對(duì)于回歸分析來說是一個(gè)基礎(chǔ)結(jié)論，非常重要。這與將時(shí)間 T作為解釋變量放入模型中的效果是等同的。例如，如果 )1,1(1 ??X，則可以得到常數(shù)項(xiàng)的估計(jì)為： KK bxbxyb ???? ?221 四、偏回歸與偏相關(guān)系數(shù) （ partial regression and partial correlation coefficients ） ? 多元回歸的用途之一，是提供了一個(gè)概念性框架，用以解決實(shí)踐中難以進(jìn)行的實(shí)驗(yàn)，就象經(jīng)濟(jì)學(xué)中的“其他假設(shè)不變” (ceteris paribus)的分析。例如，我們可以比較兩個(gè)具有相同年齡但是不同教育水平的兩個(gè)個(gè)體的收入情況，雖然真實(shí)的數(shù)據(jù)中并不包含這樣的情形。 一般的做法是： 1. 假設(shè)?y是“收入”基于常數(shù)和“年齡”變量回歸后 獲得的殘差； 2. 假設(shè)?z是“教育”基于常數(shù)和“年齡”變量回歸后 獲得的殘差； 3. “收入”和“教育”之間的偏相關(guān)系數(shù)?zyr是?y和?z 之間的簡(jiǎn)單相關(guān)系數(shù)。 證明 1 ：1)( ??WW的最后一個(gè)對(duì)角元是：11 )()( ???? ??? zzzMz 參考 ： ?????????????????????????yXyXbbXXXXXXXX212122122111 上述四塊矩陣可以通過下述分塊逆矩陣公式得到： ?????????????????????211121221211111121212111122211211 )(FAAFFAAAAFAIAAAAA 11211121222 )(???? AAAAF 證明 2 ：連等式證明 1**221**21**2222)zz)((cc)1kn()zz(1knc)zz(1knc)1kn(????????????????????????????????zzzyttr 又知： **1**Yz)zz(c???? ， 代入可得： ))(()()(r222*yz????????????zzuuyzyz 分子分母分別除以)zz)(y(y****?? ，有 )/()(r222