【正文】 多元線性回歸模型 簡(jiǎn)單線性回歸模型的推廣 1 第一節(jié) 多元線性回歸模型的概念 在許多實(shí)際問(wèn)題中 ， 我們所研究的因變量的變動(dòng)可能不僅與一個(gè)解釋變量有關(guān) 。 因此 ， 有必要考慮線性模型的更一般形式 ， 即多元線性回歸模型： t=1,2,… ,n 在這個(gè)模型中 ， Y由 X1,X2,X3, … XK所解釋 ， 有 K+1個(gè)未知參數(shù) β 0、 β β … β K 。 這里 ， “ 斜率 ” β j的含義是 其它變量不變的情況下 ， Xj改變一個(gè)單位對(duì)因變量所產(chǎn)生的影響 。 tktkttt XXXY uβ...βββ 22110 ??????2 例 1： 其中 ， Y=在食品上的總支出 X=個(gè)人可支配收入 P=食品價(jià)格指數(shù) 用美國(guó) 19591983年的數(shù)據(jù) ， 得到如下回歸結(jié)果 （ 括號(hào)中數(shù)字為標(biāo)準(zhǔn)誤差 ） ： Y和 X的計(jì)量單位為 10億美元 (按 1972不變價(jià)格計(jì)算 ). uβββ 210 ???? PXY )()()( 2 ???? RPXY），（數(shù)總消費(fèi)支出價(jià)格平減指 食品價(jià)格平減指數(shù) 100197 2100 ???P3 多元線性回歸模型中斜率系數(shù)的含義 上例中斜率系數(shù)的含義說(shuō)明如下： 價(jià)格不變的情況下 ， 個(gè)人可支配收入每上升 10億美元 （ 1個(gè) billion） ， 食品消費(fèi)支出增加 元 （ billion） 。 收入不變的情況下 ， 價(jià)格指數(shù)每上升一個(gè)點(diǎn) ， 食品消費(fèi)支出減少 （ billion） 4 例 2： 其中 ， Ct=消費(fèi) ， Dt=居民可支配收入 Lt=居民擁有的流動(dòng)資產(chǎn)水平 β 2的含義是 ， 在流動(dòng)資產(chǎn)不變的情況下 ， 可支配收入變動(dòng)一個(gè)單位對(duì)消費(fèi)額的影響 。 這是收入對(duì)消費(fèi)額的直接影響 。 收入變動(dòng)對(duì)消費(fèi)額的總影響 =直接影響 +間接影響 。 （ 間接影響：收入影響流動(dòng)資產(chǎn)擁有量 ?影響消費(fèi)額 ） 但在模型中這種間接影響應(yīng)歸因于流動(dòng)資產(chǎn) ， 而不是收入， 因而 ， β 2只包括收入的直接影響 。 在下面的模型中： 這里 ， β 是可支配收入對(duì)消費(fèi)額的總影響 ， 顯然 β 和 β 2的 含義是不同的 。 tttt uLDC ???? 321 βββntuDC ttt ,...,2,1, ???? ??5 回到一般模型 t=1,2,… ， n 即對(duì)于 n組觀測(cè)值 ， 有 tktkttt XXXY uβ...βββ 22110 ?????? nKnKnnnnKKKKuXXXXuXXXXYuXXXXY?????????????????????β...ββββ..... .β...βββββ...ββββ3322110223232221210211313212111016 其矩陣形式為： 其中 ???????????????nYYYY...21?????????????KnnKKXXXXXXX...1...............1...11212111uXY ?? ?????????????????????????????????nKuuuu...,...21210?????7 第二節(jié) 多元線性回歸模型的估計(jì) 多元線性回歸模型的估計(jì)與雙變量線性模型類似 ， 仍采用最小二乘法 。 當(dāng)然 ， 計(jì)算要復(fù)雜得多 ， 通常要借助計(jì)算機(jī) 。理論推導(dǎo)需借助矩陣代數(shù) 。 下面給出最小二乘法應(yīng)用于多元線性回歸模型的假設(shè)條件 、 估計(jì)結(jié)果及所得到的估計(jì)量的性質(zhì) 。 一 ． 假設(shè)條件 （ 1） E(ut)=0, t=1,2,… ,n （ 2） E(ui uj)=0, i≠j （ 3） E(ut2)=σ2, t=1,2,…,n （ 4） Xjt是非隨機(jī)量， j=1,2, … k t=1,2, … n 8 除上面 4條外 ， 在多個(gè)解釋變量的情況下 ， 還有兩個(gè)條件需要滿足： （ 5） （ K+1） n。 即觀測(cè)值的數(shù)目要大于待估計(jì)的參數(shù)的個(gè)數(shù) （ 要有足夠數(shù)量的數(shù)據(jù)來(lái)擬合回歸線 ） 。 （ 6） 各解釋變量之間不存在嚴(yán)格的線性關(guān)系 。 9 上述假設(shè)條件可用矩陣表示為以下四個(gè)條件： (1) E(u)=0 (2) 由于 顯然 ， 僅當(dāng) E(ui uj)=0 , i≠j E(ut2) = σ2, t=1,2,… ,n 這兩個(gè)條件成立時(shí)才成立 ， 因此 ， 此條件相當(dāng)前面條件(2), (3)兩條 ， 即各期擾動(dòng)項(xiàng)互不相關(guān) ， 并具有常數(shù)方差 。 nIuuE 2, )( ??? ????????????????????????????????22122212121212121..... ......... .......... .......... .......... ...... .......nnnnnnn uuuuuuuuuuuuuuuuuuuuuuunIuuE 2)( ???10 （ 3） X 是 是一個(gè)非隨機(jī)元素矩陣 。 （ 4） Rank(X) = (K+1) n. 相當(dāng)于前面 (5)、 (6) 兩條 即矩陣 X的秩 =（ K+1) n 當(dāng)然，為了后面區(qū)間估計(jì)和假設(shè)檢驗(yàn)的需要，還要加 上一條： （ 5） ～ ， t=1,2,… n ),0( 2?Ntu11 二 ． 最小二乘估計(jì) 我們的模型是： t=1,2,… n 問(wèn)題是選擇 ， 使得殘差平方和最小 。 殘差為： k??? ?,....,?,? 10 KtKtttttXXYYYeβ?....β???110 ???????? tktkttt XXXY uβ...βββ 22110 ??????12 要使殘差平方和 為最小 ， 則應(yīng)有： 我們得到如下 K+1個(gè)方程 （ 即正規(guī)方程 ） ： ? ? 21102 β?...β??? ? ?????? KtKttt XXYeS ? 0?...,0?,0?10?????????KSSS???13 按矩陣形式，上述方程組可表示為： ???????????????????????????????????????????????tktKtKtktktttKttKtttttKttKtttKtKtYXXXXXYXXXXXXYXXXXXYXXn211022121201121110110β..... .ββ..... ...... ...... ...... .β..... .βββ..... .βββ..... .ββ14 = )39。( XX?β 39。XY 即 YXXX 39。β)39。( ????????????????????????2112111.....................KttKtKtKttttKttXXXXXXXXXXn?????????????????Kβ...ββ10????????????????????????nKnKKnYYYXXXXXX.....................1...1121211121115 上述結(jié)果 ， 亦可從矩陣表示的模型 出發(fā) ， 完全用矩陣代數(shù)推導(dǎo)出來(lái) 。 殘差可用矩陣表示為： 其中： ?? ? βXY?????????????????? YYeeene...21uXY ?? ?16 殘差平方和 )()(?? ???? YYYY)β()β( ?? ???? XYXY )β)(β( ?? ?????? XYXY ???? ?????????? ββββ XXXYYXYY? ??? eeeS t217 注意到上式中所有項(xiàng)都是標(biāo)量 ， 且 故 令 用矩陣微分法 ， 我們可得到 與采用標(biāo)量式推導(dǎo)所得結(jié)果相同 。 由上述結(jié)果 ， 我們有 ?????? β)?( XYYX? ??????????? βββ2 XXYXYYS0β)( ????SYXXX ??? ?β YXXX ??? ?? 1)(β18 YXXX ??? ?? 1)(β三 . 最小二乘估計(jì)量 的性質(zhì) 我們的模型為 估計(jì)式為 1． 的均值 ?β? ?? β? XY uX ?? ?)uβ()( 1 ???? ? XXXX u)(β)( 11 XXXXXXX ?????? ?? u)(β 1 XXX ???? ?19 （ 由假設(shè) 3） (由假設(shè) 1) 即