【正文】 二次函數(shù)，因此其最小值存在，取最小值的條件就是 21?,? ??0?,0?21????????由此得到關(guān)于 的線性方程組，解之得 21 ?,? ??XYxyxniiniii211212??,? ??? ???????其中 xi， yi分別為 Xi, Yi的中心化數(shù)據(jù)（也稱離差） XXx ii ??YYy ii ??在高斯的基本假設(shè)下，按上式計(jì)算得到的參數(shù)估計(jì)值 是最優(yōu)的線性無偏估計(jì)量 (BLUE, Best Linear Unbiased Estimator)。 21 ?,? ??21 ?,? ??具體來說 模型是線性的 是線性的 21 ?,? ??假設(shè)（ 2）、（ 6） 是無偏的 21 ?,? ??假設(shè)（ 3）、（ 4） 具有最小方差 21 ?,? ??注：對于 是 BLUE來說，（ 5）是不必要的。 21 ?,? ??21 ?,? ?? 多元線性回歸 在實(shí)際問題中，常常需要研究一個(gè)被解釋變量，多個(gè)解釋變量的線性回歸模型 uXXY kk ????? ??? ?221例 （詳見 《 商務(wù)與經(jīng)濟(jì)統(tǒng)計(jì) 》 ）位于南加州的巴特勒運(yùn)輸公司的管理人員為制定最佳的工作計(jì)劃，希望估計(jì)他們的司機(jī)每天行駛的時(shí)間。 對公司的實(shí)際數(shù)據(jù)，采用普通最小二乘法估計(jì)出回歸方程為 XY 0 6 7 ??通過對方程的分析，公司的管理人員發(fā)現(xiàn)，雖然這一結(jié)果不錯(cuò)，但方程只能解釋每天行駛時(shí)間的變異性的%。 管理人員在研究其它影響行駛時(shí)間的因素時(shí)，覺得運(yùn)送貨物的次數(shù)也會(huì)影響行駛的時(shí)間。這已是相當(dāng)好的結(jié)果了?；貧w分析的目的就是利用由樣本數(shù)據(jù)產(chǎn)生的這 n個(gè)表達(dá)式估計(jì)模型的參數(shù)，得到模型的參數(shù)估計(jì)值 使得回歸方程 k??? ?, .. . ,?,? 21最好地?cái)M合了所有樣本數(shù)據(jù)。為因變量觀測值列向量uβXY高斯假設(shè) （ 1） u是隨機(jī)向量； （ 2） E ( u ) = 0 ； 這里 ????????????????????????????????????????)()()()(2121nnuEuEuEuuuEE??u所以這一假設(shè)就是 要求所有的隨機(jī)擾動(dòng)項(xiàng)的期望值為零 。 （ 4） ),0(~ 2nuN Iu ?注意這一條件是用矩陣形式給出的。 用數(shù)學(xué)表達(dá)式的形式，后者就是 .,. .. ,1。 k?)( X??????????????knnkkXXXXXX???????2222121111X在（ 6）中的要求 k n，實(shí)際上是要求樣本數(shù)據(jù)的數(shù)量 n大于解釋變量的個(gè)數(shù)（或待估計(jì)的參數(shù)的個(gè)數(shù)）k。而要求 k?)( X?意味著矩陣 X是滿列秩的，即其所有列向量線性無關(guān)。 其他假設(shè)： （ 7） 行列式 |XTX|遠(yuǎn)離零。 由于殘差的平方和可以表示為 βXXββXYYYβXXβYXββXYYYβXYXβYβXYβXYYYYY???2????)?)(?()?()?()?()?(TTTTTTTTTTTTTTTQ????????????????YXβXX TT ??而 βXXYXβ?22? ??????? Q要使殘差的平方和最小就必須 ，即 0? ??? βQ這就是所謂的 正規(guī)方程組 ，其解就是要求的估計(jì)量。因此正規(guī)方程組的解為 XX?YXXXβ ??? ? 1)(?這就是要求的普通最小二乘 (OLS)估計(jì)量。若當(dāng) 時(shí)， 收斂于非奇異矩陣，則普通最小二乘估計(jì)量 還是一致估計(jì)量。 具體來說 模型是線性的 OLS估計(jì)量是線性的 假設(shè)（ 2）、（ 5） OLS估計(jì)量是無偏的 假設(shè)（ 3） OLS估計(jì)量具有最小方差 假設(shè)（ 6） OLS估計(jì)量的存在性 假設(shè)（ 4） OLS估計(jì)量服從正態(tài)分布 普通最小二乘估計(jì)量的方差和分布 為了計(jì)算 的方差，考慮 的方差 協(xié)方差矩陣 i??β?])39。?(?))(?(?[()?(βββββββββ??????EEEECov而 uXXXββ 39。(? 1??? 所以 12112121111111)39。(39。()39。)39。()39。)39。(39。)39。39。][(39。{ [ (])39。 于是有 或 1)( ?jjT XX 1)( ?XX Tjjuj cV a r2)?( ?? ?jju cj ?? ? ??可以證明： （ 1） 服從正態(tài)分布 j?? ),( 2 jjuj cN ??（ 2） 服從 分布 jjujj c22)?( ??? ? )1(2? 隨機(jī)擾動(dòng)項(xiàng)方差的無偏估計(jì) 在上面的討論中可以看到我們要經(jīng)常用到隨機(jī)擾動(dòng)項(xiàng)的方差 。不過可以證明 2u?knkne Tniiu ?????? ee122??是 的無偏估計(jì)量 2u? 判定系數(shù) R2（ Coefficient of Determination) 設(shè)想有如下圖所示的兩個(gè)樣本，要分別建立能擬合它們的線性回歸方程。這一觀察表明： （ 1）使用不同的數(shù)據(jù)建立的線性回歸方程對樣本數(shù)據(jù)的擬合程度是有差別的。 YiY?iYiX可以看出離差（此處稱為 總變差） 可分解為 YYy ii ??YYYYYY iiii ????? ??其中 ii YY ??— 殘差 YYi ?? — 解釋變差 并且可以證明 ???????????niiniiinii YYYYYY121212 )?()?()(即 總變差的平方和 =殘差的平方和 +解釋變差的平方和 明顯地，線性回歸方程對樣本數(shù)據(jù)的擬合情況越好，殘差平方和就越小，從而殘差平方和在總變差平方和中占的比重就越小，于是解釋變差平方和占的比重就越大。實(shí)際上 R2越大，能用線性回歸方程解釋的被解釋變量變異性的比例越大 ?，F(xiàn)在采用美國商務(wù)部經(jīng)濟(jì)分析局及聯(lián)邦儲(chǔ)備銀行的數(shù)據(jù)（ 19701982年）估計(jì)模型 02 ?? 03 ??年份 Y* X 2 X 31970 1971 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981 1982 8* 消費(fèi)者價(jià)格指數(shù)的百分率變化根據(jù)上表，可知回歸的結(jié)果為 )()()( 232????? RXXY ttt可見這一回歸結(jié)果還是比較好的，判定系數(shù)表明，兩個(gè)解釋變量合起來，可以解釋真實(shí)通貨膨脹率的變異的 %。 3? 回歸效果的 F檢驗(yàn) 盡管判定系數(shù)較好地說明了回歸效果，但它沒有提供一個(gè)客觀的標(biāo)準(zhǔn)來判斷回歸效果是否可以接受。 原假設(shè) H0： 032 ???? k??? ?若不拒絕 H0，則表明回歸模型表示的線性關(guān)系并不顯著，否則回歸模型所表示的線性關(guān)系是顯著的，因此回歸效果是可以接受的。 在 F統(tǒng)計(jì)量的表達(dá)式中，分子與分母同時(shí)除以總變差平方和就可得 校正的判定系數(shù)(Adjusted R2) 前面定義的判定系數(shù) R2中不含自由度，因此 在解釋變量的個(gè)數(shù) k增加時(shí)， R2會(huì)變大，但它并不意味回歸效果的改善 。這可通過如下的方式進(jìn)行檢驗(yàn)。 備擇假設(shè) H1： βj ? 0 檢驗(yàn)統(tǒng)計(jì)量 ： jjjt??????? ??其中記號 稱為 的 標(biāo)準(zhǔn)誤差 表示將 的標(biāo)準(zhǔn)差 中的 換成 的結(jié)果。 j??j??? u? u??j???? j??對給定的顯著性水平 α，查 t分布表可得臨界值 )(2 knt ??若 則拒絕 H0，而不拒絕 H1。 )(|| 2 kntt ?? ? j?這一檢驗(yàn)稱為系數(shù) 的顯著性檢驗(yàn)。 j??反之若系數(shù) 沒有通過顯著性檢驗(yàn)，則表明變量 Xj對被解釋變量的線性影響關(guān)系并不顯著，因此 可以考慮將它從回歸模型中剔除出去 。 此外， t檢驗(yàn)統(tǒng)計(jì)量也可用于 0jj ?? ?的檢驗(yàn)。我們已經(jīng)提到對變量 X3t— 時(shí)期 t的預(yù)期通貨膨脹率，我們預(yù)期其系數(shù)的值為 1，但實(shí)際估計(jì)值為。這時(shí) 6 7 3 1 7 5 7 8 14 7 0 0 3 ????????jjjt????而在顯著性水平 5%下，臨界值為 tα =，可見 X3的系數(shù)是顯著異于 1的 。一種經(jīng)典的處理方式是將所有變量 標(biāo)準(zhǔn)化。 標(biāo)準(zhǔn)化以后的變量均值為 0，而方差為 1。通常的統(tǒng)計(jì)軟件會(huì)自動(dòng)計(jì)算標(biāo)準(zhǔn)回歸系數(shù)。 逐步回歸 F檢驗(yàn) 為了檢驗(yàn)回歸方程某個(gè)系數(shù)是否顯著異于零，可使用前面介紹的 T檢驗(yàn)，那里我們采用檢驗(yàn)統(tǒng)計(jì)量 jjjt??????? ??來檢驗(yàn)系數(shù) βj是否顯著地為零，以便考慮是否應(yīng)剔除變量 Xj。因此在這種情況下，根據(jù) T檢驗(yàn)的結(jié)果來剔除 Xj就不是適當(dāng)?shù)摹? 原假設(shè) H0： βj = 0 備擇假設(shè) H0： βj ? 0 由于 服從分布 ， （其中 Q為殘差平方和）服從分布 。 偏解釋變差（偏回歸平方和） 若在回歸模型 uXXY kk ????? ??? ?221將自變量 Xj從解釋變量中剔除，我們實(shí)際上得到新的模型 uXXXXY kkjjjj ???????? ???? ????? ?? 1111221估計(jì)該模型得到一個(gè)新的回歸方程 kkjjjj XXXXY *1* 11* 12*2*1 ?????*? ????? ??????? ???? ??分別用小寫的 x,y表示中心化的數(shù)據(jù)（即離差）則原來的回歸方程和新回歸方程可分別表示為 kk xxy ?? ??? 22 ??? ?和 kkjjjj xxxxy *1* 11* 12*2 ????*? ???? ?????? ???? ??對于第 i個(gè)數(shù)據(jù)， 恰好就是解釋變差。 解釋變差反映了回歸方程解釋作用的大小，剔除掉的變量多少會(huì)有一點(diǎn)解釋作用因此一般有 ?? ?iiii yy22* )?()?(并且 ?? ?iiii yy2*2 )?()?(就度量了 被刪除的變量 Xj對解釋變差的貢獻(xiàn) ，并且稱它為 Xj的 偏解釋變差（偏回歸平方和） 。于是我們前面使用的 F統(tǒng)計(jì)量 QVknQcknF jjjjj)(?)( 2 ???? ?是變量 Xj的偏解釋變差與殘差平方和（未解釋變差平方和）與相應(yīng)的自由度的商之比。 逐步回歸法 逐步回歸法的基本思路 ： 在考慮被解釋變量 Y對一組解釋變量的回歸時(shí)，只將那些對解釋變差貢獻(xiàn)較大的變量作為解釋變量，那些貢獻(xiàn)小的則不能作為解釋變量 。需注意的是每次進(jìn)入模型的變量的這一統(tǒng)計(jì)量都必須接受在一給定的顯著性水平的顯著性檢驗(yàn)，只有通過檢驗(yàn)的變量才進(jìn)入。先讓所有變量進(jìn)入模型，然后逐步將統(tǒng)計(jì)量 Fj的值小的變量從模型中剔除，剩下那些該統(tǒng)計(jì)量能通過在某一給定顯著性水平下的顯著性檢驗(yàn)的變量。值得注意的是在 SPSS中默認(rèn)的“進(jìn)入”變量的F統(tǒng)計(jì)量顯著性的概率為 ，而“出來”的顯著性