【文章內(nèi)容簡介】 服從 分布 jjujj c22)?( ??? ? )1(2? 隨機(jī)擾動(dòng)項(xiàng)方差的無偏估計(jì) 在上面的討論中可以看到我們要經(jīng)常用到隨機(jī)擾動(dòng)項(xiàng)的方差 。然而隨機(jī)擾動(dòng)項(xiàng)的方差是觀察不到的。不過可以證明 2u?knkne Tniiu ?????? ee122??是 的無偏估計(jì)量 2u? 判定系數(shù) R2（ Coefficient of Determination) 設(shè)想有如下圖所示的兩個(gè)樣本，要分別建立能擬合它們的線性回歸方程。 直觀上容易看出，左邊的圖形顯示的數(shù)據(jù)建立的回歸方程對(duì)樣本數(shù)據(jù)的擬合情況更好。這一觀察表明： （ 1）使用不同的數(shù)據(jù)建立的線性回歸方程對(duì)樣本數(shù)據(jù)的擬合程度是有差別的。 （ 2）線性回歸方程對(duì)樣本數(shù)據(jù)的擬合程度越好，樣本數(shù)據(jù)所代表的解釋變量與被解釋變量之間的線性關(guān)系就越顯著，從而越適合用線性回歸方程來描述解釋變量與被解釋變量的相關(guān)關(guān)系。 YiY?iYiX可以看出離差（此處稱為 總變差） 可分解為 YYy ii ??YYYYYY iiii ????? ??其中 ii YY ??— 殘差 YYi ?? — 解釋變差 并且可以證明 ???????????niiniiinii YYYYYY121212 )?()?()(即 總變差的平方和 =殘差的平方和 +解釋變差的平方和 明顯地，線性回歸方程對(duì)樣本數(shù)據(jù)的擬合情況越好，殘差平方和就越小，從而殘差平方和在總變差平方和中占的比重就越小，于是解釋變差平方和占的比重就越大。 ??????????????niiniiniiniiiYYYYYYYY12121212)()?()()?(1解釋變差平方和占的比重 我們就把解釋變差平方和在總變差平方和中占的比重稱為 判定系數(shù) ，記為 R2，即 ??????????????????????niiniiniiniiiniiniiYYeYYYYYYYYR1212121212122)(1)()?(1)()?(或者使用矩陣與離差的記號(hào) ???? niiTyR122 1 eeR2越接近于 1，線性回歸方程對(duì)樣本的擬合程度越好，也就是，整體回歸效果越好。實(shí)際上 R2越大，能用線性回歸方程解釋的被解釋變量變異性的比例越大 。 此外稱 R為 復(fù)相關(guān)系數(shù) (Multiple Correlation Coefficient). 例 19701982年美國“期望擴(kuò)充”菲利普斯曲線 考慮如下的模型 tttt uXXY ???? 33221 ???其中 Yt— 時(shí)期 t的真實(shí)通貨膨脹率（ %） X2t— 時(shí)期 t的失業(yè)率（ %） X3t— 時(shí)期 t的預(yù)期通貨膨脹率（ %） 根據(jù)宏觀經(jīng)濟(jì)理論，預(yù)期有 ， 并且值應(yīng)該接近 1?，F(xiàn)在采用美國商務(wù)部經(jīng)濟(jì)分析局及聯(lián)邦儲(chǔ)備銀行的數(shù)據(jù)（ 19701982年）估計(jì)模型 02 ?? 03 ??年份 Y* X 2 X 31970 1971 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981 1982 8* 消費(fèi)者價(jià)格指數(shù)的百分率變化根據(jù)上表，可知回歸的結(jié)果為 )()()( 232????? RXXY ttt可見這一回歸結(jié)果還是比較好的，判定系數(shù)表明，兩個(gè)解釋變量合起來，可以解釋真實(shí)通貨膨脹率的變異的 %。此外直觀地， 并不為 1，但可利用后面將要介紹的系數(shù)的 t檢驗(yàn)，檢驗(yàn)它是否顯著異于 1。 3? 回歸效果的 F檢驗(yàn) 盡管判定系數(shù)較好地說明了回歸效果，但它沒有提供一個(gè)客觀的標(biāo)準(zhǔn)來判斷回歸效果是否可以接受。這可以通過如下的 F檢驗(yàn)來判別。 原假設(shè) H0： 032 ???? k??? ?若不拒絕 H0，則表明回歸模型表示的線性關(guān)系并不顯著，否則回歸模型所表示的線性關(guān)系是顯著的，因此回歸效果是可以接受的。 檢驗(yàn)統(tǒng)計(jì)量 )()1()?(1212knekYYF niinii?????????其自由度殘差平方和其自由度解釋變差平方和易知 ),1(~ knkFF ?? F與 R2的關(guān)系 2211 RRkknF?????這就是為什么我們說拒絕了 H0，就表明總的回歸效果較好的緣故。 在 F統(tǒng)計(jì)量的表達(dá)式中，分子與分母同時(shí)除以總變差平方和就可得 校正的判定系數(shù)(Adjusted R2) 前面定義的判定系數(shù) R2中不含自由度，因此 在解釋變量的個(gè)數(shù) k增加時(shí)， R2會(huì)變大，但它并不意味回歸效果的改善 。為了得到不依賴自由度變化的回歸效果的檢驗(yàn)，可以考慮使用 校正的判定系數(shù) ，即考慮了自由度的判定系數(shù)： knnRnYYkneRniinii??????????????1)1(1)1()()(1212122a d j2adjR剔除了自由度影響，且也可以用來衡量回歸效果 回歸系數(shù)的 T檢驗(yàn) 對(duì)線性回歸模型，除了需要考慮總的回歸效果外，還需要考慮每個(gè)解釋變量對(duì)被解釋變量的影響是否顯著。這可通過如下的方式進(jìn)行檢驗(yàn)。 原假設(shè) H0： βj = 0。 備擇假設(shè) H1： βj ? 0 檢驗(yàn)統(tǒng)計(jì)量 ： jjjt??????? ??其中記號(hào) 稱為 的 標(biāo)準(zhǔn)誤差 表示將 的標(biāo)準(zhǔn)差 中的 換成 的結(jié)果。 t服從自由度為 n – k 的 t分布。 j??j??? u? u??j???? j??對(duì)給定的顯著性水平 α，查 t分布表可得臨界值 )(2 knt ??若 則拒絕 H0，而不拒絕 H1。這表明 顯著異于零，因此解釋變量 Xj對(duì)被解釋變量有顯著影響。 )(|| 2 kntt ?? ? j?這一檢驗(yàn)稱為系數(shù) 的顯著性檢驗(yàn)。拒絕 H0，稱通過了顯著性檢驗(yàn) 。 j??反之若系數(shù) 沒有通過顯著性檢驗(yàn)，則表明變量 Xj對(duì)被解釋變量的線性影響關(guān)系并不顯著，因此 可以考慮將它從回歸模型中剔除出去 。 j??在前面的美國 “ 期望擴(kuò)充 ” 的菲利普斯曲線中，變量X1， X2系數(shù)的 t統(tǒng)計(jì)值分別為 ， ，可見它們對(duì)被解釋變量的影響都是顯著的。 此外， t檢驗(yàn)統(tǒng)計(jì)量也可用于 0jj ?? ?的檢驗(yàn)。仍以 前面的美國 “ 期望擴(kuò)充 ” 的菲利普斯曲線為例。我們已經(jīng)提到對(duì)變量 X3t— 時(shí)期 t的預(yù)期通貨膨脹率，我們預(yù)期其系數(shù)的值為 1，但實(shí)際估計(jì)值為?，F(xiàn)在來檢驗(yàn)它是否顯著異于 1。這時(shí) 6 7 3 1 7 5 7 8 14 7 0 0 3 ????????jjjt????而在顯著性水平 5%下，臨界值為 tα =，可見 X3的系數(shù)是顯著異于 1的 。 對(duì)于系數(shù) ，利用前面的 T統(tǒng)計(jì)量，可以得到它在指定置信水平 1α下的置信區(qū)間為： j?))(??),(??( 2?2? kntkntjj jj?????? ???? ????在多元線性回歸統(tǒng)計(jì)性質(zhì)研究中，人們最注重的是如下三個(gè)統(tǒng)計(jì)量： ???? niiTyR122 1 ee)()1()?(1212knekYYF niinii?????????其自由度殘差平方和其自由度解釋變差平方和jjjt??????? ?? 標(biāo)準(zhǔn)回歸系數(shù) 在回歸方程中，自變量的單位（例如，元，百元，萬元等）對(duì)回歸系數(shù)的數(shù)量級(jí)有很大的影響，如果要簡單比較自變量對(duì)因變量作用的大小，就應(yīng)剔除自變量單位的影響。一種經(jīng)典的處理方式是將所有變量 標(biāo)準(zhǔn)化。 所謂標(biāo)準(zhǔn)化就是對(duì)變量 Y, X1, X2, …, Xk進(jìn)行如下處理： Yjjjj SYYySXXx ???? ,其中 Sj, SY分別表示變量 Xj, Y的樣本數(shù)據(jù)的標(biāo)準(zhǔn)差。 標(biāo)準(zhǔn)化以后的變量均值為 0，而方差為 1。 經(jīng)過標(biāo)準(zhǔn)化處理，原始方程： uXXY kk ????? ??? ?221就化為了 標(biāo)準(zhǔn)方程 ??? ???? kk xxy ?22所謂 標(biāo)準(zhǔn)回歸系數(shù) ，就是指這一方程的回歸系數(shù)。通常的統(tǒng)計(jì)軟件會(huì)自動(dòng)計(jì)算標(biāo)準(zhǔn)回歸系數(shù)。 在 前面的美國 “ 期望擴(kuò)充 ” 的菲利普斯曲線例子中，注意到我們使用 EXCEL進(jìn)行回歸并沒有給出標(biāo)準(zhǔn)回歸系數(shù)的估計(jì)值，但如果使用 SPSS進(jìn)行回歸，將自動(dòng)計(jì)算并給出標(biāo)準(zhǔn)回歸系數(shù)的估計(jì)值。 逐步回歸 F檢驗(yàn) 為了檢驗(yàn)回歸方程某個(gè)系數(shù)是否顯著異于零，可使用前面介紹的 T檢驗(yàn)，那里我們采用檢驗(yàn)統(tǒng)計(jì)量 jjjt??????? ??來檢驗(yàn)系數(shù) βj是否顯著地為零，以便考慮是否應(yīng)剔除變量 Xj。但是有可能存在這樣的情況，盡管系數(shù)絕對(duì)值比較小，但在整個(gè)回歸方程中，變量 Xj在解釋因變量的作用中占的比重卻不小。因此在這種情況下，根據(jù) T檢驗(yàn)的結(jié)果來剔除 Xj就不是適當(dāng)?shù)摹? 為此，考慮一種新的方法來 檢驗(yàn) βj是否小到足以讓我們剔除 Xj的地步 。 原假設(shè) H0： βj = 0 備擇假設(shè) H0： βj ? 0 由于 服從分布 ， （其中 Q為殘差平方和）服從分布 。因此 )(? 22 jjuj c?? )1(2? 2uQ ?)(2 kn ??),1(~?)( 2knFQ cknF jjjj ??? ?檢驗(yàn)統(tǒng)計(jì)量 如果變量 Xj的系數(shù)通過這一檢驗(yàn)，則該變量可以作為自變量，否則可以考慮將其從自變量中剔除。 偏解釋變差（偏回歸平方和） 若在回歸模型 uXXY kk ????? ??? ?221將自變量 Xj從解釋變量中剔除，我們實(shí)際上得到新的模型 uXXXXY kkjjjj ???????? ???? ????? ?? 1111221估計(jì)該模型得到一個(gè)新的回歸方程 kkjjjj XXXXY *1* 11* 12*2*1 ?????*? ????? ??????? ???? ??分別用小寫的 x,y表示中心化的數(shù)據(jù)（即離差）則原來的回歸方程和新回歸方程可分別表示為 kk xxy ?? ??? 22 ??? ?和 kkjjjj xxxxy *1* 11* 12*2 ????*? ???? ?????? ???? ??對(duì)于第 i個(gè)數(shù)據(jù)， 恰好就是解釋變差。因此 YYyii ?? ???iiy2* )?( ?iiy2)?(和 分別是 新回歸方程 和 原回歸方程 的 解釋變差平方和 。 解釋變差反映了回歸方程解釋作用的大小，剔除掉的變量多少會(huì)有一點(diǎn)解釋作用因此一般有 ?? ?iiii yy22* )?()?(并且 ?? ?iiii yy2*2 )?()?(就度量了 被刪除的變量 Xj對(duì)解釋變差的貢獻(xiàn) ，并且稱它為 Xj的 偏解釋變差（偏回歸平方和） 。 可以證明 ?? ???iiiijjjj yycV2*22 )?()?(??即 Vj就是 Xj的偏解釋變差（偏回歸平方和）。于是我們前面使用的 F統(tǒng)計(jì)量 QVknQcknF jjjjj)(?)( 2 ???? ?是變量 Xj的偏解釋變差與殘差平方和（未解釋變差平