【文章內(nèi)容簡介】 ： 11? ?( ) ( ) ( ) ( )T T T TE X X X E Y X X X X? ? ? ???? ? ? ? 1 1 2 1?( ) ( ) ( ) ( ) ( )T T T T TD X X X D Y X X X X X??? ? ??? 這說明 ?? 為 ? 的線性無偏估計。 1?( , ) ( ( ) , ( ) )TTCo v e Co v I H Y X X X Y? ??? 1) ( ) ( )TI H D Y X X O?? ? ? 這表明殘差 e 與 ? 的最小二乘估計 ?? 是不相關(guān)的，又由于殘差平方和 SSE是 e 的函數(shù)，故它與 ?? 也不相關(guān)。在正態(tài)假定下不相關(guān)與獨立等價，因而 SSE與 ?? 獨立。 回歸方程的顯著性檢驗 給定因變量 y 與 1x ， 2x ， … ， px 的 n 組觀測值，利用前述方法確定線性回歸方程是否有意義，還有待于顯著性檢驗。對多元線性回歸方程作顯著性檢驗就是要看自變量 1x ， 2x ， … ， px 從整體上對隨機變量 y 是否有明顯的影響，即檢驗假 7 設(shè)： 0 1 21:0: 0 , 1 piHH i p? ? ??? ? ? ????? ? ??? 如果 0H 被接受，則表明 y 與 1x ， 2x ， … ， px 之間不存在線性關(guān)系。為了進行檢驗首先建立方差分析表。 １ .離差平方和的分解 觀測值 1y ， 2y ， … ， ny 之所以有差異，是由于下述兩個原因引起的，一是 y與 1x ， 2x ， … ， px 之間確有線性關(guān)系時，由于 1x ， 2x ， … ， px 取值的不同而引起 ( 1,2,..., )iy i n? 值的變化；另一方面是除去 y 與 1x ， 2x ， … ， px 的線性關(guān)系以外的因素，如 1x ， 2x ， … ， px 對 y 的非線性影響以及隨機因素的影響等。 記 11 n iiyyn ?? ? 數(shù)據(jù)的總離差平方和（ Total Sum of Squares） 定義如下： 21 ()niiSST y y???? (7) 總離差平方和反映了數(shù)據(jù)的波動性的大小。 殘差平方和 定義如下： 21 ?()niiiSS E y y???? (8) 殘差平方和反映了除去 y 與 1x ， 2x ， … ， px 之間的線性關(guān)系以外的因素引起的數(shù)據(jù) 1y ， 2y ， … ， 22 ( 1)SSE np?? ??的波動。若 0SSE? ，則每個觀測值可由線性關(guān)系精確擬合， SSE 越大，觀測值和線性擬合值間的偏差也越大。 回歸平方和（ Regression Sum of Squares） 定義如下： 21 ?()niiSSR y y???? (9) 由于可證明 ： 11 ?n ii yyn ? ?? 故 SSR 反映了線性擬合值與它們的平均值的 總 偏差，即由變量 1x ， 2x ， … ， px 的變化引 起 1y ， 2y ， … ， 22 ( 1)SSE np?? ??的波動。若 0SSR? ，則每一個擬合值均相當(dāng)，即 ?iy 不隨 1x ， 2x ， … ， px 而變化，這意味著 12 0p? ? ?? ? ? ?。利用代數(shù)運算和正規(guī)方程組 (5)可以證明： 2 2 21 1 1? ?( ) ( ) ( )n n ni i i ii i iy y y y y y? ? ?? ? ? ? ?? ? ? 即 SST SSR SSE??。因此， SSR 越大，說明由線性回歸關(guān)系所描述的 1y ，2y ， … ， 22 ( 1)SSE np?? ??的波動性的比例就越大 ， 即 y 與 1x ， 2x ， … ， px 的 8 線性關(guān)系就越顯著 ， 線性模型的擬合效果越好。 另外，通過矩陣運算可以證明 SST、 SSE、 SSR，有如下形式的矩陣表示： 11()()11()T T TnT T T TnT T TS S T Y Y Y J Y Y I J YnnS S E e e Y Y X Y Y I H YS S R X Y Y J Y Y H J Ynn??? ? ? ? ????? ? ? ? ???? ? ? ? ??? (10) 其中 J 表示一個元素全為 1 的 n 階方陣。 對應(yīng)于 SST 的分解，其自由度也有相應(yīng)的分解 （ 這里的自由度是指 方差表達式 中獨立 變化項的數(shù)目 ）。 在 SST 中，由于有一個關(guān)系式1 ( ) 0nii yy? ???，即( 1, 2, , )iy y i n?? 彼此并不是獨立變化的，故其自由度為 1n? 。 可以證明， SSE 的自由度為 1np??， SSR 的自由度為 p ，因此對應(yīng)于 SST 的分解，也有自由度的分解關(guān)系 ： 1 ( 1)n n p p? ? ? ? ? (11) 基于以上的 SST 和自由度的分解，可以建立 如下 方差分析表 。 方差來源 平方和 自由度 均方差 F值 SSR 1()TY H J Yn? p SSRMSR p? MSRF MSE? SSE ()TY I HY? 1np?? 1SSEMSE np? ?? SST 1()TY I J Yn? 1n? 檢驗法 可以用 P 值法 結(jié)合 F 統(tǒng)計量 來 檢驗回歸方程的顯著性。統(tǒng)計量 F 的計算公式為： // ( 1 )M S R S S R pF M S E S S E n p?? ?? (12) 當(dāng) 0H 為真時， ~ ( , 1)F F p n p??，給定顯著性水平 ? ，查 F 分布表得臨界值 ( , 1)F p n p? ??，計算 F 的觀測值 0F ，若 0 ( , 1)F F p n p?? ? ?，則接受 0H ，即在顯著性水平 ? 之下，認為 y 與 1x ， 2x ， … ， px 的線性關(guān)系就不顯著；當(dāng)0 ( , 1)F F p n p?? ? ?時，這種線性關(guān)系是顯著的。利用 P 值法作顯著性檢驗性檢驗十分方便：這里的 P 值是 0()PF F? ，表示第一、第二自由度分別為 p ， 1np??的 F 變量取值大于 0F 的概率 （ 概率 P 值 的 計算 需要借助 查分布表 ）。 對于給定的顯著性水平 ? ，若 p ?? ，則拒絕 0H ，反之，接受 0H 。 如果檢驗的結(jié)果接受原假設(shè) 0H ， 則 表明 ： 與模型的誤差相比，自變量對因變量的影響是不重要的 ，此時 有兩種可能 的 情況 ： 其一是模型的各種誤差太大，即使回歸自變量對因變 量 y 有一定的影響，但相比于誤差也不算大。對于這種情況，要想辦法縮小誤差，比如檢查是否漏掉了重要的自變量，或檢查某些自變量 9 與 y 是否有非線性關(guān)系等；其二是自變量對 y 的影響確實很小，這時建立 y 與諸自變量的回歸方程沒有實際意義。 檢驗法 在前面的方差分析 中 可以看出 ，在總離差平方和中，若回歸平方和占的比例越大，則說明擬合效果越好。于是，就用回歸平方和與總離差平方和的比例作為評判一個 回歸模型顯著性 的標準，稱為樣本決定系數(shù)（ coefficient of determination） (或稱為復(fù)相關(guān)系數(shù) 、多元相關(guān)系數(shù) )，記為 2R 。 2 1SS R SS ER SS T SS T? ? ? 由 2R 的意義看來，越接近于 1，意味著模型 對原樣本的 擬合 程度 越高。 但 如果在模型中增加 自變量， 2R 的值也會隨之增加 ， 為了防止 由于 引 入更多的 自變量 導(dǎo)致 模型 回歸 2R 值增加 ，考慮到 增加自變量必使得自由度減少，于是又定義了引入自由度的修正的復(fù)相關(guān)系數(shù)，記為 2R? 。 2 1 MSER MST? ?? ( 1)1 ( 1)SS E n pSS T n???? ? 在實際應(yīng)用中， 2R 達到多大才算 通過了 顯著性 檢驗，沒有絕對的標準，要看具體情況而定。模型 顯著性 并不是判斷模型質(zhì)量的唯一標準，有時為了追求模型的實際意義，可以在一定程度上放寬對擬合優(yōu)度的要求。 由上面的定義可知： // ( 1 )M S R S S R pF M S E S S E n p?? ?? 2 1SS R SS ER SS T SS T? ? ? 易證明統(tǒng)計量 F 和復(fù)相關(guān)系數(shù) 2R 存在以下關(guān)系： 221 1n p RF pR??? ? 故采用 F 檢驗法和 R 檢驗法檢驗回歸模型的顯著性在效果上是等價的。 10 f o r ( b = 0 . 0 , m = 0