【正文】 10 Corrected Total 14 Root MSE RSquare Dependent Mean Adj RSq Coeff Var 多重回歸 Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr |t| Intercept 1 X1 1 .0001 X2 1 X3 1 X4 1 逐步回歸的思想是變數(shù)被逐個(gè)引入到模型中，而且對引入的變數(shù) ,其 F統(tǒng)計(jì)量必須是在選擇的水平上顯著的。 ? 10 23 113 9 20 106 10 22 111 ? 13 21 109 10 22 110 10 23 103 ? 8 23 100 10 24 114 10 20 104 ? 10 21 110 10 23 104 8 21 109 ? 6 23 114 8 21 113 9 22 105 ? 。多重回歸程序模式 ? DATA A。 ? PROC REG CORR。引入一個(gè)變數(shù)之后，逐步法還要測驗(yàn)所有已經(jīng)包含在模型中的變數(shù)，并刪除在選擇的水平上不顯著的一切變數(shù)。 SLENTRY＝值（簡記為 SLE＝值）是逐步回歸方法規(guī)定選入這個(gè)模型里的顯著性水平。 VAR 變量名列 。 OUTPUT OUT=新數(shù)據(jù)集名 關(guān)鍵字 =新變量名 …。 逐步 (前進(jìn) ,后退 )法回歸程序模式 data b。 proc reg data=b。 model y=x1 x2 x3 x4 / selection=stepwise stb。 ? cards。 ? RUN。 … 。 model y=x1 x2 x3 X4 / selection= BACKWARD stb。 ? input X1X4 Y 。 ? MODEL Y=X1X4/SELECTION=BACKWORD SLS= STB。 ? cards。 ? MODEL Y=X1X4/SELECTION=FORWARD SLE= STB。 ? input x1 x2 x3 y 。 ? model y= x1 x2 x3/ selection=rsquare mse jp gmsep cp aic bic sbc b best=2。 Tp )?, . . . ,?,?,?(? 210 ????? ? 的 LS估計(jì) yXXX TT 1)(? ??? 但在實(shí)際應(yīng)用不容易滿足，往往出現(xiàn)自變量間線性相關(guān)與近似線性相關(guān)的情況，當(dāng)存在不全為零的 P＋ 1個(gè)數(shù) pcccc , . . . , 210使得 nixcxcxccippii , . . . ,2,10, . . . ,22110 ?????? (1) 1)( ??? PXr an k, 不存在1)(,0 ?? XXXX TT (Multicollinearity, collinearity) ? 這里主要討論 “ 幾乎 ” 共線性，順便也討論一下精確的共線性 定義： 自變量之間存在強(qiáng)烈的線性關(guān)系。大，使若 kk ?? ?),?v a r (? 總的說來 : Var(?^ )= ?2 (XTX)1 ? ? ? 具體地說 : Var(?^j )= ? for j=0,1,…,p1 ??? ???pjjT XXtrtrSV1212 /1))())?( va r ( ????)1)(1 1( 22jj xxjSR??? 這里 ? ? R2j 是 ? 即其它自變量對自變量 j回歸的確定系數(shù) . ? 線性回歸的理想要求是 :Y對 X有很強(qiáng)的線性關(guān)系 ,而X之間有較弱的線性關(guān)系 . ? ., . . . , . . . ,1), . . . , . . . ,|(111111112即共線嚴(yán)重相關(guān)強(qiáng)與若?????? ?pjjjpjjjXXXXXXXXXXR2)(jiijxx xxS jj ?? ?), . . . , . . . ,|( 11112 ??? pjjj XXXXXR., . . . , . . . ,0)(,1)(:311112即共線嚴(yán)重相關(guān)強(qiáng)與則若容限??????pjjjjjjXXXXXXt o lRXt o l?2 確定系數(shù) 判定準(zhǔn)則 作共線性的測度 ? (1) VIF (variance inflation factor) ? ? VIFj=1/(1 R2j ) for j=0,1,2,…,p1. ? 當(dāng) max(VIFj)≥30時(shí) , 有強(qiáng)共線性問題 ? 當(dāng) max(VIFj)≥10時(shí) , 有共線性問題 ? 當(dāng) (VIFj)接近 1時(shí) , 弱共線性問題 ? (這是經(jīng)驗(yàn)公式 ,無精確理論基礎(chǔ) ) ? ? 注意 : VIF0≡1/(1 R20 ) ? 其對應(yīng)模型是 ? 此模型右邊無常數(shù)項(xiàng) . exx pp ???? ?? 1111 ...1 ?? 第一節(jié) 多重共線性 5．條件指數(shù)（ Collinearity） 由特征根判定準(zhǔn)則知， )( XX T近似為零的特征值則可知 X自變量間存在多重共線性。Al2O3的成分（％）， x2:3CaoSiO3的成分（％）。本例引入測驗(yàn)水平取 ，刪 除測驗(yàn)水平也取 。 cards。 model y=x1 x2 x3 X4 / selection= BACKWARD stb。 input x1 x2 x3 y 。 model y= x1 x2 x3/ tol vif collin。 input x1 x2 x3 y 。 model y= x1 x2 x3/ selection=rsquare mse jp gmsep cp aic bic sbc b best=2。 model y= x1 x2 x3 /outstb outvif RIDGE= to by 。 PROC PRINT DATA=RIDGE1。 YXXX TT 1)(? ???YXkIXXk TT )()(? ???嶺跡分析與嶺參數(shù)選擇 當(dāng) K趨于 0時(shí)，嶺跡反應(yīng)系數(shù)當(dāng)不穩(wěn)定性，當(dāng) K增大， 會(huì)使嶺跡趨于穩(wěn)定，一般可選取進(jìn)入穩(wěn)定最小的 K作為 嶺參數(shù)。 input x1 x2 x3 y 。 model y= x1 x2 x3 /outstb outvif RIDGE= to by 。 PROC PRINT DATA=RIDGE1。 （出嶺跡圖） OUTPUT。 。 第二節(jié)病態(tài)回歸的改進(jìn) 根據(jù)嶺跡圖選擇 k值的原則 （ 1）回歸系數(shù)的嶺估計(jì)基本穩(wěn)定 （ 2）改變最小二乘估計(jì)回歸系數(shù)的符號不合理現(xiàn)象 （ 3）回歸系數(shù)不出現(xiàn)不合理的絕對值 （ 4）殘差平方和增加不大 嶺回歸的 SAS過程 已知某國每年的進(jìn)口總額為 Y，國內(nèi)總產(chǎn)值為 X1,存儲(chǔ)量為 X2,總消費(fèi)量為 X3分析進(jìn)口總額為 Y與其它三個(gè)自變量間的關(guān)系。 第四節(jié)病態(tài)回歸的改進(jìn)－ 嶺回歸 LS估計(jì) 嶺回歸 嶺回歸的方法主要是在病態(tài)的 S中沿主對角線人為加進(jìn)正數(shù)，使其特征值大一些，接近 0的程度小一些。 OUTPUT。 run。 。 run。 。 run。 model y=x1 x2 x3 X4/stb。 data b。 熱量 y與其 4種成份的數(shù)據(jù)表 逐步回歸例 編號 x1 x2 x3 x4 y 1 2 3 4 5 6 7 8 9 10 11 12 13 7 1 11 11 7 11 3 1 2 21 1 11 10 26 29 56 31 52 55 71 31 54 47 40 66 68 6 15 8 8 6 9 17 22 18 4 23 9 8 60 52 20 47 33 22 6 44 22 26 34 12 12 首先須確定測驗(yàn)每一個(gè)變數(shù)是否顯著的 F測驗(yàn)的水平（ SLENTRY，簡記 為 SLE），以作為引入變數(shù)的標(biāo)準(zhǔn)；同時(shí)，還須確定刪除變數(shù)的 F測驗(yàn) 的水平（ SLSYR，簡記為 SLS）。Al2O3 當(dāng)特征值是方陣其中為條件指數(shù)XXpjc o l l i nkTpjjjj?????????????......,...,2,12111101 ?jk若 為近微弱多重共線性 ， 3010 1 ?? jk 為中等多重共線性 1 0 030 1 ?? jk 為較強(qiáng)多重共線性， 1001 ?jk 為嚴(yán)重強(qiáng)多重共線性 解決方法 ? (1) 從模型中除去一些變量 (例如對應(yīng)于比較大的 VIFj的 Xj). ? 這個(gè)問題與變量選擇和模型確定的方法有關(guān) 。 XXs T???? ??ti istrM S E1212 1)()?(????????ti iV ar1242 12?????YXXX TT 1)(? ????? ?? Xy 第一節(jié) 多重共線性 ? XXX T ?0)( 為至小有一個(gè)特征根近似XXX T ，設(shè)計(jì)陣有多小個(gè)特征根近似為 0)(1, . . . ,0 ??? kpkjj?注意到 ）對角線之和（跡使 t r a ceXX T 1)( ???? ?pi iT LSXXtr11 ,1)( 估計(jì)的方差很大。 ? run。 ? ? ? ? ? ? ? ? ? ? ? ? 。 ? RUN。 ? PROC REG CORR。 The REG Procedure Model: MODEL1 Dependent Variable: Y Backward Elimination: Step 0 All Variables Entered: RSquare = and C(p) =