【正文】 PROC PRINT DATA=RIDGE1。 （出嶺跡圖） OUTPUT。 model y= x1 x2 x3 /outstb outvif RIDGE= to by 。 。 input x1 x2 x3 y 。 第二節(jié)病態(tài)回歸的改進(jìn) 根據(jù)嶺跡圖選擇 k值的原則 （ 1）回歸系數(shù)的嶺估計(jì)基本穩(wěn)定 （ 2）改變最小二乘估計(jì)回歸系數(shù)的符號(hào)不合理現(xiàn)象 （ 3）回歸系數(shù)不出現(xiàn)不合理的絕對(duì)值 （ 4）殘差平方和增加不大 嶺回歸的 SAS過(guò)程 已知某國(guó)每年的進(jìn)口總額為 Y，國(guó)內(nèi)總產(chǎn)值為 X1,存儲(chǔ)量為 X2,總消費(fèi)量為 X3分析進(jìn)口總額為 Y與其它三個(gè)自變量間的關(guān)系。 YXXX TT 1)(? ???YXkIXXk TT )()(? ???嶺跡分析與嶺參數(shù)選擇 當(dāng) K趨于 0時(shí)，嶺跡反應(yīng)系數(shù)當(dāng)不穩(wěn)定性，當(dāng) K增大， 會(huì)使嶺跡趨于穩(wěn)定，一般可選取進(jìn)入穩(wěn)定最小的 K作為 嶺參數(shù)。 第四節(jié)病態(tài)回歸的改進(jìn)－ 嶺回歸 LS估計(jì) 嶺回歸 嶺回歸的方法主要是在病態(tài)的 S中沿主對(duì)角線人為加進(jìn)正數(shù)，使其特征值大一些，接近 0的程度小一些。 PROC PRINT DATA=RIDGE1。 OUTPUT。 model y= x1 x2 x3 /outstb outvif RIDGE= to by 。 run。 model y= x1 x2 x3/ selection=rsquare mse jp gmsep cp aic bic sbc b best=2。 。 input x1 x2 x3 y 。 run。 model y= x1 x2 x3/ tol vif collin。 。 input x1 x2 x3 y 。 run。 model y=x1 x2 x3 X4 / selection= BACKWARD stb。 model y=x1 x2 x3 X4/stb。 cards。 data b。本例引入測(cè)驗(yàn)水平取 ，刪 除測(cè)驗(yàn)水平也取 。 熱量 y與其 4種成份的數(shù)據(jù)表 逐步回歸例 編號(hào) x1 x2 x3 x4 y 1 2 3 4 5 6 7 8 9 10 11 12 13 7 1 11 11 7 11 3 1 2 21 1 11 10 26 29 56 31 52 55 71 31 54 47 40 66 68 6 15 8 8 6 9 17 22 18 4 23 9 8 60 52 20 47 33 22 6 44 22 26 34 12 12 首先須確定測(cè)驗(yàn)每一個(gè)變數(shù)是否顯著的 F測(cè)驗(yàn)的水平（ SLENTRY，簡(jiǎn)記 為 SLE），以作為引入變數(shù)的標(biāo)準(zhǔn)；同時(shí)，還須確定刪除變數(shù)的 F測(cè)驗(yàn) 的水平（ SLSYR，簡(jiǎn)記為 SLS）。SiO3的成分（％）。Al2O3Al2O3的成分（％）， x2:3Cao 當(dāng)特征值是方陣其中為條件指數(shù)XXpjc o l l i nkTpjjjj?????????????......,...,2,12111101 ?jk若 為近微弱多重共線性 ， 3010 1 ?? jk 為中等多重共線性 1 0 030 1 ?? jk 為較強(qiáng)多重共線性， 1001 ?jk 為嚴(yán)重強(qiáng)多重共線性 解決方法 ? (1) 從模型中除去一些變量 (例如對(duì)應(yīng)于比較大的 VIFj的 Xj). ? 這個(gè)問題與變量選擇和模型確定的方法有關(guān) 。大，使若 kk ?? ?),?v a r (? 總的說(shuō)來(lái) : Var(?^ )= ?2 (XTX)1 ? ? ? 具體地說(shuō) : Var(?^j )= ? for j=0,1,…,p1 ??? ???pjjT XXtrtrSV1212 /1))())?( va r ( ????)1)(1 1( 22jj xxjSR??? 這里 ? ? R2j 是 ? 即其它自變量對(duì)自變量 j回歸的確定系數(shù) . ? 線性回歸的理想要求是 :Y對(duì) X有很強(qiáng)的線性關(guān)系 ,而X之間有較弱的線性關(guān)系 . ? ., . . . , . . . ,1), . . . , . . . ,|(111111112即共線嚴(yán)重相關(guān)強(qiáng)與若?????? ?pjjjpjjjXXXXXXXXXXR2)(jiijxx xxS jj ?? ?), . . . , . . . ,|( 11112 ??? pjjj XXXXXR., . . . , . . . ,0)(,1)(:311112即共線嚴(yán)重相關(guān)強(qiáng)與則若容限??????pjjjjjjXXXXXXt o lRXt o l?2 確定系數(shù) 判定準(zhǔn)則 作共線性的測(cè)度 ? (1) VIF (variance inflation factor) ? ? VIFj=1/(1 R2j ) for j=0,1,2,…,p1. ? 當(dāng) max(VIFj)≥30時(shí) , 有強(qiáng)共線性問題 ? 當(dāng) max(VIFj)≥10時(shí) , 有共線性問題 ? 當(dāng) (VIFj)接近 1時(shí) , 弱共線性問題 ? (這是經(jīng)驗(yàn)公式 ,無(wú)精確理論基礎(chǔ) ) ? ? 注意 : VIF0≡1/(1 R20 ) ? 其對(duì)應(yīng)模型是 ? 此模型右邊無(wú)常數(shù)項(xiàng) . exx pp ???? ?? 1111 ...1 ?? 第一節(jié) 多重共線性 5．條件指數(shù)（ Collinearity） 由特征根判定準(zhǔn)則知， )( XX T近似為零的特征值則可知 X自變量間存在多重共線性。 XXs T???? ??ti istrM S E1212 1)()?(????????ti iV ar1242 12?????YXXX TT 1)(? ????? ?? Xy 第一節(jié) 多重共線性 ? XXX T ?0)( 為至小有一個(gè)特征根近似XXX T ，設(shè)計(jì)陣有多小個(gè)特征根近似為 0)(1, . . . ,0 ??? kpkjj?注意到 ）對(duì)角線之和（跡使 t r a ceXX T 1)( ???? ?pi iT LSXXtr11 ,1)( 估計(jì)的方差很大。 Tp )?, . . . ,?,?,?(? 210 ????? ? 的 LS估計(jì) yXXX TT 1)(? ??? 但在實(shí)際應(yīng)用不容易滿足，往往出現(xiàn)自變量間線性相關(guān)與近似線性相關(guān)的情況，當(dāng)存在不全為零的 P＋ 1個(gè)數(shù) pcccc , . . . , 210使得 nixcxcxccippii , . . . ,2,10, . . . ,22110 ?????? (1) 1)( ??? PXr an k, 不存在1)(,0 ?? XXXX TT (Multicollinearity, collinearity) ? 這里主要討論 “ 幾乎 ” 共線性，順便也討論一下精確的共線性 定義： 自變量之間存在強(qiáng)烈的線性關(guān)系。 ? run。 ? model y= x1 x2 x3/ selection=rsquare mse jp gmsep cp aic bic sbc b best=2。 ? ? ? ? ? ? ? ? ? ? ? ? 。 ? input x1 x2 x3 y 。 ? RUN。 ? MODEL Y=X1X4/SELECTION=FORWARD SLE= STB。 ? PROC REG CORR。 ? cards。 The REG Procedure Model: MODEL1 Dependent Variable: Y Backward Elimination: Step 0 All Variables Entered: RSquare = and C(p) = Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 4 .0001 Error 10 Corrected Total 14 Parameter Standard Variable Estimate Error Type II SS F Value Pr F Intercept X1 .0001 X2 X3 X4 Bounds on condition number: , Backward Elimination: Step 1 Variable X4 Removed: RSquare = and C(p) = Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 3 .0001 Error 11 Corrected Total 14 The SAS System 14:40 Friday, April 30, 2022 13 The REG Procedure