【正文】 9 17 22 18 4 23 9 8 60 52 20 47 33 22 6 44 22 26 34 12 12 首先須確定測(cè)驗(yàn)每一個(gè)變數(shù)是否顯著的 F測(cè)驗(yàn)的水平（ SLENTRY，簡(jiǎn)記 為 SLE），以作為引入變數(shù)的標(biāo)準(zhǔn)；同時(shí)，還須確定刪除變數(shù)的 F測(cè)驗(yàn) 的水平（ SLSYR，簡(jiǎn)記為 SLS）。為了使最終的回歸方程中包含較多的 變數(shù)， SLE不宜太小， SLS也不宜太大。本例引入測(cè)驗(yàn)水平取 ，刪 除測(cè)驗(yàn)水平也取 。 7 26 6 60 1 29 15 52 11 56 8 20 11 31 8 47 7 52 6 33 11 55 9 22 3 71 17 6 1 31 22 44 2 54 18 22 21 47 4 26 1 40 23 34 11 66 9 12 10 68 8 12 。 data b。 input id x1 x2 x3 x4 Y@@。 cards。 proc reg data=b。 model y=x1 x2 x3 X4/stb。 model y=x1 x2 x3 X4/ selection= FORWARD stb。 model y=x1 x2 x3 X4 / selection= BACKWARD stb。 model y=x1 x2 x3 X4/ selection=stepwise stb。 run。 data fitness。 input x1 x2 x3 y @@。 datalines。 。 proc reg data=fitness outest=est。 model y= x1 x2 x3/ tol vif collin。 ％共線診斷 proc print data=est。 run。 第二節(jié) 回歸共線診斷變量篩選法 ? Parameter Estimates Parameter Standard Variance Variable DF Estimate Error t Value Pr |t| Tolerance Inflation （容限） （方差膨脹因子） x1 1 x2 1 x3 1 Collinearity Diagnostics Number Eigenvalue Index Intercept x1 x2 x3 特征值 條件指數(shù) 2 3 4 1 Condition Proportion of Variation(方差比例 ) Intercept 1 .0001 . 0 注 :方差比例 變量對(duì)特征值的貢獻(xiàn) ,方差比例 變量構(gòu)成相關(guān)變量集合 tol1=1R1.?0表明X1與其他變量有很強(qiáng)的相關(guān)性 data fitness。 input x1 x2 x3 y @@。 datalines。 。 proc reg data=fitness outest=est。 model y= x1 x2 x3/ selection=rsquare mse jp gmsep cp aic bic sbc b best=2。 ％因子選擇 proc print data=est。 run。 第三節(jié) 從全子集篩選最優(yōu)子集回歸法 Number in Estimated MSE Model RSquare C(p) AIC BIC of Prediction J(p) MSE (因子個(gè)數(shù)） (決定系數(shù) ） (CP統(tǒng)計(jì)量） (AIC BIC信息準(zhǔn)則 ) (均方誤差 ) 1 1 2 2 3 模型選擇比較與估計(jì)信息 Number in Parameter Estimates Model RSquare SBC Intercept x1 x2 x3 1 . . 1 . . 2 . 2 . 3 模型信息 _TYPE_ PARMS：最小二乘法回歸模型 _DEPVAR_―――― 因變量名字 _RMSE_――――― 均方根誤差估計(jì) Intercept x1 x2 x3 ――― 對(duì)應(yīng)的各種估計(jì) _IN_不含截距回歸估計(jì)量參數(shù)個(gè)數(shù) _P_含截距回歸估計(jì)量參數(shù)個(gè)數(shù) Y=1作為回歸估計(jì)的參數(shù)為－ 1 Obs _MODEL_ _TYPE_ _DEPVAR_ _RMSE_ Intercept x1 x2 x3 y _IN_ _P_ 1 MODEL1 PARMS y . . 1 1 2 2 MODEL1 PARMS y . . 1 1 2 3 MODEL1 PARMS y . 1 2 3 4 MODEL1 PARMS y . 1 2 3 5 MODEL1 PARMS y 1 3 4 Obs _EDF_ _MSE_ _RSQ_ _CP_ _JP_ _GMSEP_ _AIC_ _BIC_ _SBC_ 1 9 2 9 3 8 4 8 5 7 /* 嶺回歸 RIDGE leverage plots */ proc reg data=fitness OUTEST=RIDGE1。 model y= x1 x2 x3 /outstb outvif RIDGE= to by 。 plot/ridgeplot。 OUTPUT。 run。 PROC PRINT DATA=RIDGE1。 RUN。 第四節(jié)病態(tài)回歸的改進(jìn)－ 嶺回歸 LS估計(jì) 嶺回歸 嶺回歸的方法主要是在病態(tài)的 S中沿主對(duì)角線人為加進(jìn)正數(shù)，使其特征值大一些，接近 0的程度小一些。 它仍為系數(shù)的線性估計(jì)（ K為常數(shù)），且對(duì) LP估計(jì)有所改善，具體的說(shuō)，是希望找到某個(gè) K0,使系數(shù)估計(jì)值的均方誤差小，但具體操作時(shí) K與方程的方差有關(guān)， 較難做到 均方誤差小 。 YXXX TT 1)(? ???YXkIXXk TT )()(? ???嶺跡分析與嶺參數(shù)選擇 當(dāng) K趨于 0時(shí)，嶺跡反應(yīng)系數(shù)當(dāng)不穩(wěn)定性，當(dāng) K增大， 會(huì)使嶺跡趨于穩(wěn)定，一般可選取進(jìn)入穩(wěn)定最小的 K作為 嶺參數(shù)。 嶺估計(jì)是 K的函數(shù)它與 所有的 K值 構(gòu)成一條曲線，稱嶺跡 嶺參數(shù)確定的辦法不唯一，常常以其 估計(jì)的均方誤差增加不大且方差的膨脹系數(shù)小作為選取原則。 第二節(jié)病態(tài)回歸的改進(jìn) 根據(jù)嶺跡圖選擇 k值的原則 （ 1）回歸系數(shù)的嶺估計(jì)基本穩(wěn)定 （ 2）改變最小二乘估計(jì)回歸系數(shù)的符號(hào)不合理現(xiàn)象 （ 3）回歸系數(shù)不出現(xiàn)不合理的絕對(duì)值 （ 4）殘差平方和增加不大 嶺回歸的 SAS過(guò)程 已知某國(guó)每年的進(jìn)口總額為 Y，國(guó)內(nèi)總產(chǎn)值為 X1,存儲(chǔ)量為 X2,總消費(fèi)量為 X3分析進(jìn)口總額為 Y與其它三個(gè)自變量間的關(guān)系。 表 1 外貿(mào)數(shù)據(jù) 年 份 國(guó)內(nèi)總產(chǎn)值x1 存 儲(chǔ) 量 x2 總消費(fèi)量 x3 進(jìn)口總額y 1949 1950 1951 1952 1953 1954 1955 1956 1957 1958 1959 SAS程序 data fitness。 input x1 x2 x3 y @@。 CARDS。 。 proc reg data=fitness OUTEST=RIDGE1。 model y= x1 x2 x3 /outstb outvif RIDGE= to by 。（指定步長(zhǎng)選 K) plot/ridgeplot。 （出嶺跡圖） OUTPUT。 run。 PROC PRINT DATA=RIDGE1。 RUN _MODEL_ _TYPE_ _DEPVAR_ _RIDGE__PCOMIT_ _RMSE_ Intercept x1 x2 x3 y ? 1 MODEL1 PARMS y . . 1 ? 2 MO