【正文】 ? ? ? ? ? 。 XXs T???? ??ti istrM S E1212 1)()?(????????ti iV ar1242 12?????YXXX TT 1)(? ????? ?? Xy 第一節(jié) 多重共線性 ? XXX T ?0)( 為至小有一個特征根近似XXX T ，設計陣有多小個特征根近似為 0)(1, . . . ,0 ??? kpkjj?注意到 ）對角線之和（跡使 t r a ceXX T 1)( ???? ?pi iT LSXXtr11 ,1)( 估計的方差很大。Al2O3 data b。 run。 run。 run。 第四節(jié)病態(tài)回歸的改進－ 嶺回歸 LS估計 嶺回歸 嶺回歸的方法主要是在病態(tài)的 S中沿主對角線人為加進正數(shù)，使其特征值大一些，接近 0的程度小一些。 。 PROC PRINT DATA=RIDGE1。 input x1 x2 x3 y 。 PROC PRINT DATA=RIDGE1。 model y= x1 x2 x3/ selection=rsquare mse jp gmsep cp aic bic sbc b best=2。 model y= x1 x2 x3/ tol vif collin。 model y=x1 x2 x3 X4 / selection= BACKWARD stb。本例引入測驗水平取 ，刪 除測驗水平也取 。Al2O3的成分（％）， x2:3Cao Tp )?, . . . ,?,?,?(? 210 ????? ? 的 LS估計 yXXX TT 1)(? ??? 但在實際應用不容易滿足，往往出現(xiàn)自變量間線性相關(guān)與近似線性相關(guān)的情況，當存在不全為零的 P＋ 1個數(shù) pcccc , . . . , 210使得 nixcxcxccippii , . . . ,2,10, . . . ,22110 ?????? (1) 1)( ??? PXr an k, 不存在1)(,0 ?? XXXX TT (Multicollinearity, collinearity) ? 這里主要討論 “ 幾乎 ” 共線性，順便也討論一下精確的共線性 定義： 自變量之間存在強烈的線性關(guān)系。 ? input x1 x2 x3 y 。 ? cards。 ? input X1X4 Y 。 … 。 ? cards。 proc reg data=b。 OUTPUT OUT=新數(shù)據(jù)集名 關(guān)鍵字 =新變量名 …。 SLENTRY＝值（簡記為 SLE＝值）是逐步回歸方法規(guī)定選入這個模型里的顯著性水平。 ? PROC REG CORR。 ? 10 23 113 9 20 106 10 22 111 ? 13 21 109 10 22 110 10 23 103 ? 8 23 100 10 24 114 10 20 104 ? 10 21 110 10 23 104 8 21 109 ? 6 23 114 8 21 113 9 22 105 ? 。此外，若剛被刪除的變數(shù)又被引入時，逐步過程也停止。 BY 變量名列 。 … 。 ? input X1X4 Y 。 cards。 后退法回歸程序模式 ? DATA A。 ? input X1X4 Y 。 逐步 (前進 ,后退 )法回歸程序模式 ? The REG Procedure ? Model: MODEL1 ? Dependent Variable: Y ? Stepwise Selection: Step 1 ? Variable X1 Entered: RSquare = and C(p) = ? Analysis of Variance ? Sum of Mean ? Source DF Squares Square F Value Pr F ? Model 1 .0001 ? Error 13 ? Corrected Total 14 ? Parameter Standard ? Variable Estimate Error Type II SS F Value Pr F ? Intercept ? X1 .0001 ? Bounds on condition number: 1, 1 ? 逐步法回歸程序模式結(jié)果 ? Stepwise Selection: Step 2 ? Variable X3 Entered: RSquare = and C(p) = ? Analysis of Variance ? Sum of Mean ? Source DF Squares Square F Value Pr F ? Model 2 .0001 ? Error 12 ? Corrected Total 14 ? Parameter Standard ? Variable Estimate Error Type II SS F Value Pr F ? Intercept ? X1 .0001 ? X3 逐步法回歸程序模式結(jié)果 ? Stepwise Selection: Step 3 ? Variable X2 Entered: RSquare = and C(p) = ? Analysis of Variance ? Sum of Mean ? Source DF Squares Square F Value Pr F ? Model 3 .0001 ? Error 11 ? Corrected Total 14 ? Parameter Standard ? Variable Estimate Error Type II SS F Value Pr F ? Intercept ? X1 .0001 ? X2 ? X3 ? Bounds on condition number: , 逐步法回歸程序模式結(jié)果 ? Model: MODEL1 ? Dependent Variable: Y ? Analysis of Variance ? Sum of Mean ? Source DF Squares Square F Value Pr F ? Model 3 .0001 ? Error 11 ? Corrected Total 14 ? Root MSE RSquare ? Dependent Mean Adj RSq ? Coeff Var ? Parameter Estimates ? Parameter Standard Standardized ? Variable DF Estimate Error t Value Pr |t| Estimate ? Intercept 1 0 ? X1 1 .0001 ? X2 1 ? X3 1