【正文】 tion number: 1, 1 Forward Selection: Step 2 Variable X3 Entered: RSquare = and C(p) = Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 2 .0001 Error 12 Corrected Total 14 Parameter Standard Variable Estimate Error Type II SS F Value Pr F Intercept X1 .0001 X3 The REG Procedure Model: MODEL1 Dependent Variable: Y Forward Selection: Step 2 Bounds on condition number: , Forward Selection: Step 3 Variable X2 Entered: RSquare = and C(p) = Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 3 .0001 Error 11 Corrected Total 14 Parameter Standard Variable Estimate Error Type II SS F Value Pr F Intercept X1 .0001 X2 X3 Bounds on condition number: , Summary of Forward Selection Variable Number Partial Model Step Entered Vars In RSquare RSquare C(p) F Value Pr F 1 X1 1 .0001 2 X3 2 3 X2 3 The SAS System 14:40 Friday, April 30, 2022 6 The REG Procedure Model: MODEL1 Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 3 .0001 Error 11 Corrected Total 14 Root MSE RSquare Dependent Mean Adj RSq Coeff Var Parameter Estimates Parameter Standard Standardized Variable DF Estimate Error t Value Pr |t| Estimate Intercept 1 0 X1 1 .0001 X2 1 X3 1 逐步 (前進(jìn) ,后退 )法回歸程序模式 data b。 proc reg data=b。 model y=x1 x2 x3 x4 / selection=stepwise stb。 ? cards。 ? RUN。 ? 10 23 113 9 20 106 10 22 111 ? 13 21 109 10 22 110 10 23 103 ? 8 23 100 10 24 114 10 20 104 ? 10 21 110 10 23 104 8 21 109 ? 6 23 114 8 21 113 9 22 105 ? 。 MODEL Y=X1X4/SELECTION=STEPWISE SLS= SLE= STB。 ? datalines。 ％因子選擇 ? proc print data=est。 .)(, . . . ,/)(,...,...,12100112211110相關(guān)強烈近似則使或至少存在一個使存在????????????pkjkjjkpppxxxcxccxKcxcxcxcccc? 跡象： XTX至少有一個很小的特征值 λj (≈0) ? 注意 : λj≥0 for j=1,2,…,p (這里 λj 是 XTX的特征值 ). 影響 : 典型的影響是使參數(shù)估計的方差增大從而使整個估計不精確 . 第三節(jié) 多重共線性 故可得： 1,...,1,0)( ???? kpkkiXX iT 時，的特征值當(dāng) ?上式兩邊左乘 X得 ???????????????1.....................1...1)(3212232111312pppppTrrrrrrrrrXX0......, 21 ????? pj ????其特征值為 piXXiT , . . . ,2,1,1)( 1 ???的特征值為而1,. . . ,1,1)( 1 ????? kpkkiXXiT ，的特征值則 －?0)( ?? CCXX T ?0?XCXX T 0)( ?? XCXX TT1))(( ?TT XX兩邊左乘 0?XC則有存在多重共線性即 ???????? nkkixcxcxcc ippii ,...,1,0,...,22110 第三節(jié)病態(tài)回歸 對線性模型 其最小二乘法估計為 ，當(dāng) 接近奇異時，即呈現(xiàn)所謂“病態(tài)”， LS估計的性能變壞 . 事實上，由于（ 1） （ 2） 可見，當(dāng) S呈現(xiàn)所謂“病態(tài)”時，即當(dāng)其某一特征根很接近 0時，其均方誤差、估計值與理論值的方差均很大，即它們差的平方和的 Q值很大，而且很不穩(wěn)定， 各個變量有近似的線性關(guān)系 ，故在此情況下很難把該 LS估計為良好估計 。那么特征值近似為零的標(biāo)準(zhǔn)如何確定？可用以下介紹的條件指數(shù)確定之。SiO2的成分（％）， x3:4Cao 作 y關(guān)于 x1 x2 x3 x4的逐步回歸方程。 7 26 6 60 1 29 15 52 11 56 8 20 11 31 8 47 7 52 6 33 11 55 9 22 3 71 17 6 1 31 22 44 2 54 18 22 21 47 4 26 1 40 23 34 11 66 9 12 10 68 8 12 。 proc reg data=b。 model y=x1 x2 x3 X4/ selection=stepwise stb。 datalines。 ％共線診斷 proc print data=est。 datalines。 ％因子選擇 proc print data=est。 plot/ridgeplot。 RUN。 嶺估計是 K的函數(shù)它與 所有的 K值 構(gòu)成一條曲線，稱嶺跡 嶺參數(shù)確定的辦法不唯一，常常以其 估計的均方誤差增加不大且方差的膨脹系數(shù)小作為選取原則。 CARDS。（指定步長選 K) plot/ridgeplot。 RUN _MODEL_ _TYPE_ _DEPVAR_ _RIDGE__PCOMIT_ _RMSE_ Intercept x1 x2 x3 y ? 1 MODEL1 PARMS y . . 1 ? 2 MODEL