【正文】 2 線性回歸 綜合實例 ? 識別多重共線性 Variance Variable Inflation INTERCEP X1 X2 X3 X4 X4的方差膨脹因子達，可認為這四個變量間存在嚴重的多重共線性關(guān)系 本章目錄 82 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 識別多重共線性 Collinearity Diagnostics Condition Var Prop Var Prop Var Prop Var Prop Var Prop Number Eigenvalue Index INTERCEP X1 X2 X3 X4 1 2 3 4 5 最大的條件指數(shù)為 ，介于 100到 1000之間， 表明這些變量間存在中等程度的多重共線性關(guān)系。 從方差比例來看，對應(yīng)最大條件指數(shù)的那一行，其方差比例最小的是變量 X1，其值為 ，比 大，表明這四個變量就是一個共線性組。 本章目錄 83 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ① 選擇變量法 逐步回歸法 proc reg data=hald。 model y=x1x4/selection=stepwise。 run。 本章目錄 84 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ① 選擇變量法 逐步回歸法 All variables left in the model are significant at the level. No other variable met the significance level for entry into the model. Summary of Stepwise Procedure for Dependent Variable Y Variable Number Partial Model Step Entered Removed In R**2 R**2 C(p) F ProbF 1 X4 1 2 X1 2 3 X2 3 4 X4 2 可以看出，逐步回歸法第一步是選進變量 X4，在第二、三兩步選入變量 X1和 X2后， 變量 X4的作用變得不明顯，故第四步將 X4從模型中刪除掉。故用此法所選的變量為 X1和 X2 本章目錄 85 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ① 選擇變量法 全子集法 proc reg data=hald。 model y=x1x4/selection=adjrsq cp bic。 run。 本章目錄 86 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ① 選擇變量法 全子集法 In AdjRsq C(p) BIC Variables in Model 1 X4 ☆ 1 X2 1 X1 1 X3 2 X1 X2 ☆ 2 X1 X4 2 X3 X4 2 X2 X3 2 X2 X4 2 X1 X3 3 X1 X2 X4 ☆ 3 X1 X2 X3 3 X1 X3 X4 3 X2 X3 X4 4 X1 X2 X3 X4 Cp原則比較準確 得到相應(yīng)的回歸方程為： y=++ 本章目錄 87 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ② 嶺回歸法 proc reg data=hald outest=rghald outvif graphics corr。 model y=x1x4/ridge=0 to 1 by 2 3 4 5 6 。 plot/ridgeplot。 run。 proc print data=rghald。 run。 本章目錄 88 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ② 嶺回歸法 其中 outest=rghald要求 REG過程將結(jié)果保存 在 rghald數(shù)據(jù)集中，選項 outvif要求輸出方差 膨脹因子，選項 graphics要求在高分辨率方式 下作圖， corr則要求計算相關(guān)系數(shù)。 MODEL 語句后面 ridge=0 to 1 by 2 3 4 5 6給出嶺回 歸中的 k值，共計有 16個。 plot語句后面加上參 數(shù) ridgeplot，要求作出嶺跡圖。 本章目錄 89 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ② 嶺回歸法 可取 k= ,得到如下嶺回歸模型 : y=++ 本章目錄 90 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ③ 主成分回歸法 proc reg data= outest=pchald outvif。 model y=x1x4/pit=1,2 。 run。 proc print data=pchald。 run。 選項 pit=1,2表示分別求出在刪除最后 1個和 2個 主成分后所得到的回歸方程 本章目錄 91 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 多重共線性的處理 ③ 主成分回歸法 數(shù)據(jù)集 pchald中關(guān)于主成分回歸的輸出為 OBS _MODEL_ _TYPE_ _DEPVAR_ _RIDGE_ _PCOMIT_ _RMSE_ 1 MODEL1 PARMS Y . . 2 MODEL1 IPCVIF Y . 1 . 3 MODEL1 IPC Y . 1 4 MODEL1 IPCVIF Y . 2 . 5 MODEL1 IPC Y . 2 OBS INTERCEP X1 X2 X3 X4 Y 1 1 2 . 1 3 1 4 . 1 5 1 本章目錄 92 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 回歸診斷 利用前面所選的變量 X1,X2進行回歸建模， 并進行殘差分析和用 COOK D值進行影響分析 proc reg data=hald graphics。 model y=x1x2/r 。 plot student.*p.。 run。 選項 r要求給出殘差及 COOK D值，plot student.*圖， student和 p后的點號 (.)不可省略，分別表示調(diào)用程序輸出中的學(xué)生化殘差和預(yù)測值 本章目錄 93 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 回歸診斷 r值落在 [2， 2]區(qū)間內(nèi)，且無明顯的規(guī)律，因此 可認為這些觀測符合高斯 馬爾可夫條件 本章目錄 94 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 回歸診斷 Dep Var Predict Std Err Std Err Student Cook39。s Obs Y Value Predict Residual Residual Residual 210 1 2 D 1 | *| | 2 | |* | 3 | *| | 4 | *| | 5 | *| | 6 | |*** | 7 | *| | 8 | *| | 9 | |* | 10 | |* | 11 | |*** | 12 | | | 13 | **| | 本章目錄 95 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 ? 回歸診斷 一般認為 COOK D值的臨界值為 4/n=， 所有 D值均比此值小，所以每個觀測對模型的影 響是合理的。因此對這一模型可用于實際工作 本章目錄 96 回 歸 分 析 — 多元線性回歸 2 線性回歸 綜合實例 本章目錄 返回