【文章內(nèi)容簡介】 記為 )1()1(2)1(1 ,..., pFFFix jF回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 43 選擇自變量的準則 選擇自變量進入回歸模型的方法 1. 常用的簡便方法： 向前引入法 ：（ FORWARD） （ 2）建立因變量 y 與自變量子集 },} , . . . {,{},} , . . . {,{ 111111 111 piiiiii xxxxxxxx ??)2(1)2(1)2(1)2(1 ... ,.. ., 11 ??? pii FFFF}...,...,m a x { )2(1)2( 1)2(1)2(1)2( 112 ???? piii FFFFF的二元回歸方程，并計算相應的 ，記為： jF若： )11,1()1(1 ??? nFF i ?，則將 引入回歸方程 . 1ix否則，算法終止。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 44 選擇自變量的準則 選擇自變量進入回歸模型的方法 1. 常用的簡便方法： 向前引入法 ：（ FORWARD） 若： )12,1()2(2 ??? nFF i ?，則將 引入回歸方程 2ix否則終止。 （ 3）重復上述過程，直到?jīng)]有變量可引入為止。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 45 選擇自變量的準則 選擇自變量進入回歸模型的方法 1. 常用的簡便方法： 向后刪除 ：（ BACKWARD） 其做法是： )1()1(2)1(1~, . . . ,~,~pFFF選其中最小者 }~, .. .,~,~m i n {~ )1()1(2)1(1)1(1 pi FFFF ?的全模型，然后計算各自變量 相應選模型的 值，記為： （ 1）建立 個自變量 ypxxx , 21 ?與因變量 pjx jF回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 46 選擇自變量的準則 選擇自變量進入回歸模型的方法 1. 常用的簡便方法： 向后刪除 ：（ BACKWARD） （ 2）對剩下的 個變量重復（ 1），直到?jīng)]有 變量可剔除為止。 若： )11,1(~ )1(1 ??? nFF i ?，則將 從回歸方程中剔除 1ix否則算法終止。 )1( ?p回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 47 選擇自變量的準則 選擇自變量進入回歸模型的方法 1. 常用的簡便方法： 逐步篩選法 ：（ STEPWISE） 逐步篩選法是人們最常用的的變量篩選方法。它是向前選擇變量法和向后刪除變量法的一種結(jié)合。 向前選擇變量法中，一旦某個自變量被選入模型，它就永遠留在模型之中。然而，隨著其他變量的引入，由于變量之間互相傳遞的相關關系，一些先進入模型的變量的解釋作用可能會變得不再顯著。 向后刪除變量法中，一旦某個自變量被刪除后它就永遠被排斥在模型之外。但是，隨著其他變量的被刪除，它對 Y的解釋作用也可能會顯著起來。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 48 選擇自變量的準則 選擇自變量進入回歸模型的方法 1. 常用的簡便方法： 逐步篩選法 ：（ STEPWISE） 其做法是： （ 1）（模型的起始與向前選擇變量法一樣）首先，求 Y與每一個 Xj的一元線性回歸方程，選擇 F值最大的變量進入模型。然后，對剩下的（ p1）個模型外的變量進行偏 F檢驗，在若干通過偏 F檢驗的變量中，選擇 Fj值最大者進入模型。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 49 選擇自變量的準則 選擇自變量進入回歸模型的方法 1. 常用的簡便方法： 逐步篩選法 ：（ STEPWISE） （ 2）對模型外的（ p2）個自變量做偏 F檢驗。在通過偏 F檢驗的變量中選擇 Fj值最大者進入模型。接著對模型中的三個自變量分別進行偏 F檢驗，如果三個自變量都通過了偏 F檢驗，則接著選擇第四個變量。但如果有某一個變量沒有通過偏 F檢驗，則將其從模型中刪除。 （ 3）重復上述步驟，直到所有模型外的變量都不能通過偏 F檢驗，則算法終止。 其做法是： 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 50 選擇自變量的準則 選擇自變量進入回歸模型的方法 2. 全子集法： 其做法是： 先計算所有可能變量子集的回歸方程（共 個） , 然后按修正 R2選擇法（ ADJRSQ）、 選擇法（ CP）、均方誤差法 (MSE)以及 AIC或 BIC等準則進行選擇。 pC12 ?p回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 51 選擇自變量的準則 選擇自變量進入回歸模型的方法 例子 考慮 Hald水泥 數(shù)據(jù) 。 其中： X1— 3CaOAl2O3的含量 (%) X2— 3CaOSiO2的含量 (%) X3— 4CaOAl2O3Fe2O3的含量 (%) X4— 2CaOSiO2的含量 (%) Y表示水泥凝固時釋放的熱量 （ 卡 /克 ） 。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 52 選擇自變量的準則 選擇自變量進入回歸模型的方法 小 結(jié) ?R2adj最大 ?均方誤差最小 ?Cp最小 ?AIC或 BIC最小 選擇自變量進入回歸模型的方法 ： ?向前引入法 ?向后刪除法 ?逐步篩選法 ?利用選擇自變量的準則，計算所 有可能變量子集的回歸方程 選擇自變量的準則 ： 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 53 選擇自變量的準則 選擇自變量進入回歸模型的方法 進一步閱讀的文獻： 1 王松桂，陳敏，陳立萍。 線性統(tǒng)計模型 線性回歸 與方差分析。 北京：高等教育出版社， 1999 2 何曉群。 回歸分析與經(jīng)濟數(shù)據(jù)建模。 北京：中國人 民大學出版社， 1997 3 胡良平。 現(xiàn)代統(tǒng)計學與 SAS應用。 北京： 軍事醫(yī)學 科學出版社， 2022。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 54 選擇自變量的準則 選擇自變量進入回歸模型的方法 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 55 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 多重共線性的識別及處理 本章目錄 56 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 提 綱 背景 多重共線性的識別 多重共線性的處理 本章目錄 57 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 在多元線性回歸中，有時會出現(xiàn)一些奇怪的現(xiàn)象， 有時在某一顯著性水平下，回歸方程通過了顯著 性水平檢驗，而回歸系數(shù)則不能通過相應的顯著 性檢驗；有時某個自變量與因變量有很強的相關 性，然而在回歸方程中該變量的回歸系數(shù)卻沒有 通過顯著性檢驗；有時回歸系數(shù)的符號與相關專 業(yè)相矛盾等，這些現(xiàn)象的出現(xiàn)，是由于所選的自 變量間存在著線性相關。這種現(xiàn)象稱為 多重共線性 。 背景 多重共 線性的 識別 多重共 線性的 處理 本章目錄 58 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 背景 多重共 線性的 識別 多重共 線性的 處理 共線性的識別方法是基于信息矩陣 進行的， 常用的統(tǒng)計量有方差膨脹因子 VIF（或容限 TOL）、 條件指數(shù)和方差比例等。 XX39。本章目錄 59 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 ① 方差膨脹因子 背景 多重共 線性的 識別 多重共 線性的 處理 設變量為 ， 若它們之間存在或近似存在多重共線性 ， 表明其中某個變量能表示或近似表示為其它變量的線性組合 ， 因此 ，若分別以 為因變量 ， 以 自變量 （ ） 建立線性回歸方程 ， 看這 個回歸方程的決定系數(shù) （ ） 有沒有較大者 ， 若有 ， 則表明它們之間有多重共線性關系 。 pXXX ,..., 21iX pii XXXXX ,. . . ,. . . , 1121 ??pi ,...,2,1?piR2pi ,...,2,1?本章目錄 60 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 ① 方差膨脹因子 背景 多重共 線性的 識別 多重共 線性的 處理 方差膨脹因子表示由于共線性的存在而使參數(shù)估計值 的方差增大的情況 與 的關系 iR2iii T O LRiiV I F 1112 ???? 個回歸系數(shù)的方差自變量不相關時第個回歸系數(shù)的方差第本章目錄 61 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 ① 方差膨脹因子 背景 多重共 線性的 識別 多重共 線性的 處理 當 =0， =1，此時表示 與其它變量間不存在線性關系； 當 0 1, 1,此時表示 與其它變量間存在不同程度的 線性關系； 當 =1時 , ,此時表示 與其它變量間存在完全的線性關系。 iXiR2??iVIFiVIFiVIFiR2iR2iXiX在實際應用中若某個 10，則表明模型中存在 很強的共線性問題。 iVIF本章目錄 62 回 歸 分 析 — 多元線性回歸