【文章內(nèi)容簡介】 記為 )1()1(2)1(1 ,..., pFFFix jF回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 43 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 1. 常用的簡便方法： 向前引入法 ：（ FORWARD） （ 2）建立因變量 y 與自變量子集 },} , . . . {,{},} , . . . {,{ 111111 111 piiiiii xxxxxxxx ??)2(1)2(1)2(1)2(1 ... ,.. ., 11 ??? pii FFFF}...,...,m a x { )2(1)2( 1)2(1)2(1)2( 112 ???? piii FFFFF的二元回歸方程，并計(jì)算相應(yīng)的 ，記為： jF若： )11,1()1(1 ??? nFF i ?，則將 引入回歸方程 . 1ix否則，算法終止。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 44 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 1. 常用的簡便方法： 向前引入法 ：（ FORWARD） 若： )12,1()2(2 ??? nFF i ?，則將 引入回歸方程 2ix否則終止。 （ 3）重復(fù)上述過程，直到?jīng)]有變量可引入為止。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 45 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 1. 常用的簡便方法： 向后刪除 ：（ BACKWARD） 其做法是： )1()1(2)1(1~, . . . ,~,~pFFF選其中最小者 }~, .. .,~,~m i n {~ )1()1(2)1(1)1(1 pi FFFF ?的全模型，然后計(jì)算各自變量 相應(yīng)選模型的 值，記為： （ 1）建立 個(gè)自變量 ypxxx , 21 ?與因變量 pjx jF回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 46 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 1. 常用的簡便方法： 向后刪除 ：（ BACKWARD） （ 2）對剩下的 個(gè)變量重復(fù)（ 1），直到?jīng)]有 變量可剔除為止。 若： )11,1(~ )1(1 ??? nFF i ?，則將 從回歸方程中剔除 1ix否則算法終止。 )1( ?p回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 47 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 1. 常用的簡便方法： 逐步篩選法 ：（ STEPWISE） 逐步篩選法是人們最常用的的變量篩選方法。它是向前選擇變量法和向后刪除變量法的一種結(jié)合。 向前選擇變量法中，一旦某個(gè)自變量被選入模型，它就永遠(yuǎn)留在模型之中。然而，隨著其他變量的引入，由于變量之間互相傳遞的相關(guān)關(guān)系，一些先進(jìn)入模型的變量的解釋作用可能會變得不再顯著。 向后刪除變量法中，一旦某個(gè)自變量被刪除后它就永遠(yuǎn)被排斥在模型之外。但是，隨著其他變量的被刪除，它對 Y的解釋作用也可能會顯著起來。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 48 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 1. 常用的簡便方法： 逐步篩選法 ：（ STEPWISE） 其做法是： （ 1）（模型的起始與向前選擇變量法一樣）首先，求 Y與每一個(gè) Xj的一元線性回歸方程，選擇 F值最大的變量進(jìn)入模型。然后，對剩下的（ p1）個(gè)模型外的變量進(jìn)行偏 F檢驗(yàn)，在若干通過偏 F檢驗(yàn)的變量中，選擇 Fj值最大者進(jìn)入模型。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 49 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 1. 常用的簡便方法： 逐步篩選法 ：（ STEPWISE） （ 2）對模型外的（ p2）個(gè)自變量做偏 F檢驗(yàn)。在通過偏 F檢驗(yàn)的變量中選擇 Fj值最大者進(jìn)入模型。接著對模型中的三個(gè)自變量分別進(jìn)行偏 F檢驗(yàn)，如果三個(gè)自變量都通過了偏 F檢驗(yàn)，則接著選擇第四個(gè)變量。但如果有某一個(gè)變量沒有通過偏 F檢驗(yàn)，則將其從模型中刪除。 （ 3）重復(fù)上述步驟，直到所有模型外的變量都不能通過偏 F檢驗(yàn)，則算法終止。 其做法是： 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 50 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 2. 全子集法： 其做法是： 先計(jì)算所有可能變量子集的回歸方程（共 個(gè)） , 然后按修正 R2選擇法（ ADJRSQ）、 選擇法（ CP）、均方誤差法 (MSE)以及 AIC或 BIC等準(zhǔn)則進(jìn)行選擇。 pC12 ?p回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 51 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 例子 考慮 Hald水泥 數(shù)據(jù) 。 其中： X1— 3CaOAl2O3的含量 (%) X2— 3CaOSiO2的含量 (%) X3— 4CaOAl2O3Fe2O3的含量 (%) X4— 2CaOSiO2的含量 (%) Y表示水泥凝固時(shí)釋放的熱量 （ 卡 /克 ） 。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 52 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 小 結(jié) ?R2adj最大 ?均方誤差最小 ?Cp最小 ?AIC或 BIC最小 選擇自變量進(jìn)入回歸模型的方法 ： ?向前引入法 ?向后刪除法 ?逐步篩選法 ?利用選擇自變量的準(zhǔn)則，計(jì)算所 有可能變量子集的回歸方程 選擇自變量的準(zhǔn)則 ： 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 53 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 進(jìn)一步閱讀的文獻(xiàn)： 1 王松桂，陳敏，陳立萍。 線性統(tǒng)計(jì)模型 線性回歸 與方差分析。 北京：高等教育出版社， 1999 2 何曉群。 回歸分析與經(jīng)濟(jì)數(shù)據(jù)建模。 北京：中國人 民大學(xué)出版社， 1997 3 胡良平。 現(xiàn)代統(tǒng)計(jì)學(xué)與 SAS應(yīng)用。 北京： 軍事醫(yī)學(xué) 科學(xué)出版社， 2022。 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 54 選擇自變量的準(zhǔn)則 選擇自變量進(jìn)入回歸模型的方法 回 歸 分 析 — 多元線性回歸 2 線性回歸 自變量的選擇 本章目錄 55 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 多重共線性的識別及處理 本章目錄 56 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 提 綱 背景 多重共線性的識別 多重共線性的處理 本章目錄 57 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 在多元線性回歸中，有時(shí)會出現(xiàn)一些奇怪的現(xiàn)象， 有時(shí)在某一顯著性水平下，回歸方程通過了顯著 性水平檢驗(yàn)，而回歸系數(shù)則不能通過相應(yīng)的顯著 性檢驗(yàn)；有時(shí)某個(gè)自變量與因變量有很強(qiáng)的相關(guān) 性，然而在回歸方程中該變量的回歸系數(shù)卻沒有 通過顯著性檢驗(yàn)；有時(shí)回歸系數(shù)的符號與相關(guān)專 業(yè)相矛盾等，這些現(xiàn)象的出現(xiàn)，是由于所選的自 變量間存在著線性相關(guān)。這種現(xiàn)象稱為 多重共線性 。 背景 多重共 線性的 識別 多重共 線性的 處理 本章目錄 58 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 背景 多重共 線性的 識別 多重共 線性的 處理 共線性的識別方法是基于信息矩陣 進(jìn)行的， 常用的統(tǒng)計(jì)量有方差膨脹因子 VIF（或容限 TOL）、 條件指數(shù)和方差比例等。 XX39。本章目錄 59 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 ① 方差膨脹因子 背景 多重共 線性的 識別 多重共 線性的 處理 設(shè)變量為 ， 若它們之間存在或近似存在多重共線性 ， 表明其中某個(gè)變量能表示或近似表示為其它變量的線性組合 ， 因此 ，若分別以 為因變量 ， 以 自變量 （ ） 建立線性回歸方程 ， 看這 個(gè)回歸方程的決定系數(shù) （ ） 有沒有較大者 ， 若有 ， 則表明它們之間有多重共線性關(guān)系 。 pXXX ,..., 21iX pii XXXXX ,. . . ,. . . , 1121 ??pi ,...,2,1?piR2pi ,...,2,1?本章目錄 60 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 ① 方差膨脹因子 背景 多重共 線性的 識別 多重共 線性的 處理 方差膨脹因子表示由于共線性的存在而使參數(shù)估計(jì)值 的方差增大的情況 與 的關(guān)系 iR2iii T O LRiiV I F 1112 ???? 個(gè)回歸系數(shù)的方差自變量不相關(guān)時(shí)第個(gè)回歸系數(shù)的方差第本章目錄 61 回 歸 分 析 — 多元線性回歸 2 線性回歸 多重共線性的識別及處理 ① 方差膨脹因子 背景 多重共 線性的 識別 多重共 線性的 處理 當(dāng) =0， =1，此時(shí)表示 與其它變量間不存在線性關(guān)系； 當(dāng) 0 1, 1,此時(shí)表示 與其它變量間存在不同程度的 線性關(guān)系； 當(dāng) =1時(shí) , ,此時(shí)表示 與其它變量間存在完全的線性關(guān)系。 iXiR2??iVIFiVIFiVIFiR2iR2iXiX在實(shí)際應(yīng)用中若某個(gè) 10，則表明模型中存在 很強(qiáng)的共線性問題。 iVIF本章目錄 62 回 歸 分 析 — 多元線性回歸