【正文】 5 第 7章 自變量選擇與逐步回歸 從 20世紀(jì) 60年代開始，關(guān)于回歸自變量的選擇成為統(tǒng)計(jì)學(xué)中研究的熱點(diǎn)問題。 ? 如果遺漏了某些重要的變量，回歸方程的效果肯定不會(huì)好； ? 如果擔(dān)心遺漏了重要的變量，而考慮過多的自變量，在這些變量中，某些自變量對(duì)問題的研究可能并不重要，有些自變量數(shù)據(jù)的質(zhì)量可能很差，有些變量可能和其他變量有很大程度的重疊。 逐步回歸 ? 167。 自變量選擇對(duì)估計(jì)和預(yù)測(cè)的影響 ? 167。 異常值與強(qiáng)影響值 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 121 167。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 119 167。引起異常值的原因有以下幾條： 對(duì)引起異常值的不同原因，需要采取不同的處理方法。 異常值與強(qiáng)影響值 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 118 167。 異常值與強(qiáng)影響值 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 116 167。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 114 167。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 113 167。 對(duì)強(qiáng)影響點(diǎn)應(yīng)該有足夠的重視。 異常值與強(qiáng)影響值 強(qiáng)影響點(diǎn)并不一定是 y值的異常值點(diǎn)，因而強(qiáng)影響點(diǎn)并不總會(huì)對(duì)回歸方程造成不良影響。 異常值與強(qiáng)影響值 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 111 167。 異常值與強(qiáng)影響值 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 109 167。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 107 167。 異常值分為兩種情況，一種是關(guān)于因變量 y異常，另一種是關(guān)于自變量 x異常。 異常值與強(qiáng)影響值 在回歸分析的應(yīng)用中，數(shù)據(jù)時(shí)常包含著一些異常的或極端的觀察值，這些觀察值與其他數(shù)據(jù)遠(yuǎn)遠(yuǎn)分開，可能引起較大的殘差，極大地影響回歸擬合的效果。 關(guān)于多重共線性問題 （ 3）回歸系數(shù)的有偏估計(jì) 消除多重共線性對(duì)回歸模型的影響是近 40年來(lái)統(tǒng)計(jì)學(xué)家們關(guān)注的熱點(diǎn)課題之一 ,除以上方法被人們應(yīng)用外 ,統(tǒng)計(jì)學(xué)家還致力于改進(jìn)古典的最小二乘法 ,提出以采用有偏估計(jì)為代價(jià)來(lái)提高估計(jì)量穩(wěn)定性的方法 ,如嶺回歸法 ,主成分法 ,偏最小二乘法等 ,這些方法已有不少應(yīng)用效果很好的經(jīng)濟(jì)例子 ,而且在計(jì)算機(jī)如此發(fā)達(dá)的今天 ,具體計(jì)算也不難實(shí)現(xiàn)。 有時(shí) ,增加了樣本數(shù)據(jù) ,但可能新數(shù)據(jù)距離原來(lái)樣本數(shù)據(jù)的平均值較大 ,會(huì)產(chǎn)生一些新的問題 ,使模型擬合變差 ,沒有收到增加樣本數(shù)據(jù)期望的效果。 增大樣本容量的方法在有些經(jīng)濟(jì)問題中是不現(xiàn)實(shí)的 ,因?yàn)樵诮?jīng)濟(jì)問題中 ,許多自變量是不受控制的 ,或由于種種原因不可能再得到一些新的樣本數(shù)據(jù)。 關(guān)于多重共線性問題 在實(shí)踐中 ,當(dāng)我們所選的變量個(gè)數(shù)接近樣本容量 n時(shí) ,自變量間就容易產(chǎn)生共線性。增大樣本容量也是消除多重共線性的一個(gè)途徑 。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 103 167。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 101 167。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 100 167。 有時(shí) ， 根據(jù)所研究的問題的需要 ， 當(dāng)回歸方程中仍然存在嚴(yán)重的多重共線性時(shí) ， 也可以首先剔除方差擴(kuò)大因子最大者所對(duì)應(yīng)的自變量 ， 依次剔除 ， 直到消除了多重共線性為止 ， 然后再做自變量的選元 。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 99 167。 當(dāng)涉及自變量較多時(shí) ,大多數(shù)回歸方程都受到多重共線性的影響 。消除多重共線性的方法很多 ,常用的有下面幾種。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 98 167。 ,自變量間的相關(guān)系數(shù)較大時(shí) ,我們認(rèn)為可能會(huì)出現(xiàn)多重共線性問題。 關(guān)于多重共線性問題 ,或者改變一個(gè)觀測(cè)值時(shí) ,回歸系數(shù)的估計(jì)值發(fā)生較大變化 ,我們就認(rèn)為回歸方程存在嚴(yán)重的 ,一些重要的自變量在回歸方程中沒有通過顯著性檢驗(yàn)時(shí) ,可初步判斷存在著嚴(yán)重的多重共線性。 關(guān)于多重共線性問題 (3)直觀判定法 上述方法是為了診斷共線性是否存在的專門方法 ,相對(duì)這幾種方法，還有一些在建模過程中順便直觀判斷的非正規(guī)方法。 關(guān)于多重共線性問題 對(duì)例 ，用 SPSS軟件計(jì)算出特征根與條件數(shù)如下： 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 95 167。 關(guān)于多重共線性問題 (2)特征根判定法 特征根分析 條件數(shù) 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 93 167。 關(guān)于多重共線性問題 一般情況下 ,當(dāng)一個(gè)回歸方程存在嚴(yán)重的多重共線性時(shí) ,有若干個(gè)自變量所對(duì)應(yīng)的方差擴(kuò)大因子大于 10,這個(gè)回歸方程多重共線性的存在就是方差擴(kuò)大因子超過 10的這幾個(gè)變量引起的 ,說明這幾個(gè)自變量間有一定的多重共線性的關(guān)系存在。在線性回歸對(duì)話框的 Statitics選項(xiàng)框中點(diǎn)選Collinearity diagnostic共線性診斷選項(xiàng)，然后做回歸。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 90 167。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 88 167。 關(guān)于多重共線性問題 (1)方差擴(kuò)大因子法 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 86 167。 關(guān)于多重共線性問題 三、 多重共線性的診斷 一般情況下 ,當(dāng)回歸方程的解釋變量之間存在著很強(qiáng)的線性關(guān)系 ,回歸方程的檢驗(yàn)高度顯著時(shí) ,有些與因變量 y的簡(jiǎn)單相關(guān)系數(shù)絕對(duì)值很高的自變量，其回歸系數(shù)不能通過顯著性檢驗(yàn) ,甚至出現(xiàn)有的回歸系數(shù)所帶符號(hào)與實(shí)際經(jīng)濟(jì)意義不符 ,這時(shí)就認(rèn)為變量間存在著多重共線性。如果是利用模型去作經(jīng)濟(jì)預(yù)測(cè) ,只要保證自變量的相關(guān)類型在未來(lái)時(shí)期中保持繼續(xù)不變 ,即未來(lái)時(shí)期自變量間仍具有當(dāng)初建模時(shí)數(shù)據(jù)的聯(lián)系特征 ,即使回歸模型中包含有嚴(yán)重多重共線性的變量也可以得到較好的預(yù)測(cè)結(jié)果；如果不能保證自變量的相關(guān)類型在未來(lái)時(shí)期中保持繼續(xù)不變 ,那么多重共線性就會(huì)對(duì)回歸預(yù)測(cè)產(chǎn)生嚴(yán)重的影響。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 83 167。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 81 167。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 79 167。 關(guān)于多重共線性問題 當(dāng)自變量間的相關(guān)性從小到大增加時(shí) ,估計(jì)量的方差會(huì)增大得更快。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 76 167。 關(guān)于多重共線性問題 在研究社會(huì)、經(jīng)濟(jì)問題時(shí) ,因?yàn)閱栴}本身的復(fù)雜性 ,涉及的因素很多 ,但在建立回歸模型時(shí) ,往往由于研究者認(rèn)識(shí)水平的局限性 ,很難在眾多因素中找到一組互不相關(guān)又對(duì)因變量 y有顯著影響的變量 ,不可避免地出現(xiàn)所選自變量相關(guān)的情形。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 73 167。 關(guān)于多重共線性問題 對(duì)于許多利用截面數(shù)據(jù)建立回歸方程的問題常常也存在自變量高度相關(guān)的情形。如果我們要研究我國(guó)居民消費(fèi)狀況 ,影響居民消費(fèi)的因素很多 ,一般有職工平均工資、農(nóng)民平均收入、銀行利率、全國(guó)零售物價(jià)指數(shù)、國(guó)債利率、貨幣發(fā)行量、儲(chǔ)蓄額、前期消費(fèi)額等 ,這些因素顯然既對(duì)居民消費(fèi)產(chǎn)生重要影響 ,它們之間又有著很強(qiáng)的相關(guān)性。 關(guān)于多重共線性問題 當(dāng)我們所研究的經(jīng)濟(jì)問題涉及到時(shí)間序列資料時(shí) ,由于經(jīng)濟(jì)變量隨時(shí)間往往存在共同的變化趨勢(shì) ,使得它們之間就容易出現(xiàn)共線性。當(dāng)這一組變量間有較強(qiáng)的相關(guān)性時(shí) ,我們就認(rèn)為是一種違背多元線性回歸模型基本假設(shè)的情形?？陀^地說 ,某一經(jīng)濟(jì)現(xiàn)象 ,涉及到多個(gè)影響因素時(shí) ,這多個(gè)影響因素之間大都有一定的相關(guān)性。 關(guān)于多重共線性問題 一、多重共線性產(chǎn)生的背景 解釋變量之間完全不相關(guān)的情形是非常少見的 ,尤其是研究某個(gè)經(jīng)濟(jì)問題時(shí) ,涉及的自變量較多 ,我們很難找到一組自變量 ,它們之間互不相關(guān) ,而且它們又都對(duì)因變量有顯著影響。 關(guān)于多重共線性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 69 167。 關(guān)于自相關(guān)性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 67 167。 關(guān)于自相關(guān)性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 65 167。 關(guān)于自相關(guān)性問題 。 關(guān)于自相關(guān)性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 62 167。 關(guān)于自相關(guān)性問題 。 關(guān)于自相關(guān)性問題 （三）實(shí)例分析 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 59 167。第一，迭代法需要用樣本估計(jì)自相關(guān)系數(shù) ρ，對(duì) ρ的估計(jì)誤差會(huì)影響迭代法的使用效率；第二，差分法比迭代法簡(jiǎn)單 ,人們?cè)诮r(shí)序數(shù)據(jù)的回歸模型時(shí) ,更習(xí)慣于用差分法 。 關(guān)于自相關(guān)性問題 對(duì)（ ）式這樣不帶有常數(shù)項(xiàng)的回歸方程仍用最小二乘法 ,但它與前邊的帶有常數(shù)項(xiàng)的情形稍有不同 ,它是回歸直線過原點(diǎn)的回歸方程。一階差分法通常適用于原模型存在較高程度的一階自相關(guān)的情況。 關(guān)于自相關(guān)性問題 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 56 167。 關(guān)于自相關(guān)性問題 模型（ ）式有獨(dú)立隨機(jī)誤差項(xiàng) ,它已滿足線性回歸模型的基本假設(shè) ,用普通最小二乘法估計(jì)的參數(shù)估計(jì)量具有通常的優(yōu)良性。 關(guān)于自相關(guān)性問題 （一）迭代法 以一元線性回歸模型為例 ,設(shè)一元線性回歸模型的誤差項(xiàng)存在一階自相關(guān) 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 53 167。 如果是回歸模型選用不當(dāng)，則應(yīng)改用更適當(dāng)?shù)幕貧w模型； 如果是缺少重要的自變量，則應(yīng)增加自變量； 如果以上兩種方法不能消除序列相關(guān)性，則需采用差分法、自回歸法、移動(dòng)平均法，或者這些方法的綜合運(yùn)用等方法處理 . 本書在此介紹兩種簡(jiǎn)單的方法，迭代法和差分法。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中國(guó)人民大學(xué)六西格瑪質(zhì)量管理研究中心 51 167。 、下界表要求 n＞ 15,這是因?yàn)闃颖救绻傩?,利用殘差就很難對(duì)自相關(guān)的存在性作出比較正確的診斷。 ,一旦 這個(gè)區(qū)域 ,就無(wú)法判斷。 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 2020/9/16 中