【正文】 ???????????22221?000?000??neee???????Ω然后就可以利用廣義最小二乘法得到多元線性回歸模型的系數(shù)的估計(jì)值。 廣義最小二乘法 (GLS) （ 1）廣義最小二乘法的估計(jì)式 YΩXXΩXβ 111 )(? ???? TT設(shè)多元線性回歸模型為 uX βY ??設(shè)高斯基本假設(shè)中的其他假設(shè)都滿足，只有（ 3）現(xiàn)在為 ，其中 Ω是一個(gè)對(duì)稱正定矩陣。則有如下的廣義最小二乘估計(jì)式。 Ωuuu2)()( ??? TEC o v（ 2）廣義最小二乘估計(jì)量的性質(zhì) 對(duì)廣義最小二乘估計(jì)量，高斯 — 馬爾柯夫定理的結(jié)論仍然成立。 （ 3） WLS估計(jì)法 特別地，當(dāng)矩陣 Ω是對(duì)角矩陣，但其對(duì)角線上的元素不相等。這意味著 僅存在異方差性 的影響。此時(shí)按照前面的方法可以得到 ???????????????22221?000?000??neee???????Ω從而可以計(jì)算 GLS估計(jì)量。但 這等價(jià)于以下的方法 ： 將原模型的第 i個(gè)表達(dá)式 ikikii uXXY ????? ??? ?221的兩端除以 ，得 |?| ie|?||?||?||?||?|221iiikikiiiiieueXeXeeY ????? ??? ?容易證明此時(shí)新的隨機(jī)擾動(dòng)項(xiàng) |?| iii euv ?具有同方差性。于是可用 OLS估計(jì)上面的模型。得到的參數(shù)估計(jì)量就是 GLS估計(jì)量。 這種方法相當(dāng)于 以原模型殘差絕對(duì)值的倒數(shù)為權(quán) ，將所有的樣本數(shù)據(jù)分別乘以相應(yīng)的權(quán)值，然后用變換以后的數(shù)據(jù)來估計(jì)多元回歸模型。所以這種方法稱為 加權(quán)最小二乘法（ WLS） 。 例 住房支出 本例中考慮由 4組家庭住房支出和年收入的截面數(shù)據(jù)： 利用該組數(shù)據(jù)建立住房支出模型 iii uXY ??? ??采用 OLS法進(jìn)行估計(jì)得： )()(: 2tRXY ii ???組別 年收入 / 千美元1 2 2 2 52 3 103 5 154 5 6 20住房支出 / 千美元由數(shù)據(jù)分析，以及由散點(diǎn)圖 可知存在異方差性。 ScatterplotDependent Variable: 住房支出Regression Standardized Predicted ValueRegression Standardized Residual210123更進(jìn)一步， X與殘差絕對(duì)值的 Spearman等級(jí)相關(guān)系數(shù)為 ，在顯著性水平 5%下顯著異于零。 通過試算異方差的形式我們得到 ii Xe 0 2 2 |?| ?因此采用 WLS估計(jì)模型。先變換模型為 iiiiiXuXXY ??? ??再用 OLS法進(jìn)行估計(jì)得到 )()(: 2tRXY ii ???注意系數(shù)的變化不大，但 t值明顯增大，這表明當(dāng)異方差存在時(shí)，標(biāo)準(zhǔn)誤差被高估了。 自相關(guān)（序列相關(guān)）問題 1. 序列相關(guān)問題 前面提到的高斯基本假設(shè)（ 3）實(shí)際上等價(jià)于兩個(gè)要求： 并且 niuV a rui , . ..,1,)( 2 ?? ? jiuuC o v ji ?? ,0),(也即 所有擾動(dòng)項(xiàng)方差相等 ，并且 不存在序列相關(guān) 。 前者不滿足就產(chǎn)生異方差問題，而若后者不滿足，即 0),( ?ji uuC o v存在 i, j， i? j使得 ，則產(chǎn)生 序列相關(guān)（自相關(guān)） 的問題。 序列相關(guān) 常見于采用時(shí)間序列樣本數(shù)據(jù)建立的模型 ，要求序列不相關(guān)等價(jià)于要求各期的數(shù)據(jù)不相關(guān)。實(shí)際問題常常無法滿足如此要求。 2. 實(shí)際問題中產(chǎn)生序列相關(guān)的主要原因 ? 經(jīng)濟(jì)因素是前后關(guān)聯(lián)的 ? 隨機(jī)沖擊影響的滯后作用 ? 遺漏的變量 3. 序列相關(guān)的后果 若存在序列相關(guān)，則高斯假設(shè)（ 3）不滿足，因而得到OLS估計(jì)量不具有最小方差。因此從應(yīng)用的角度，存在序列相關(guān)像存在異方差一樣，有如下不利的后果： ?OLS估計(jì)量不再具有最小方差性，因而不是 BLUE ?不再可以信賴顯著性檢驗(yàn)的結(jié)果 ?預(yù)測(cè)可能失效 4. 序列相關(guān)的檢驗(yàn) （ 1）通過觀察散點(diǎn)圖判別 由于隨機(jī)擾動(dòng)項(xiàng)本身觀察不到，所以通過觀察其估計(jì)量 — 殘差來觀察是否出現(xiàn)序列相關(guān)。 有兩種作散點(diǎn)圖的方式： a. 以殘差為縱坐標(biāo)，以其下標(biāo)為橫坐標(biāo)作散點(diǎn)圖。 i ei i ei 無序列相關(guān) 負(fù)自相關(guān) i ei 正自相關(guān) b. 以 ei為縱坐標(biāo)， ei1為橫坐標(biāo)作散點(diǎn)圖。 ei1 ei 正自相關(guān) ei1 ei 負(fù)自相關(guān) （ 2）一階自相關(guān)的 DW檢驗(yàn)法 在實(shí)際問題中，最常見的序列相關(guān)是一階自相關(guān)，即隨機(jī)擾動(dòng)項(xiàng)之間的相關(guān)關(guān)系可以表示為形式： ntuu ttt ,2,1,1 ???? ? ??無自相關(guān)完全負(fù)自相關(guān)）負(fù)自相關(guān)（完全正自相關(guān)）正自相關(guān)（:0:1:0:1:0???????????下面只就這種形式的序列相關(guān)進(jìn)行討論 注意：上面表達(dá)式中的 εt是一個(gè)隨機(jī)擾動(dòng)項(xiàng)滿足： .,0)(。, .. .,2,1,)(,0)( 22 tsEntEE sttt ????? ????? ?式中， 為自相關(guān)系數(shù) ( ), 即擾動(dòng)項(xiàng)只與前一期的值相關(guān)。根據(jù) 的不同，一階自相關(guān)可分為下面三種情況 11 ??? ???思路 ： DW檢驗(yàn)法要檢驗(yàn) ρ = 0是否成立， 若等式成立，則 ，所檢驗(yàn)的模型不存在自相關(guān)；否則存在序列相關(guān) 。使用的統(tǒng)計(jì)量為 DW統(tǒng)計(jì)量，其計(jì)算公式為 ttu ?????????nttnttteeeDW12221 )(與前面的檢驗(yàn)不同的是，這一統(tǒng)計(jì)量的真實(shí)分布無法確切地得到，只知道在兩個(gè)已知分布之間 下分布 上分布 A B C D 對(duì)給定的顯著性水平，可以通過 DW的臨界值表查到這兩個(gè)已知分布的臨界值，分別記作 dL、 dU 根據(jù)這兩個(gè)臨界值可以用如下的規(guī)則來判別自相關(guān)性： 判別： 若 0DWdL, 則擾動(dòng)項(xiàng)正自相關(guān)； 若 dLDWdU, 不能判斷； 若 dUDW4 dU, 則擾動(dòng)項(xiàng)無自相關(guān)； 若 4 dUDW4 dL, 不能判斷； 若 4 dLDW4 , 則擾動(dòng)項(xiàng)負(fù)自相關(guān)。 0 4 2 dL dU 4dU 4dL 正自相關(guān) 負(fù)自相關(guān) 無自相關(guān) 從上述判別規(guī)則可知： DW統(tǒng)計(jì)量的值越接近 2，隨機(jī)擾動(dòng)項(xiàng)越可能不自相關(guān) 。 由于采用時(shí)間序列數(shù)據(jù)建立回歸方程時(shí)，隨機(jī)擾動(dòng)項(xiàng)往往可能存在自相關(guān)，因此 通常在給出回歸方程的同時(shí)，也給出 DW統(tǒng)計(jì)量的值 。 但是， DW檢驗(yàn)也存在缺陷，主要是： ?它只能用來判別是否存在一階自相關(guān)； ?DW統(tǒng)計(jì)量的取值范圍內(nèi)有不能判別是否存在一階自相關(guān)的區(qū)域； ?當(dāng)存在以滯后被解釋變量作解釋變量的情形時(shí)，該方法不再適用。 在 DW檢驗(yàn)法不再適用時(shí)，可以考慮其他檢驗(yàn)法（比較常用的有 LM法）。 5. 序列相關(guān)的處理 這里只討論一階自相關(guān)的情形。 如果自相關(guān)具有形式 ttt uu ?? ?? ? 1則 只要知道 ρ，就可以完全消除自相關(guān)。下面通過一元模型說明消除自相關(guān)的方法。 設(shè) ttt uXY ??? ??ttt uu ?? ?? ? 1且 對(duì)模型取一期滯后，得 111 ??? ??? ttt uXY ??于是 111 ??? ??? ttt uXY ??????其中 滿足前述條件，且 。 0??t?故 )()()1(111 ??? ??????? tttttt uuXXYY ??????由于 從而經(jīng)過變換 ttt uu ?? ?? ? 1)1(39。, 139。139。 ????? ?????? ?? tttttt XXXYYY得 ttt XY ??? ??? 39。39。 39。于是可以用 OLS估計(jì)上面的方程。這種方法稱為 廣義差分法 。 但 若 ρ未知 ，則 需首先估計(jì) ρ，然后再應(yīng)用上面的方法。 科克倫 — 奧克特法 (CochraneOrcutt)兩步法 這是一個(gè)迭代方法，它通過一個(gè)有兩個(gè)步驟的迭代過程來確定要求的參數(shù) 。 科克倫 — 奧克特法的步驟： 1）用 OLS估計(jì)原模型，并計(jì)算殘差 et。 2） et對(duì) et 1回歸，即估計(jì) ，得到 ρ的估計(jì)值 。 ttt ee ?? ?? ? 1?? 3）利用 進(jìn)行變換 ??139。139。 ?,? ?? ???? tttttt XXXYYY ??然后估計(jì)變換后的方程 ，得到估計(jì)值 。再計(jì)算殘差并回到 2）得到所需的估計(jì)值。 ttt XY ??? ??? 39。39。 39。?? ?,??注意估計(jì) 3）中的模型等價(jià)于估計(jì)以下模型 ttttt XXYY ??????? ?????? ?? 11 ??)?1(在這一估計(jì)結(jié)果中， Yt1的系數(shù)估計(jì)值就是廣義差分法所需要的系數(shù) 。 ??科克倫 — 奧克特法的實(shí)際做法： 假設(shè)已經(jīng)檢驗(yàn)?zāi)Ｐ? ntuXXY tktktt , .. .,2,1,221 ?????? ??? ?ttt uu ?? ?? ? 1存在形式 的自相關(guān)。 構(gòu)造模型 ntuXXXXYYttkktktkttt,...,2,)1()1(2222110?????????????????????利用樣本數(shù)據(jù)估計(jì)該模型， 其中估計(jì)值 就是進(jìn)行一階廣義差分變換所需要的系數(shù)的估計(jì)值 。 1????以 為系數(shù)對(duì)原模型進(jìn)行一階廣義差分變換，就可消除或減弱自相關(guān)性。 ?? 用 SPSS處理線性回歸的三大基本問題 例題、方法、具體步驟、結(jié)果分析與說明見教材與例題的求解過程演示。 關(guān)于三大問題的小結(jié) 多重共線性 異方差性 序列相關(guān) 概念 多個(gè)變量之間存在線性相關(guān)或近似線性相關(guān)的關(guān)系 各隨機(jī)誤差項(xiàng)的方差不相等 不同的隨機(jī)誤差項(xiàng)之間存在相關(guān) 主要 原因 各解釋變量之間有共同變化的趨勢(shì) 太小的樣本數(shù)據(jù)容量 各經(jīng)濟(jì)主體的數(shù)據(jù)有不同的波動(dòng)幅度 經(jīng)濟(jì)影響因素是前后關(guān)聯(lián)的 經(jīng)濟(jì)影響的延續(xù)性 遺漏重要解釋變量 后果 完全多重共線性導(dǎo)致 OLS估計(jì)量不存在 估計(jì)量的方差將變得非常大從而出現(xiàn)很大的估計(jì)誤差 參數(shù)的 t統(tǒng)計(jì)量的絕對(duì)值很小、參數(shù)符號(hào)不合理 OLS估計(jì)量非有效 變量的顯著性檢驗(yàn)失去意義 預(yù)測(cè)失效 OLS估計(jì)量非有效 變量的顯著性檢驗(yàn)失去意義 預(yù)測(cè)失效 檢驗(yàn) 容許度檢驗(yàn) 方差膨脹因子 通過回歸結(jié)果 條件指數(shù) 解釋變量之間的相關(guān)系數(shù) 主要檢查隨機(jī)誤差項(xiàng)的近似估計(jì)量 —— 殘差的變動(dòng)幅度是否隨解釋變量或被解釋變量變化，具體方法有圖示法 殘差與解釋變量之間的相關(guān)性檢驗(yàn) 檢驗(yàn)隨機(jī)誤差項(xiàng)的近似估計(jì)量 —— 殘差間的相關(guān)性，主要考慮一階自相關(guān)，方法 圖示法 DW檢驗(yàn)法 處理 通過逐步回歸法刪除不重要的解釋變量 對(duì)模型施加適當(dāng)約束 改變模型的結(jié)構(gòu) 適當(dāng)處理滯后解釋變量 增加樣本量或改變數(shù)據(jù)集 WLS估計(jì) 廣義差分法（需要先估計(jì)自相關(guān)系數(shù)）