【正文】 ???????????22221?000?000??neee???????Ω然后就可以利用廣義最小二乘法得到多元線性回歸模型的系數(shù)的估計值。 廣義最小二乘法 (GLS) （ 1）廣義最小二乘法的估計式 YΩXXΩXβ 111 )(? ???? TT設(shè)多元線性回歸模型為 uX βY ??設(shè)高斯基本假設(shè)中的其他假設(shè)都滿足，只有（ 3）現(xiàn)在為 ，其中 Ω是一個對稱正定矩陣。則有如下的廣義最小二乘估計式。 Ωuuu2)()( ??? TEC o v（ 2）廣義最小二乘估計量的性質(zhì) 對廣義最小二乘估計量，高斯 — 馬爾柯夫定理的結(jié)論仍然成立。 （ 3） WLS估計法 特別地，當矩陣 Ω是對角矩陣，但其對角線上的元素不相等。這意味著 僅存在異方差性 的影響。此時按照前面的方法可以得到 ???????????????22221?000?000??neee???????Ω從而可以計算 GLS估計量。但 這等價于以下的方法 ： 將原模型的第 i個表達式 ikikii uXXY ????? ??? ?221的兩端除以 ，得 |?| ie|?||?||?||?||?|221iiikikiiiiieueXeXeeY ????? ??? ?容易證明此時新的隨機擾動項 |?| iii euv ?具有同方差性。于是可用 OLS估計上面的模型。得到的參數(shù)估計量就是 GLS估計量。 這種方法相當于 以原模型殘差絕對值的倒數(shù)為權(quán) ，將所有的樣本數(shù)據(jù)分別乘以相應的權(quán)值，然后用變換以后的數(shù)據(jù)來估計多元回歸模型。所以這種方法稱為 加權(quán)最小二乘法（ WLS） 。 例 住房支出 本例中考慮由 4組家庭住房支出和年收入的截面數(shù)據(jù)： 利用該組數(shù)據(jù)建立住房支出模型 iii uXY ??? ??采用 OLS法進行估計得： )()(: 2tRXY ii ???組別 年收入 / 千美元1 2 2 2 52 3 103 5 154 5 6 20住房支出 / 千美元由數(shù)據(jù)分析，以及由散點圖 可知存在異方差性。 ScatterplotDependent Variable: 住房支出Regression Standardized Predicted ValueRegression Standardized Residual210123更進一步， X與殘差絕對值的 Spearman等級相關(guān)系數(shù)為 ，在顯著性水平 5%下顯著異于零。 通過試算異方差的形式我們得到 ii Xe 0 2 2 |?| ?因此采用 WLS估計模型。先變換模型為 iiiiiXuXXY ??? ??再用 OLS法進行估計得到 )()(: 2tRXY ii ???注意系數(shù)的變化不大，但 t值明顯增大，這表明當異方差存在時，標準誤差被高估了。 自相關(guān)（序列相關(guān)）問題 1. 序列相關(guān)問題 前面提到的高斯基本假設(shè)（ 3）實際上等價于兩個要求： 并且 niuV a rui , . ..,1,)( 2 ?? ? jiuuC o v ji ?? ,0),(也即 所有擾動項方差相等 ，并且 不存在序列相關(guān) 。 前者不滿足就產(chǎn)生異方差問題，而若后者不滿足，即 0),( ?ji uuC o v存在 i, j， i? j使得 ，則產(chǎn)生 序列相關(guān)（自相關(guān)） 的問題。 序列相關(guān) 常見于采用時間序列樣本數(shù)據(jù)建立的模型 ，要求序列不相關(guān)等價于要求各期的數(shù)據(jù)不相關(guān)。實際問題常常無法滿足如此要求。 2. 實際問題中產(chǎn)生序列相關(guān)的主要原因 ? 經(jīng)濟因素是前后關(guān)聯(lián)的 ? 隨機沖擊影響的滯后作用 ? 遺漏的變量 3. 序列相關(guān)的后果 若存在序列相關(guān)，則高斯假設(shè)（ 3）不滿足，因而得到OLS估計量不具有最小方差。因此從應用的角度，存在序列相關(guān)像存在異方差一樣，有如下不利的后果： ?OLS估計量不再具有最小方差性，因而不是 BLUE ?不再可以信賴顯著性檢驗的結(jié)果 ?預測可能失效 4. 序列相關(guān)的檢驗 （ 1）通過觀察散點圖判別 由于隨機擾動項本身觀察不到，所以通過觀察其估計量 — 殘差來觀察是否出現(xiàn)序列相關(guān)。 有兩種作散點圖的方式： a. 以殘差為縱坐標，以其下標為橫坐標作散點圖。 i ei i ei 無序列相關(guān) 負自相關(guān) i ei 正自相關(guān) b. 以 ei為縱坐標， ei1為橫坐標作散點圖。 ei1 ei 正自相關(guān) ei1 ei 負自相關(guān) （ 2）一階自相關(guān)的 DW檢驗法 在實際問題中，最常見的序列相關(guān)是一階自相關(guān)，即隨機擾動項之間的相關(guān)關(guān)系可以表示為形式： ntuu ttt ,2,1,1 ???? ? ??無自相關(guān)完全負自相關(guān)）負自相關(guān)（完全正自相關(guān)）正自相關(guān)（:0:1:0:1:0???????????下面只就這種形式的序列相關(guān)進行討論 注意：上面表達式中的 εt是一個隨機擾動項滿足： .,0)(。, .. .,2,1,)(,0)( 22 tsEntEE sttt ????? ????? ?式中， 為自相關(guān)系數(shù) ( ), 即擾動項只與前一期的值相關(guān)。根據(jù) 的不同，一階自相關(guān)可分為下面三種情況 11 ??? ???思路 ： DW檢驗法要檢驗 ρ = 0是否成立， 若等式成立，則 ，所檢驗的模型不存在自相關(guān)；否則存在序列相關(guān) 。使用的統(tǒng)計量為 DW統(tǒng)計量，其計算公式為 ttu ?????????nttnttteeeDW12221 )(與前面的檢驗不同的是，這一統(tǒng)計量的真實分布無法確切地得到，只知道在兩個已知分布之間 下分布 上分布 A B C D 對給定的顯著性水平，可以通過 DW的臨界值表查到這兩個已知分布的臨界值，分別記作 dL、 dU 根據(jù)這兩個臨界值可以用如下的規(guī)則來判別自相關(guān)性： 判別： 若 0DWdL, 則擾動項正自相關(guān)； 若 dLDWdU, 不能判斷； 若 dUDW4 dU, 則擾動項無自相關(guān)； 若 4 dUDW4 dL, 不能判斷； 若 4 dLDW4 , 則擾動項負自相關(guān)。 0 4 2 dL dU 4dU 4dL 正自相關(guān) 負自相關(guān) 無自相關(guān) 從上述判別規(guī)則可知： DW統(tǒng)計量的值越接近 2，隨機擾動項越可能不自相關(guān) 。 由于采用時間序列數(shù)據(jù)建立回歸方程時，隨機擾動項往往可能存在自相關(guān)，因此 通常在給出回歸方程的同時，也給出 DW統(tǒng)計量的值 。 但是， DW檢驗也存在缺陷，主要是： ?它只能用來判別是否存在一階自相關(guān)； ?DW統(tǒng)計量的取值范圍內(nèi)有不能判別是否存在一階自相關(guān)的區(qū)域； ?當存在以滯后被解釋變量作解釋變量的情形時，該方法不再適用。 在 DW檢驗法不再適用時，可以考慮其他檢驗法（比較常用的有 LM法）。 5. 序列相關(guān)的處理 這里只討論一階自相關(guān)的情形。 如果自相關(guān)具有形式 ttt uu ?? ?? ? 1則 只要知道 ρ，就可以完全消除自相關(guān)。下面通過一元模型說明消除自相關(guān)的方法。 設(shè) ttt uXY ??? ??ttt uu ?? ?? ? 1且 對模型取一期滯后，得 111 ??? ??? ttt uXY ??于是 111 ??? ??? ttt uXY ??????其中 滿足前述條件，且 。 0??t?故 )()()1(111 ??? ??????? tttttt uuXXYY ??????由于 從而經(jīng)過變換 ttt uu ?? ?? ? 1)1(39。, 139。139。 ????? ?????? ?? tttttt XXXYYY得 ttt XY ??? ??? 39。39。 39。于是可以用 OLS估計上面的方程。這種方法稱為 廣義差分法 。 但 若 ρ未知 ，則 需首先估計 ρ，然后再應用上面的方法。 科克倫 — 奧克特法 (CochraneOrcutt)兩步法 這是一個迭代方法，它通過一個有兩個步驟的迭代過程來確定要求的參數(shù) 。 科克倫 — 奧克特法的步驟： 1）用 OLS估計原模型，并計算殘差 et。 2） et對 et 1回歸，即估計 ，得到 ρ的估計值 。 ttt ee ?? ?? ? 1?? 3）利用 進行變換 ??139。139。 ?,? ?? ???? tttttt XXXYYY ??然后估計變換后的方程 ，得到估計值 。再計算殘差并回到 2）得到所需的估計值。 ttt XY ??? ??? 39。39。 39。?? ?,??注意估計 3）中的模型等價于估計以下模型 ttttt XXYY ??????? ?????? ?? 11 ??)?1(在這一估計結(jié)果中， Yt1的系數(shù)估計值就是廣義差分法所需要的系數(shù) 。 ??科克倫 — 奧克特法的實際做法： 假設(shè)已經(jīng)檢驗模型 ntuXXY tktktt , .. .,2,1,221 ?????? ??? ?ttt uu ?? ?? ? 1存在形式 的自相關(guān)。 構(gòu)造模型 ntuXXXXYYttkktktkttt,...,2,)1()1(2222110?????????????????????利用樣本數(shù)據(jù)估計該模型， 其中估計值 就是進行一階廣義差分變換所需要的系數(shù)的估計值 。 1????以 為系數(shù)對原模型進行一階廣義差分變換，就可消除或減弱自相關(guān)性。 ?? 用 SPSS處理線性回歸的三大基本問題 例題、方法、具體步驟、結(jié)果分析與說明見教材與例題的求解過程演示。 關(guān)于三大問題的小結(jié) 多重共線性 異方差性 序列相關(guān) 概念 多個變量之間存在線性相關(guān)或近似線性相關(guān)的關(guān)系 各隨機誤差項的方差不相等 不同的隨機誤差項之間存在相關(guān) 主要 原因 各解釋變量之間有共同變化的趨勢 太小的樣本數(shù)據(jù)容量 各經(jīng)濟主體的數(shù)據(jù)有不同的波動幅度 經(jīng)濟影響因素是前后關(guān)聯(lián)的 經(jīng)濟影響的延續(xù)性 遺漏重要解釋變量 后果 完全多重共線性導致 OLS估計量不存在 估計量的方差將變得非常大從而出現(xiàn)很大的估計誤差 參數(shù)的 t統(tǒng)計量的絕對值很小、參數(shù)符號不合理 OLS估計量非有效 變量的顯著性檢驗失去意義 預測失效 OLS估計量非有效 變量的顯著性檢驗失去意義 預測失效 檢驗 容許度檢驗 方差膨脹因子 通過回歸結(jié)果 條件指數(shù) 解釋變量之間的相關(guān)系數(shù) 主要檢查隨機誤差項的近似估計量 —— 殘差的變動幅度是否隨解釋變量或被解釋變量變化，具體方法有圖示法 殘差與解釋變量之間的相關(guān)性檢驗 檢驗隨機誤差項的近似估計量 —— 殘差間的相關(guān)性，主要考慮一階自相關(guān)，方法 圖示法 DW檢驗法 處理 通過逐步回歸法刪除不重要的解釋變量 對模型施加適當約束 改變模型的結(jié)構(gòu) 適當處理滯后解釋變量 增加樣本量或改變數(shù)據(jù)集 WLS估計 廣義差分法（需要先估計自相關(guān)系數(shù)）