【正文】 SSeeDW Nt tt /)(2 21?? ??? () 我們可以通過簡單不等式證明 ： E SSeeeee Nt tNt tNt tNt tt 44)(2)(0 1 22 2 12 22 21 ?????? ???? ?? ??? ? 因此 ， DW統計量應滿足 ： 40 ??DW () 如果 DW接近于 0，表示殘差中存在正自相關；如果 DW接近于 4，表示殘差中存在負自相關；如果 DW接近于 2，表示殘差獨立性。檢驗誤差獨立性的最常用方法，是對殘差的一階自相關性進行 DurbinWatson檢驗。如果誤差項不 獨立，那么我們對回歸模型的許多處理，包括誤差項估計、假設檢驗等 都將沒有推導依據。 SAS 系統的 reg 過程中提供了特征值法、條 件指數 collin 和方差膨脹因子 vif，請參閱 SAS/STAT 軟件使用手冊。在實際中 ， 最常見的問題是一些重要的自變量很可能由于在假設檢驗中 t 值不顯著而被不恰當地剔除了。高度 相關的自變量以及由它們所引起的估計問題合在一起稱之為共線性（ collinearity）問題。同樣表示了模型的錯誤選定。 若殘差圖呈現如圖 （ e）所示的形式，顯示了模型本 身具有非線性趨勢，或者提示人們在模型中是否忽略了若干重要的變量。原則上，當誤差方差變化不太快時取變換 y ，當誤差方差變化較快時取變換 ylog 或 yln ，當誤差方差變化很快時取變換 y/1 。 如圖 （ d）所示的形式，殘差隨 x 的增大而先增后減，則蘊含著殘差乃至誤差對于不同的觀察值具有不同的方差變化，稱為異方差。在 SAS 系統的 reg 回歸過程中用來度量異常點影響大小的統計量是COOKD 統計量，計算方法請參閱 SAS/STAT 軟件使用手冊。如果懷疑異常點是由于記錄數據中發(fā)生的錯誤或者在測量過程中采用了拙劣的技巧，我們理應從數據集中刪除，重新回歸模型。在實 際 中 ， 學生化殘差常與 ty? 配合作圖，會有更好的直觀判斷效果。一個簡單的思想就是，如果模型假設正確的話 ，殘差就應該是誤差的良好估計，那么殘差全體構成的直方圖應當與正態(tài)曲線很相似。 若殘差圖呈現如圖 （ a）所示的形式，殘差是隨機的且不表示出一定的趨勢與形式，我們認為建立的回歸模型 應 診斷為無甚大問題。即殘差圖應該在零點附近對稱地密布，越遠離零點的地方就疏散，則在形象上似有正態(tài)趨勢，常認為模型與數據擬合得很好。殘差圖分析的基本思想是，在回歸模型的假設中，我們總是假定誤差項是獨立的正態(tài)分布隨機變量，且均值為零和方差相等為 2? 。 1. 殘差圖分析 所謂殘差圖就是以殘差 ttt yye ??? 為縱坐標，某一個合適的自變量為橫坐標的散點圖。 ? 模型的函數形式是否錯誤或在模型中是否缺少重要的自變量。這些檢驗主要探究的問題為 ： ? 殘差是否為隨機性、是否為正態(tài)性、是否不為異方差。因此，我 們要特別注意 0x 取值應該在樣本數據最小的 ix 和最大的 ix 之間，否則預測很不可靠。注意在 SAS 系統 model語句中的 cli 選項是按公式 ()來計算 的 。注意在 SAS 系統 model語句中的 clm 選項是按公式 ()來計算 的 。由模型知??? ??? 00 xy 是一個隨機變量，要預測隨機變量的取值是不可能的，只能預測其期望值)( 0yE 。我們同樣可以得到原假設 0?? 為真時的 t 統計量 ： )2(~)2/()(//1?)(//1??22222???????? ?? NtNE SSxxxNxxxNt ii????? () 3. 利用回歸方程作預測 當求得回歸方程 xy ?? ??? ?? 后，并經檢驗，方程是顯著的，則可將該回歸方 程用于預測。 利用公式 0)?(,0)?( ???? ?? iiiii xyyyy ，從而有下列平方和分解式： R S SES SyyyyyyyyyyT S Siiiiiii????????????????2222)?()?()??()( () 由于在 0?? 為真 時 ， RS 與 )2/( ?NESS 都是 2? 的無偏估計，因而采用 F 統計量 ： )2,1(~)2/()2/(/ 1//2 2 ????? NFNES S R S SNES SR S SF ? ? () d42029e444b4fd2a2e5519415cc2aed7 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 10 of 44 來檢驗原假設 0?? 是否為真。 二是由其他一切隨機因素引起的差異，它可以用殘差平方和 ： 2,)?(1 2 ???? ?? NdfyyE SS ENi ii () 表示。其中， )(?????? xxyxxyxy iiii ???????? ????? 。我們觀察到的 Nyyy , 21 ? 的差異可以用總偏差平方和表示： 1,)( 21 ???? ?? NdfyyT SS TNi i () 造成這一差異的原因有如下兩個方面： 一是由于假設 0?? 不真，從而對不同的 x 值， Ey 隨 x 而變化。所以 ， 檢驗回歸方程是否有意義的問題轉化為檢驗 下列假設是否為真： 0:0 ??H () 常用的方法有 F 檢驗和 t 檢驗方法。為作檢驗，首先要建立假設。 四、 檢驗與預測 從最小二乘估計表達式 ()和 ()知，只要給出了 N 組數據 Niyx ii ,2,1),( ?? ，總可將它 們代入這兩個表達式獲得 ?和 ?的估計，從而寫出回歸方程。估計量的方差越小即意味著估計值的精度越高。 根據前面的假定： 2)( ?? ?tVar 和 0),( ?stCov ?? ，由定義得 ? ? ? ? ? ??????? Nt txxEV a r1222?? ???? () 按照同樣的方法也可以推導出 ： d42029e444b4fd2a2e5519415cc2aed7 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 8 of 44 ? ? ? ?? ? ???????????????????Ntt xxxNEV a r12222 1?? ???? () 這里順便再計算一下 ?? 和 ?? 的協方差 ： ? ? ? ?? ? ? ?????????Nt txxxEC o v122???,? ??????? () 從式 ()和式 （ )可知，估計量的方差與樣本的大小大致成反比。既然已表明最小二乘估計量具有無偏性，那么下一個問題就是 估計量的方差的大小。將 ttt XY ??? ??? 代入 ?? 估計量（ ）和 ?? 估計量（ ），并作以下變形： ? ?? ????????? NttNtttxxxx121???? () ? ?? ? tNtNtttxxxxXNxy ???? ? ??? ???????????????????1121?? () 于是， ?? 和 ?? 的期望值分別為 ： ? ? ????E () ? ? ?? ??E () 從而很簡單地證明了 ?? 和 ?? 分別是 ?和 ?的無偏估計量。事實上，在計算技術有了非常大的進步的今天，計算簡便已經不再具有那樣大的價值了。如前所述，最小二乘法并不是“確定使 T 個觀測點與回歸直線之間的距離就整體來說為最小的直線位置”的獨一無二的方法， 它只不過是多種方法中的一個罷了。于是，可知最小二乘估計量是 ： ? ?? ?? ????????? NtttNttxxyyxx121?? () xy ?? ?? ?? () d42029e444b4fd2a2e5519415cc2aed7 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 7 of 44 ?? ?? ?? Nt tNt t yNyxNx 11 1,1 () 3. 最小二乘估計量的平均值和方差 我們已經相當詳細地論述了關于“估計量的優(yōu)劣”問題的一般理論。確定能使這一評價函數為最小的 *? 和 *? 的方式，便是 最小二乘法 （ least squares method）。通過使它為最小來確定 *? 和 *? 的方式，叫做 最小絕對離差估計法 （ least absolute deviation estimation method）。 當 k= 1時，評價函數式（ ）是殘差絕對值的總和。從而可以考慮確定能使 V 為最小的 *? 和 *? 的值。殘差是回歸系數的估 計值（ **,?? ）的函數。因此，評價函數中各 te的作用最好是相互無關的。這一條件同各期誤差項的方差為一定值的假定有著密切的關系。 （ 3） N 個觀測點都具有同等資格。 d42029e444b4fd2a2e5519415cc2aed7 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 5 of 44 （ 2） 評價函數必須是各殘差絕對值的非減函數。 為了便于討論，我們暫且將測量點和直線之間距離的“評價函數”限定為殘差 te 的函數。（這里將各觀測點看作是已經觀測完畢的一對已知數組，用小寫字母來表示）。 假定估計出的直線為 ： XY ** ?? ?? () 則同 X＝ Xt 對應的估計直線上的點是 tx** ?? ? 。意見的分歧在于究竟要用什么尺度來衡量各觀測點和回歸直線的“距離”。 2. 誤差二乘和的最小化 估計回歸直線的方式（規(guī)則）有各種各樣的考慮。大致來說，可以認為回歸直線是從散布在平面上的各觀測點的中央穿過的直線。未知回歸直線和各觀測點的垂直方向的間隔就是上節(jié)引進的概 率誤差項。 三、 最小二乘估計法 1. 觀測數據圖 設有一組 T 期間內關于二變量 X 和 Y 的樣本觀測值（ tx ， ty ）（ t＝ 1， 2，?， N），在 X和 Y 之間存在著函數關系，如果將這些觀測數據，在 2維平面上用圖來表示，只要數據至少有 3 個以上，那么所有的點大概不可能都在一條直線上。 d42029e444b4fd2a2e5519415cc2aed7 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 4 of 44 總之，模型（ ）的含義為：對所有水 平的 X 來說，因變量觀察值 tY 都來自均值tt XYE ?? ??)( 、方差 2? 的概率分布。 無論自變量 X 取值如何，模型（ ）總是假設 Y 的概率分布具有相同的方差 2? ， 且假設誤差項互不相關。 在第 t 次試驗中， Y 的觀察值超過或低于回歸函數值的部分為誤差項部分 t? 。因為 E( t? )=0，這樣： tttt XEXYE ????? ????? )()( () 其中， tX??? 是常數。 2. 模型的重要特點 第 t 次觀察中 Y 的觀察值 tY 包括 2 部分：常數項 tX??? 和隨機項 t? 的和。所謂“簡單” ，是因為它只有一個自變量，“參數線性”是指沒有參數具有指數形式， 或者被另一個參數相乘或相除，“自變量線性”是指這個自變量是一次的。 二、 未指定誤差項分布的回歸模型 1. 模型的正規(guī)表述 現在我們只限于一個自變量的基本回歸模型，且回歸函數是線性的，可表述如下： ttt XY ??? ??? () 其中， tY 是第 t 次觀測或試驗中因變量的取值， ? 和 ? 是參數， tX 為第 t 次觀測或試驗y ( a ) y ( b )x x 圖 用線性回歸函數近似復雜回歸函數 d42029e444b4fd2a2e5519415cc2aed7 商務數據分析