【正文】 從而可以考慮確定能使 V 為最小的 *? 和 *? 的值。因此，評價函數(shù)中各 te的作用最好是相互無關的。 （ 3） N 個觀測點都具有同等資格。 為了便于討論，我們暫且將測量點和直線之間距離的“評價函數(shù)”限定為殘差 te 的函數(shù)。 假定估計出的直線為 ： XY ** ?? ?? () 則同 X＝ Xt 對應的估計直線上的點是 tx** ?? ? 。 2. 誤差二乘和的最小化 估計回歸直線的方式（規(guī)則）有各種各樣的考慮。未知回歸直線和各觀測點的垂直方向的間隔就是上節(jié)引進的概 率誤差項。 d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 4 of 44 總之，模型（ ）的含義為：對所有水 平的 X 來說，因變量觀察值 tY 都來自均值tt XYE ?? ??)( 、方差 2? 的概率分布。 在第 t 次試驗中， Y 的觀察值超過或低于回歸函數(shù)值的部分為誤差項部分 t? 。 2. 模型的重要特點 第 t 次觀察中 Y 的觀察值 tY 包括 2 部分：常數(shù)項 tX??? 和隨機項 t? 的和。 二、 未指定誤差項分布的回歸模型 1. 模型的正規(guī)表述 現(xiàn)在我們只限于一個自變量的基本回歸模型，且回歸函數(shù)是線性的，可表述如下： ttt XY ??? ??? () 其中， tY 是第 t 次觀測或試驗中因變量的取值， ? 和 ? 是參數(shù)， tX 為第 t 次觀測或試驗y ( a ) y ( b )x x 圖 用線性回歸函數(shù)近似復雜回歸函數(shù) d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 3 of 44 中自變量的取值， t? 是隨機誤差項，其基本假設應該滿足三個條件： ? 均值 E( t? )＝ 0 ? 方差 2)( ?? ?tVar ? 協(xié)方差 0),( ?jiCov ?? ，當 i? j 時。我們經(jīng)常使用線性和二次回歸函數(shù)來作為未知性質(zhì)回歸方程的最初近似值。 2. 回歸模型的構造 圖 線性回歸模型的圖示 d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 2 of 44 （ 1） 自變量的選擇 構造回歸模型時必須考慮到易處理性，所以在有關的任何問題中，回歸模型只能（或只應該）包括有限個自變量或預測變量。 ? 圖 是用透視的方法來顯示回歸曲線。d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 1 of 44 第三十一課 一元線性 回歸分析 回歸分析是一種統(tǒng)計分析方法，它利用兩個或兩個以上變量之間的關系，由一個或幾個變量來預測另一個變量。 這兩個特點是由下列假設決定的： ? 在與抽樣過程相聯(lián)系的觀 察值總體中，對應于每一個 X值，存在 Y的一個概率分布；這些概率分布的均值以一些系統(tǒng)的方式隨 X 變化。此外，回歸模型的自變量可以多于一個。然而，通常我們預先并不能知道回歸方程的函數(shù)形式，要在收集和分析數(shù)據(jù)后，才能確定函數(shù)形式。 （ 4） 回歸分析的運用 回歸分析主要有 3 個目的：描述，控制和預測。參數(shù)和自變量都是線性的模型稱為一階模型。因此，當?shù)?t 次試驗中 X 取為 tX 時，相應的 tY 來自一個概率分布，其均值是： tt XYE ?? ??)( () 所以 ， 模型（ ）的回歸函數(shù)是： XYE ?? ??)( () 這樣對任何給定的 X ，回歸函數(shù)把 X 水平與 Y 的概率分布均值聯(lián)系起來。因此 ， 任何一次試驗的結果對其他各次試驗的誤差項都沒有影響，相應的 iY 與 jY 也互不相關。以被認為在 X 和 Y 之間成立的未知回歸直線 ： Y＝ ? + ?X 為中心，觀測點總是適當?shù)厣⒉荚谄渲車?。根?jù)所給的觀測數(shù)據(jù)來估計這條直線的位置（ ? 和 ?的值），是我們需要解決的主要問題。也就是說，即使都承認上述的一般 規(guī)則，但由于按什么標準來測定“點和線的距離”的看法不同，推導出的估計方式也是多種多樣的。應當注意的是誤差項和殘差的區(qū)別：誤差項 是未知回歸直線同觀測點的間隔，而殘差是已知的估計直線同觀測點的間隔。把評價函數(shù)記為 ? ?NeeeV , 21 ? ，將以上兩條件用數(shù)學方式表現(xiàn)，可得 ： ? ? ? ?NN eeeVeeeV , 2121 ?? ? () NteVt ,2,1,0 ????? () 同時 ， 為了方便起見，除以上 2 個條件外，暫且再追加以下 2 個條件。將條件（ 3）用數(shù)學方式表現(xiàn)，可得，對于（ 1， 2，?， N）的任意重新排列 ),( 21 Niii ? 有 ： ? ? ? ?Nii eeeVeeeV N , 21i 21 ?? ? （ 4） 我們已經(jīng)假定時期不同的概率誤差項相互之間不相關。因此，如果給定了觀測數(shù)據(jù)（ xt， yt），則可以把 V 看作是以 *? 和 *? 為變量的二變量函數(shù)。就某種意義來說，這一評價函數(shù)在直觀上也許是最容易理解的。令 k= 2，將式（ ）代入式（ ），可得 ： d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 6 of 44 ? ??? ??? Nt tt xyV 1 2** ?? () 把樣本觀測值看作已知數(shù)，從而可以把 V當作 *? 和 *? 的函數(shù)來考慮，利用解決最大最小問題的方法，令 V對 *? 和 *? 的偏導數(shù)為零，可以推導出關于 *? 和 *? 的二元聯(lián)立一次方程組為 ： ? ? 02 1 *** ??????? ??Nt tt xyV ??? () ? ? 02 1 *** ??????? ??Nt ttt xyxV ??? () 這一聯(lián)立方程叫做正規(guī)方程式，其解如下： ? ?? ?? ????????? NtttNttxxyyxx121*? () xy ** ?? ?? () ?? ?? ?? Nt tNt t yNyxNx 11 1,1 () 在求解時，利用了下列恒等式： ? ? 211 21 2 1 ????????? ??? ??? Nt tNt tNt t xNxxx 因為， V 的駐點（使偏導數(shù)同時為 0 的 *? 和 *? 的值）只有 唯 一的一個，而且通過增大*? 和 *? 的值，可以使 V 無限增大，所以正規(guī)方程的解的確給出了 V 的最小值。盡管如此，最小二乘法還能夠絕對地凌駕于其他任何方法之上，一直被應用于現(xiàn)實數(shù) 據(jù)的分析，這并不僅僅是由于計算簡單，而且還有其他合適的理由 —— 理論上的根據(jù)。這樣，最小二乘估計量順利地通過了第一道關卡。同時，解釋變量在較廣的范圍內(nèi)分布得越散，估計量的方差就越小。但這個回歸方程是否有意義呢？需要有個檢驗準則。 1. F 檢驗 這一方法類似于第三章所介紹的方差分析的想法，也是從觀察值的偏差平方和分解入手。所以 ， 公式 ()又可以寫成 ： 2122112)(?)](?[)?(xxxxyyR SSiNiiNiiNii?????????????? () 根據(jù)公式 ()可知，其期望值 ： 2212212212)()()]?()?[()(?)(????????????????????xxxxV arExxER SSEiNiiNiiNi () 這 便表明 ， RSS 中除了誤差波動外，還反映了由于 0?? 所引起的數(shù)據(jù)間的差異。 2. t 檢驗 由公式 ()和 ()知 ))(,(~? 22? ? xxNi??? () ]))(1[,(~? 222 ? ?? xxxNNi??? () 在 原 假 設 0?? 為真 時 ， )1,0(~)(/?2 Nxx i? ??? ， 但 其 中 ? 未 知 ， 常 用)2/(? 2 ?? NE SS? 去代替，根據(jù)公式 ()和又與 ? 獨立，從而在 0?? 時有 ： )2(~)2/()(/?)(/??222?????? ?? NtNE S Sxxxxt ii????? () 實質(zhì)上，對于一元回歸方程 t 檢驗與 F 檢驗是等價的，因為只要將公式 ()中的 RSS代入到公式 ()中去，就不難發(fā)現(xiàn) Ft ?2 。根據(jù)前面公式 ()、 ()和 ()可知，在 0xx? 處的回歸值是 00 ??? xy ???? ，且 ： d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 11 of 44 ))?(),?((~? 000 yV a ryENy () 其中 ： 00 )?( xyE ?? ?? () 222022022202220)()(1)(2)()(1)?(???????????????????????????????????xxxxNxxxxxxxxxxNyV artttt () 其中 ， ? 未知，用 )2/(? 2 ?? NE SS? 去代替，設杠桿率 ????? 2200 )( )(1 xx xxNh t，所以預測均值 0?y 的預測區(qū)間為 ： ? ?202/0202/0 ??,?? ?? ?? htyhty ?? () 其中 ， 2/?t 的自由度為 2?N 。 從方差 )?( 00 yyVar ? 表達式中我們可以看到，當 0x 取值離均值 x 越近，預測精度就越好，當 0x 取值離均值 x 越遠，預測精度就越差，其預測區(qū)間兩頭呈喇叭狀。 ? 高度相關的自變量是否引起了共線性。殘差中包含了許多有關數(shù)據(jù)和模型的信息，它是研究回歸診斷最基本及最重要的統(tǒng)計量。 如 圖 所示，是殘差的各種可能出現(xiàn)情況。我們可以求出估計殘差的方差 )?( tVar? ， 圖 殘差的主要幾種類型 d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經(jīng)大學經(jīng)濟信息管理系 IS/SHUFE Page 13 of 44 且符合正態(tài)分布 ： )2)1(,0(~? ?? NE SShN tt? () 那么學生化殘差 ： )1,0(~)2/()1( ?)?(? NNE SSh yyV arttttt ?? ???? () 則遵循標準正態(tài)分布。但對異常點的處理須持謹慎態(tài)度，因為異常點的出現(xiàn)可能代表了相當重要的某些數(shù)據(jù)，它恰好成為我們探究某些事先不清楚或許是更為重要的因素的線索。在這種場合應該考慮在回歸之前對數(shù)據(jù) y 或 x 進行變換，實現(xiàn)方差穩(wěn)定后再擬合回歸模型。 如圖 （ f）所示的形式，顯示了模型本身具有線性趨勢。 為什么共線性會引起參數(shù)估計可能很不精確呢？主要原因是最小二乘法所利用的數(shù)據(jù)信息，如果存在共線性，就可能已經(jīng)被其他的自變量說明了大部分，因