【正文】 從而可以考慮確定能使 V 為最小的 *? 和 *? 的值。因此，評價(jià)函數(shù)中各 te的作用最好是相互無關(guān)的。 （ 3） N 個(gè)觀測點(diǎn)都具有同等資格。 為了便于討論，我們暫且將測量點(diǎn)和直線之間距離的“評價(jià)函數(shù)”限定為殘差 te 的函數(shù)。 假定估計(jì)出的直線為 ： XY ** ?? ?? () 則同 X＝ Xt 對應(yīng)的估計(jì)直線上的點(diǎn)是 tx** ?? ? 。 2. 誤差二乘和的最小化 估計(jì)回歸直線的方式（規(guī)則）有各種各樣的考慮。未知回歸直線和各觀測點(diǎn)的垂直方向的間隔就是上節(jié)引進(jìn)的概 率誤差項(xiàng)。 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 4 of 44 總之，模型（ ）的含義為：對所有水 平的 X 來說，因變量觀察值 tY 都來自均值tt XYE ?? ??)( 、方差 2? 的概率分布。 在第 t 次試驗(yàn)中， Y 的觀察值超過或低于回歸函數(shù)值的部分為誤差項(xiàng)部分 t? 。 2. 模型的重要特點(diǎn) 第 t 次觀察中 Y 的觀察值 tY 包括 2 部分：常數(shù)項(xiàng) tX??? 和隨機(jī)項(xiàng) t? 的和。 二、 未指定誤差項(xiàng)分布的回歸模型 1. 模型的正規(guī)表述 現(xiàn)在我們只限于一個(gè)自變量的基本回歸模型，且回歸函數(shù)是線性的，可表述如下： ttt XY ??? ??? () 其中， tY 是第 t 次觀測或試驗(yàn)中因變量的取值， ? 和 ? 是參數(shù)， tX 為第 t 次觀測或試驗(yàn)y ( a ) y ( b )x x 圖 用線性回歸函數(shù)近似復(fù)雜回歸函數(shù) d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 3 of 44 中自變量的取值， t? 是隨機(jī)誤差項(xiàng)，其基本假設(shè)應(yīng)該滿足三個(gè)條件： ? 均值 E( t? )＝ 0 ? 方差 2)( ?? ?tVar ? 協(xié)方差 0),( ?jiCov ?? ，當(dāng) i? j 時(shí)。我們經(jīng)常使用線性和二次回歸函數(shù)來作為未知性質(zhì)回歸方程的最初近似值。 2. 回歸模型的構(gòu)造 圖 線性回歸模型的圖示 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 2 of 44 （ 1） 自變量的選擇 構(gòu)造回歸模型時(shí)必須考慮到易處理性，所以在有關(guān)的任何問題中，回歸模型只能（或只應(yīng)該）包括有限個(gè)自變量或預(yù)測變量。 ? 圖 是用透視的方法來顯示回歸曲線。d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 1 of 44 第三十一課 一元線性 回歸分析 回歸分析是一種統(tǒng)計(jì)分析方法，它利用兩個(gè)或兩個(gè)以上變量之間的關(guān)系，由一個(gè)或幾個(gè)變量來預(yù)測另一個(gè)變量。 這兩個(gè)特點(diǎn)是由下列假設(shè)決定的： ? 在與抽樣過程相聯(lián)系的觀 察值總體中，對應(yīng)于每一個(gè) X值，存在 Y的一個(gè)概率分布；這些概率分布的均值以一些系統(tǒng)的方式隨 X 變化。此外，回歸模型的自變量可以多于一個(gè)。然而，通常我們預(yù)先并不能知道回歸方程的函數(shù)形式，要在收集和分析數(shù)據(jù)后，才能確定函數(shù)形式。 （ 4） 回歸分析的運(yùn)用 回歸分析主要有 3 個(gè)目的：描述，控制和預(yù)測。參數(shù)和自變量都是線性的模型稱為一階模型。因此，當(dāng)?shù)?t 次試驗(yàn)中 X 取為 tX 時(shí)，相應(yīng)的 tY 來自一個(gè)概率分布，其均值是： tt XYE ?? ??)( () 所以 ， 模型（ ）的回歸函數(shù)是： XYE ?? ??)( () 這樣對任何給定的 X ，回歸函數(shù)把 X 水平與 Y 的概率分布均值聯(lián)系起來。因此 ， 任何一次試驗(yàn)的結(jié)果對其他各次試驗(yàn)的誤差項(xiàng)都沒有影響，相應(yīng)的 iY 與 jY 也互不相關(guān)。以被認(rèn)為在 X 和 Y 之間成立的未知回歸直線 ： Y＝ ? + ?X 為中心，觀測點(diǎn)總是適當(dāng)?shù)厣⒉荚谄渲車８鶕?jù)所給的觀測數(shù)據(jù)來估計(jì)這條直線的位置（ ? 和 ?的值），是我們需要解決的主要問題。也就是說，即使都承認(rèn)上述的一般 規(guī)則，但由于按什么標(biāo)準(zhǔn)來測定“點(diǎn)和線的距離”的看法不同，推導(dǎo)出的估計(jì)方式也是多種多樣的。應(yīng)當(dāng)注意的是誤差項(xiàng)和殘差的區(qū)別：誤差項(xiàng) 是未知回歸直線同觀測點(diǎn)的間隔，而殘差是已知的估計(jì)直線同觀測點(diǎn)的間隔。把評價(jià)函數(shù)記為 ? ?NeeeV , 21 ? ，將以上兩條件用數(shù)學(xué)方式表現(xiàn)，可得 ： ? ? ? ?NN eeeVeeeV , 2121 ?? ? () NteVt ,2,1,0 ????? () 同時(shí) ， 為了方便起見，除以上 2 個(gè)條件外，暫且再追加以下 2 個(gè)條件。將條件（ 3）用數(shù)學(xué)方式表現(xiàn)，可得，對于（ 1， 2，?， N）的任意重新排列 ),( 21 Niii ? 有 ： ? ? ? ?Nii eeeVeeeV N , 21i 21 ?? ? （ 4） 我們已經(jīng)假定時(shí)期不同的概率誤差項(xiàng)相互之間不相關(guān)。因此，如果給定了觀測數(shù)據(jù)（ xt， yt），則可以把 V 看作是以 *? 和 *? 為變量的二變量函數(shù)。就某種意義來說，這一評價(jià)函數(shù)在直觀上也許是最容易理解的。令 k= 2，將式（ ）代入式（ ），可得 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 6 of 44 ? ??? ??? Nt tt xyV 1 2** ?? () 把樣本觀測值看作已知數(shù)，從而可以把 V當(dāng)作 *? 和 *? 的函數(shù)來考慮，利用解決最大最小問題的方法，令 V對 *? 和 *? 的偏導(dǎo)數(shù)為零，可以推導(dǎo)出關(guān)于 *? 和 *? 的二元聯(lián)立一次方程組為 ： ? ? 02 1 *** ??????? ??Nt tt xyV ??? () ? ? 02 1 *** ??????? ??Nt ttt xyxV ??? () 這一聯(lián)立方程叫做正規(guī)方程式，其解如下： ? ?? ?? ????????? NtttNttxxyyxx121*? () xy ** ?? ?? () ?? ?? ?? Nt tNt t yNyxNx 11 1,1 () 在求解時(shí)，利用了下列恒等式： ? ? 211 21 2 1 ????????? ??? ??? Nt tNt tNt t xNxxx 因?yàn)椋?V 的駐點(diǎn)（使偏導(dǎo)數(shù)同時(shí)為 0 的 *? 和 *? 的值）只有 唯 一的一個(gè)，而且通過增大*? 和 *? 的值，可以使 V 無限增大，所以正規(guī)方程的解的確給出了 V 的最小值。盡管如此，最小二乘法還能夠絕對地凌駕于其他任何方法之上，一直被應(yīng)用于現(xiàn)實(shí)數(shù) 據(jù)的分析，這并不僅僅是由于計(jì)算簡單，而且還有其他合適的理由 —— 理論上的根據(jù)。這樣，最小二乘估計(jì)量順利地通過了第一道關(guān)卡。同時(shí)，解釋變量在較廣的范圍內(nèi)分布得越散，估計(jì)量的方差就越小。但這個(gè)回歸方程是否有意義呢？需要有個(gè)檢驗(yàn)準(zhǔn)則。 1. F 檢驗(yàn) 這一方法類似于第三章所介紹的方差分析的想法，也是從觀察值的偏差平方和分解入手。所以 ， 公式 ()又可以寫成 ： 2122112)(?)](?[)?(xxxxyyR SSiNiiNiiNii?????????????? () 根據(jù)公式 ()可知，其期望值 ： 2212212212)()()]?()?[()(?)(????????????????????xxxxV arExxER SSEiNiiNiiNi () 這 便表明 ， RSS 中除了誤差波動外，還反映了由于 0?? 所引起的數(shù)據(jù)間的差異。 2. t 檢驗(yàn) 由公式 ()和 ()知 ))(,(~? 22? ? xxNi??? () ]))(1[,(~? 222 ? ?? xxxNNi??? () 在 原 假 設(shè) 0?? 為真 時(shí) ， )1,0(~)(/?2 Nxx i? ??? ， 但 其 中 ? 未 知 ， 常 用)2/(? 2 ?? NE SS? 去代替，根據(jù)公式 ()和又與 ? 獨(dú)立，從而在 0?? 時(shí)有 ： )2(~)2/()(/?)(/??222?????? ?? NtNE S Sxxxxt ii????? () 實(shí)質(zhì)上，對于一元回歸方程 t 檢驗(yàn)與 F 檢驗(yàn)是等價(jià)的，因?yàn)橹灰獙⒐?()中的 RSS代入到公式 ()中去，就不難發(fā)現(xiàn) Ft ?2 。根據(jù)前面公式 ()、 ()和 ()可知，在 0xx? 處的回歸值是 00 ??? xy ???? ，且 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 11 of 44 ))?(),?((~? 000 yV a ryENy () 其中 ： 00 )?( xyE ?? ?? () 222022022202220)()(1)(2)()(1)?(???????????????????????????????????xxxxNxxxxxxxxxxNyV artttt () 其中 ， ? 未知，用 )2/(? 2 ?? NE SS? 去代替，設(shè)杠桿率 ????? 2200 )( )(1 xx xxNh t，所以預(yù)測均值 0?y 的預(yù)測區(qū)間為 ： ? ?202/0202/0 ??,?? ?? ?? htyhty ?? () 其中 ， 2/?t 的自由度為 2?N 。 從方差 )?( 00 yyVar ? 表達(dá)式中我們可以看到，當(dāng) 0x 取值離均值 x 越近，預(yù)測精度就越好，當(dāng) 0x 取值離均值 x 越遠(yuǎn)，預(yù)測精度就越差，其預(yù)測區(qū)間兩頭呈喇叭狀。 ? 高度相關(guān)的自變量是否引起了共線性。殘差中包含了許多有關(guān)數(shù)據(jù)和模型的信息，它是研究回歸診斷最基本及最重要的統(tǒng)計(jì)量。 如 圖 所示，是殘差的各種可能出現(xiàn)情況。我們可以求出估計(jì)殘差的方差 )?( tVar? ， 圖 殘差的主要幾種類型 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 13 of 44 且符合正態(tài)分布 ： )2)1(,0(~? ?? NE SShN tt? () 那么學(xué)生化殘差 ： )1,0(~)2/()1( ?)?(? NNE SSh yyV arttttt ?? ???? () 則遵循標(biāo)準(zhǔn)正態(tài)分布。但對異常點(diǎn)的處理須持謹(jǐn)慎態(tài)度，因?yàn)楫惓｜c(diǎn)的出現(xiàn)可能代表了相當(dāng)重要的某些數(shù)據(jù)，它恰好成為我們探究某些事先不清楚或許是更為重要的因素的線索。在這種場合應(yīng)該考慮在回歸之前對數(shù)據(jù) y 或 x 進(jìn)行變換，實(shí)現(xiàn)方差穩(wěn)定后再擬合回歸模型。 如圖 （ f）所示的形式，顯示了模型本身具有線性趨勢。 為什么共線性會引起參數(shù)估計(jì)可能很不精確呢？主要原因是最小二乘法所利用的數(shù)據(jù)信息，如果存在共線性，就可能已經(jīng)被其他的自變量說明了大部分，因