【正文】 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 3 of 44 中自變量的取值， t? 是隨機(jī)誤差項(xiàng)，其基本假設(shè)應(yīng)該滿足三個(gè)條件： ? 均值 E( t? )＝ 0 ? 方差 2)( ?? ?tVar ? 協(xié)方差 0),( ?jiCov ?? ，當(dāng) i? j 時(shí)。 （ 3） 模型的范圍 在建立回歸模型時(shí)，通常需要限制模型的自變量或因變量取值的區(qū)間范圍，這個(gè)范圍由調(diào)查設(shè)計(jì)和已掌握數(shù)據(jù)的情況決定。我們經(jīng)常使用線性和二次回歸函數(shù)來作為未知性質(zhì)回歸方程的最初近似值。有時(shí)有關(guān)理論可能指出適當(dāng)?shù)暮瘮?shù)形式。 2. 回歸模型的構(gòu)造 圖 線性回歸模型的圖示 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 2 of 44 （ 1） 自變量的選擇 構(gòu)造回歸模型時(shí)必須考慮到易處理性，所以在有關(guān)的任何問題中，回歸模型只能（或只應(yīng)該）包括有限個(gè)自變量或預(yù)測變量。 在回歸模型中， X 稱為“自變量”， Y稱為“因變量”；這只是傳統(tǒng)的稱法，并不表明在給定的情況下 Y因果地依賴于 X ，無論統(tǒng)計(jì)關(guān)系多么密切，回歸模型不一定是因果關(guān)系，在某些應(yīng)用中，比如我們由溫度表水銀柱高度（自 變量）來估計(jì)溫度（因變量）時(shí)，自變量實(shí)際上依賴于因變量。 ? 圖 是用透視的方法來顯示回歸曲線。 一、 回歸模型 1. 基本概念 回歸模型是一種正規(guī)工具，它表示統(tǒng)計(jì)關(guān)系中兩個(gè)基本的內(nèi)容： ① 用系統(tǒng)的形式表示因變量 Y 隨一個(gè)或幾個(gè)自變量 X 變化的趨勢； ② 表現(xiàn)觀察值圍繞統(tǒng)計(jì)關(guān)系曲線的散布情況。d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 1 of 44 第三十一課 一元線性 回歸分析 回歸分析是一種統(tǒng)計(jì)分析方法，它利用兩個(gè)或兩個(gè)以上變量之間的關(guān)系，由一個(gè)或幾個(gè)變量來預(yù)測另一個(gè)變量。在 SAS/STAT 中有多個(gè)進(jìn)行回歸的過程 ,如 REG、 GLM 等， REG 過程常用于進(jìn)行一般線性回歸模型分析 。 這兩個(gè)特點(diǎn)是由下列假設(shè)決定的： ? 在與抽樣過程相聯(lián)系的觀 察值總體中，對應(yīng)于每一個(gè) X值，存在 Y的一個(gè)概率分布；這些概率分布的均值以一些系統(tǒng)的方式隨 X 變化。 Y 對給定 X 具有概率分布這一概念總是與統(tǒng)計(jì)關(guān)系中的經(jīng)驗(yàn)分布形式上相對應(yīng)；同樣，描述概率分布的均值與 X之間關(guān)系的回歸曲線，與統(tǒng)計(jì)關(guān)系中 Y 系統(tǒng)地隨 X 變化的一般趨勢相對應(yīng)。此外，回歸模型的自變量可以多于一個(gè)。 （ 2） 回歸方程的函數(shù)形式 選擇回歸方程函數(shù)形式與選擇自變量緊密相關(guān)。然而，通常我們預(yù)先并不能知道回歸方程的函數(shù)形式，要在收集和分析數(shù)據(jù)后，才能確定函數(shù)形式。圖 (a)表示復(fù)雜 回歸函數(shù)可以由線性回歸函數(shù)近似的情況，圖 (b)表示復(fù)雜回歸函數(shù)可以由兩個(gè)線性回歸函數(shù)分段近似的情況。 （ 4） 回歸分析的運(yùn)用 回歸分析主要有 3 個(gè)目的：描述，控制和預(yù)測。即對所有的 i? j ， i? 與 j? 互不相關(guān) 模型（ ）稱為簡單模型，參數(shù)是線性的，自變量也是線性的。參數(shù)和自變量都是線性的模型稱為一階模型。所以 ， tY 是隨機(jī)變量。因此，當(dāng)?shù)?t 次試驗(yàn)中 X 取為 tX 時(shí)，相應(yīng)的 tY 來自一個(gè)概率分布，其均值是： tt XYE ?? ??)( () 所以 ， 模型（ ）的回歸函數(shù)是： XYE ?? ??)( () 這樣對任何給定的 X ，回歸函數(shù)把 X 水平與 Y 的概率分布均值聯(lián)系起來。假設(shè)誤差項(xiàng) t? 具有相同的方差 2? ， 則 相應(yīng)的 tY 的方差為： 2)( ??tYVar 這是因?yàn)?： 2)()()( ????? ????? tttt V arXV arYV ar 。因此 ， 任何一次試驗(yàn)的結(jié)果對其他各次試驗(yàn)的誤差項(xiàng)都沒有影響，相應(yīng)的 iY 與 jY 也互不相關(guān)。此外，任何兩個(gè)觀察值 iY 與 jY 是互不相關(guān)的。以被認(rèn)為在 X 和 Y 之間成立的未知回歸直線 ： Y＝ ? + ?X 為中心，觀測點(diǎn)總是適當(dāng)?shù)厣⒉荚谄渲車?。由??和 ?的數(shù)值未知， 因此， 不能準(zhǔn)確地知道與各觀測點(diǎn)對應(yīng)的概率誤差項(xiàng)的值。根據(jù)所給的觀測數(shù)據(jù)來估計(jì)這條直線的位置（ ? 和 ?的值），是我們需要解決的主要問題。但是，對于確定 ?和 ?的值時(shí)，要使所有的觀測點(diǎn)和直線的“距離”從整體來說為最小這個(gè)一般的規(guī)則，大概無論誰也沒有異議。也就是說，即使都承認(rèn)上述的一般 規(guī)則，但由于按什么標(biāo)準(zhǔn)來測定“點(diǎn)和線的距離”的看法不同，推導(dǎo)出的估計(jì)方式也是多種多樣的。觀測點(diǎn)（ xt， yt）同估計(jì)直線垂直方向的間隔 ： )( ** ttt xye ?? ??? () 叫做殘差（ residual）。應(yīng)當(dāng)注意的是誤差項(xiàng)和殘差的區(qū)別：誤差項(xiàng) 是未知回歸直線同觀測點(diǎn)的間隔，而殘差是已知的估計(jì)直線同觀測點(diǎn)的間隔。對照我們的常識，要求評價(jià)函數(shù)滿足以下各條件： （ 1） 殘差可能為正也可能為負(fù)，但不管是正的殘差還是負(fù)的殘差，只要其絕對值相等，用與直線的離差這一標(biāo)準(zhǔn)來衡量，就應(yīng)當(dāng)完全平等地評價(jià)。把評價(jià)函數(shù)記為 ? ?NeeeV , 21 ? ，將以上兩條件用數(shù)學(xué)方式表現(xiàn)，可得 ： ? ? ? ?NN eeeVeeeV , 2121 ?? ? () NteVt ,2,1,0 ????? () 同時(shí) ， 為了方便起見，除以上 2 個(gè)條件外，暫且再追加以下 2 個(gè)條件。即 te 和 se （ t ? s）作為評價(jià)函數(shù)的變量應(yīng)得到同樣的對待。將條件（ 3）用數(shù)學(xué)方式表現(xiàn)，可得，對于（ 1， 2，?， N）的任意重新排列 ),( 21 Niii ? 有 ： ? ? ? ?Nii eeeVeeeV N , 21i 21 ?? ? （ 4） 我們已經(jīng)假定時(shí)期不同的概率誤差項(xiàng)相互之間不相關(guān)。將這一敘述用數(shù)學(xué)方式表示，可得 ： stee V st ????? ,02 () 根據(jù)以上的討論，備擇的評價(jià)函數(shù)被限定在相當(dāng)狹的范圍內(nèi)，作為滿足資格的函數(shù)，例如可以考慮 ： 1,||1 ?? ?? keV Nt kt () 當(dāng) k 為偶數(shù)時(shí)，絕對值的符號就失去意義。因此，如果給定了觀測數(shù)據(jù)（ xt， yt），則可以把 V 看作是以 *? 和 *? 為變量的二變量函數(shù)。當(dāng)然，使 V 的值為最小的 *? 和 *? 的值要依存于 N 個(gè)觀測數(shù)據(jù)。就某種意義來說，這一評價(jià)函數(shù)在直觀上也許是最容易理解的。 當(dāng) k＝ 2 時(shí)，評價(jià)函數(shù)是殘差的平方和。令 k= 2，將式（ ）代入式（ ），可得 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 6 of 44 ? ??? ??? Nt tt xyV 1 2** ?? () 把樣本觀測值看作已知數(shù)，從而可以把 V當(dāng)作 *? 和 *? 的函數(shù)來考慮，利用解決最大最小問題的方法，令 V對 *? 和 *? 的偏導(dǎo)數(shù)為零，可以推導(dǎo)出關(guān)于 *? 和 *? 的二元聯(lián)立一次方程組為 ： ? ? 02 1 *** ??????? ??Nt tt xyV ??? () ? ? 02 1 *** ??????? ??Nt ttt xyxV ??? () 這一聯(lián)立方程叫做正規(guī)方程式，其解如下： ? ?? ?? ????????? NtttNttxxyyxx121*? () xy ** ?? ?? () ?? ?? ?? Nt tNt t yNyxNx 11 1,1 () 在求解時(shí)，利用了下列恒等式： ? ? 211 21 2 1 ????????? ??? ??? Nt tNt tNt t xNxxx 因?yàn)椋?V 的駐點(diǎn)（使偏導(dǎo)數(shù)同時(shí)為 0 的 *? 和 *? 的值）只有 唯 一的一個(gè)，而且通過增大*? 和 *? 的值，可以使 V 無限增大，所以正規(guī)方程的解的確給出了 V 的最小值。從 18 世紀(jì)由高斯（ Gauss）發(fā)明的所謂最小二乘法直到今天仍得到如此廣泛的實(shí)際運(yùn)用這一事實(shí)來看，最小二乘估計(jì)法理論應(yīng)具有某些特別的優(yōu)點(diǎn)。盡管如此，最小二乘法還能夠絕對地凌駕于其他任何方法之上，一直被應(yīng)用于現(xiàn)實(shí)數(shù) 據(jù)的分析，這并不僅僅是由于計(jì)算簡單，而且還有其他合適的理由 —— 理論上的根據(jù)。 以下，我們首先來研究一下最小二乘估計(jì)量的性質(zhì)。這樣，最小二乘估計(jì)量順利地通過了第一道關(guān)卡。我們暫且先根據(jù)方差的公式進(jìn)行形式上的推導(dǎo)。同時(shí)，解釋變量在較廣的范圍內(nèi)分布得越散，估計(jì)量的方差就越小。當(dāng) ? ????? ???Nt tN xx12lim 時(shí)， ?? 和 ?? 都是一致估計(jì)量。但這個(gè)回歸方程是否有意義呢？需要有個(gè)檢驗(yàn)準(zhǔn)則。我們求回歸方程的目的是要去反映 y 隨 x 變化的一種統(tǒng)計(jì)規(guī)律，那么如果 ?=0，從 式 ()可知，不管 x 如何變化， Ey 不會隨之而改變，在這種情況下求出的回歸方程是無意義的。 1. F 檢驗(yàn) 這一方法類似于第三章所介紹的方差分析的想法，也是從觀察值的偏差平方和分解入手。我們可以用下列偏差平方和來表示由此引起的差異： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 9 of 44 1,)?(1 2 ??? ?? RNi i dfyyR SS () 稱為回歸平方和。所以 ， 公式 ()又可以寫成 ： 2122112)(?)](?[)?(xxxxyyR SSiNiiNiiNii?????????????? () 根據(jù)公式 ()可知，其期望值 ： 2212212212)()()]?()?[()(?)(????????????????????xxxxV arExxER SSEiNiiNiiNi () 這 便表明 ， RSS 中除了誤差波動外，還反映了由于 0?? 所引起的數(shù)據(jù)間的差異。由于可以證明 ： )2(~/ 22 ?NE S S ?? () 于是有 ： 2)2()( ??? NE S SE () 所以 ， 其自由度為 2?N 。 2. t 檢驗(yàn) 由公式 ()和 ()知 ))(,(~? 22? ? xxNi??? () ]))(1[,(~? 222 ? ?? xxxNNi??? () 在 原 假 設(shè) 0?? 為真 時(shí) ， )1,0(~)(/?2 Nxx i? ??? ， 但 其 中 ? 未 知 ， 常 用)2/(? 2 ?? NE SS? 去代替，根據(jù)公式 ()和又與 ? 獨(dú)立，從而在 0?? 時(shí)有 ： )2(~)2/()(/?)(/??222?????? ?? NtNE S Sxxxxt ii????? () 實(shí)質(zhì)上，對于一元回歸方程 t 檢驗(yàn)與 F 檢驗(yàn)是等價(jià)的，因?yàn)橹灰獙⒐?()中的 RSS代入到公式 ()中去，就不難發(fā)現(xiàn) Ft ?2 。所謂預(yù)測是指當(dāng) x 取某一個(gè)具體值 0x 時(shí)，對相應(yīng)的 y 取值 0y 所作的推斷。根據(jù)前面公式 ()、 ()和 ()可知，在 0xx? 處的回歸值是 00 ??? xy ???? ，且 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 11 of 44 ))?(),?((~? 000 yV a ryENy () 其中 ： 00 )?( xyE ?? ?? () 222022022202220)()(1)(2)