【正文】 a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 7 of 44 ?? ?? ?? Nt tNt t yNyxNx 11 1,1 () 3. 最小二乘估計量的平均值和方差 我們已經(jīng)相當詳細地論述了關(guān)于“估計量的優(yōu)劣”問題的一般理論。從 18 世紀由高斯（ Gauss）發(fā)明的所謂最小二乘法直到今天仍得到如此廣泛的實際運用這一事實來看，最小二乘估計法理論應(yīng)具有某些特別的優(yōu)點。如前所述，最小二乘法并不是“確定使 T 個觀測點與回歸直線之間的距離就整體來說為最小的直線位置”的獨一無二的方法， 它只不過是多種方法中的一個罷了。盡管如此，最小二乘法還能夠絕對地凌駕于其他任何方法之上，一直被應(yīng)用于現(xiàn)實數(shù) 據(jù)的分析，這并不僅僅是由于計算簡單，而且還有其他合適的理由 —— 理論上的根據(jù)。事實上，在計算技術(shù)有了非常大的進步的今天，計算簡便已經(jīng)不再具有那樣大的價值了。 以下，我們首先來研究一下最小二乘估計量的性質(zhì)。將 ttt XY ??? ??? 代入 ?? 估計量（ ）和 ?? 估計量（ ），并作以下變形： ? ?? ????????? NttNtttxxxx121???? () ? ?? ? tNtNtttxxxxXNxy ???? ? ??? ???????????????????1121?? () 于是， ?? 和 ?? 的期望值分別為 ： ? ? ????E () ? ? ?? ??E () 從而很簡單地證明了 ?? 和 ?? 分別是 ?和 ?的無偏估計量。這樣，最小二乘估計量順利地通過了第一道關(guān)卡。既然已表明最小二乘估計量具有無偏性，那么下一個問題就是 估計量的方差的大小。我們暫且先根據(jù)方差的公式進行形式上的推導(dǎo)。 根據(jù)前面的假定： 2)( ?? ?tVar 和 0),( ?stCov ?? ，由定義得 ? ? ? ? ? ??????? Nt txxEV a r1222?? ???? () 按照同樣的方法也可以推導(dǎo)出 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 8 of 44 ? ? ? ?? ? ???????????????????Ntt xxxNEV a r12222 1?? ???? () 這里順便再計算一下 ?? 和 ?? 的協(xié)方差 ： ? ? ? ?? ? ? ?????????Nt txxxEC o v122???,? ??????? () 從式 ()和式 （ )可知，估計量的方差與樣本的大小大致成反比。同時，解釋變量在較廣的范圍內(nèi)分布得越散，估計量的方差就越小。估計量的方差越小即意味著估計值的精度越高。當 ? ????? ???Nt tN xx12lim 時， ?? 和 ?? 都是一致估計量。 四、 檢驗與預(yù)測 從最小二乘估計表達式 ()和 ()知，只要給出了 N 組數(shù)據(jù) Niyx ii ,2,1),( ?? ，總可將它 們代入這兩個表達式獲得 ?和 ?的估計，從而寫出回歸方程。但這個回歸方程是否有意義呢？需要有個檢驗準則。為作檢驗，首先要建立假設(shè)。我們求回歸方程的目的是要去反映 y 隨 x 變化的一種統(tǒng)計規(guī)律，那么如果 ?=0，從 式 ()可知，不管 x 如何變化， Ey 不會隨之而改變，在這種情況下求出的回歸方程是無意義的。所以 ， 檢驗回歸方程是否有意義的問題轉(zhuǎn)化為檢驗 下列假設(shè)是否為真： 0:0 ??H () 常用的方法有 F 檢驗和 t 檢驗方法。 1. F 檢驗 這一方法類似于第三章所介紹的方差分析的想法，也是從觀察值的偏差平方和分解入手。我們觀察到的 Nyyy , 21 ? 的差異可以用總偏差平方和表示： 1,)( 21 ???? ?? NdfyyT SS TNi i () 造成這一差異的原因有如下兩個方面： 一是由于假設(shè) 0?? 不真，從而對不同的 x 值， Ey 隨 x 而變化。我們可以用下列偏差平方和來表示由此引起的差異： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 9 of 44 1,)?(1 2 ??? ?? RNi i dfyyR SS () 稱為回歸平方和。其中， )(?????? xxyxxyxy iiii ???????? ????? 。所以 ， 公式 ()又可以寫成 ： 2122112)(?)](?[)?(xxxxyyR SSiNiiNiiNii?????????????? () 根據(jù)公式 ()可知，其期望值 ： 2212212212)()()]?()?[()(?)(????????????????????xxxxV arExxER SSEiNiiNiiNi () 這 便表明 ， RSS 中除了誤差波動外，還反映了由于 0?? 所引起的數(shù)據(jù)間的差異。 二是由其他一切隨機因素引起的差異，它可以用殘差平方和 ： 2,)?(1 2 ???? ?? NdfyyE SS ENi ii () 表示。由于可以證明 ： )2(~/ 22 ?NE S S ?? () 于是有 ： 2)2()( ??? NE S SE () 所以 ， 其自由度為 2?N 。 利用公式 0)?(,0)?( ???? ?? iiiii xyyyy ，從而有下列平方和分解式： R S SES SyyyyyyyyyyT S Siiiiiii????????????????2222)?()?()??()( () 由于在 0?? 為真 時 ， RS 與 )2/( ?NESS 都是 2? 的無偏估計，因而采用 F 統(tǒng)計量 ： )2,1(~)2/()2/(/ 1//2 2 ????? NFNES S R S SNES SR S SF ? ? () d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 10 of 44 來檢驗原假設(shè) 0?? 是否為真。 2. t 檢驗 由公式 ()和 ()知 ))(,(~? 22? ? xxNi??? () ]))(1[,(~? 222 ? ?? xxxNNi??? () 在 原 假 設(shè) 0?? 為真 時 ， )1,0(~)(/?2 Nxx i? ??? ， 但 其 中 ? 未 知 ， 常 用)2/(? 2 ?? NE SS? 去代替，根據(jù)公式 ()和又與 ? 獨立，從而在 0?? 時有 ： )2(~)2/()(/?)(/??222?????? ?? NtNE S Sxxxxt ii????? () 實質(zhì)上，對于一元回歸方程 t 檢驗與 F 檢驗是等價的，因為只要將公式 ()中的 RSS代入到公式 ()中去，就不難發(fā)現(xiàn) Ft ?2 。我們同樣可以得到原假設(shè) 0?? 為真時的 t 統(tǒng)計量 ： )2(~)2/()(//1?)(//1??22222???????? ?? NtNE SSxxxNxxxNt ii????? () 3. 利用回歸方程作預(yù)測 當求得回歸方程 xy ?? ??? ?? 后，并經(jīng)檢驗，方程是顯著的，則可將該回歸方 程用于預(yù)測。所謂預(yù)測是指當 x 取某一個具體值 0x 時，對相應(yīng)的 y 取值 0y 所作的推斷。由模型知??? ??? 00 xy 是一個隨機變量，要預(yù)測隨機變量的取值是不可能的，只能預(yù)測其期望值)( 0yE 。根據(jù)前面公式 ()、 ()和 ()可知，在 0xx? 處的回歸值是 00 ??? xy ???? ，且 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 11 of 44 ))?(),?((~? 000 yV a ryENy () 其中 ： 00 )?( xyE ?? ?? () 222022022202220)()(1)(2)()(1)?(???????????????????????????????????xxxxNxxxxxxxxxxNyV artttt () 其中 ， ? 未知，用 )2/(? 2 ?? NE SS? 去代替，設(shè)杠桿率 ????? 2200 )( )(1 xx xxNh t，所以預(yù)測均值 0?y 的預(yù)測區(qū)間為 ： ? ?202/0202/0 ??,?? ?? ?? htyhty ?? () 其中 ， 2/?t 的自由度為 2?N 。注意在 SAS 系統(tǒng) model語句中的 clm 選項是按公式 ()來計算 的 。 然而在 0xx? 時，隨機變量 0y 的取值與預(yù)測均值 0?y 總會有一定的偏離，我們根據(jù)公式()不難求出 00 ?yy ? 的均值 )?( 00 yyE ? 和方差 )?( 00 yyVar ? ，且它符合正態(tài)分布，故有 ： ))( )(11,0(~? 222020 ????????? ????? ? xx xxNNyyt () 其中 ， ? 未知，用 )2/(? 2 ?? NE SS? 去代替，所以 00 ?yy ? 的預(yù)測區(qū)間為 ： ? ?202/00202/00 ?)1()?(,?)1()?( ?? ?? htyyhtyy ?????? () 其中 ， 2/?t 的自由度為 2?N 。注意在 SAS 系統(tǒng) model語句中的 cli 選項是按公式 ()來計算 的 。 從方差 )?( 00 yyVar ? 表達式中我們可以看到，當 0x 取值離均值 x 越近，預(yù)測精度就越好，當 0x 取值離均值 x 越遠，預(yù)測精度就越差，其預(yù)測區(qū)間兩頭呈喇叭狀。因此，我 們要特別注意 0x 取值應(yīng)該在樣本數(shù)據(jù)最小的 ix 和最大的 ix 之間，否則預(yù)測很不可靠。 五、 回歸診斷 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 12 of 44 回歸診斷主要用于檢驗關(guān)于回歸假設(shè)是否成立，以及檢驗?zāi)Ｐ托问绞欠皴e誤，否則我們通過最小二乘法求得的回歸方程就缺乏理論依據(jù)。這些檢驗主要探究的問題為 ： ? 殘差是否為隨機性、是否為正態(tài)性、是否不為異方差。 ? 高度相關(guān)的自變量是否引起了共線性。 ? 模型的函數(shù)形式是否錯誤或在模型中是否缺少重要的自變量。 ? 樣本 數(shù)據(jù)中是否存在異常值。 1. 殘差圖分析 所謂殘差圖就是以殘差 ttt yye ??? 為縱坐標，某一個合適的自變量為橫坐標的散點圖。殘差中包含了許多有關(guān)數(shù)據(jù)和模型的信息，它是研究回歸診斷最基本及最重要的統(tǒng)計量。殘差圖分析的基本思想是，在回歸模型的假設(shè)中，我們總是假定誤差項是獨立的正態(tài)分布隨