【正文】 小于觀察數(shù) N； ? ? 為正態(tài)分布， E(? )=0 和 ? ? IE 2??? ?? ，式中 I 為 NN 單位矩陣。 PROC REG DATA= OUTEST=。一般情況下，條件數(shù)越大越可能存在共線性。檢驗(yàn)誤差獨(dú)立性的最常用方法，是對(duì)殘差的一階自相關(guān)性進(jìn)行 DurbinWatson檢驗(yàn)。 如圖 （ d）所示的形式，殘差隨 x 的增大而先增后減，則蘊(yùn)含著殘差乃至誤差對(duì)于不同的觀察值具有不同的方差變化，稱為異方差。 1. 殘差圖分析 所謂殘差圖就是以殘差 ttt yye ??? 為縱坐標(biāo)，某一個(gè)合適的自變量為橫坐標(biāo)的散點(diǎn)圖。 利用公式 0)?(,0)?( ???? ?? iiiii xyyyy ，從而有下列平方和分解式： R S SES SyyyyyyyyyyT S Siiiiiii????????????????2222)?()?()??()( () 由于在 0?? 為真 時(shí) ， RS 與 )2/( ?NESS 都是 2? 的無(wú)偏估計(jì)，因而采用 F 統(tǒng)計(jì)量 ： )2,1(~)2/()2/(/ 1//2 2 ????? NFNES S R S SNES SR S SF ? ? () d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 10 of 44 來(lái)檢驗(yàn)原假設(shè) 0?? 是否為真。 根據(jù)前面的假定： 2)( ?? ?tVar 和 0),( ?stCov ?? ，由定義得 ? ? ? ? ? ??????? Nt txxEV a r1222?? ???? () 按照同樣的方法也可以推導(dǎo)出 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 8 of 44 ? ? ? ?? ? ???????????????????Ntt xxxNEV a r12222 1?? ???? () 這里順便再計(jì)算一下 ?? 和 ?? 的協(xié)方差 ： ? ? ? ?? ? ? ?????????Nt txxxEC o v122???,? ??????? () 從式 ()和式 （ )可知，估計(jì)量的方差與樣本的大小大致成反比。 當(dāng) k= 1時(shí)，評(píng)價(jià)函數(shù)式（ ）是殘差絕對(duì)值的總和。（這里將各觀測(cè)點(diǎn)看作是已經(jīng)觀測(cè)完畢的一對(duì)已知數(shù)組，用小寫(xiě)字母來(lái)表示）。 無(wú)論自變量 X 取值如何，模型（ ）總是假設(shè) Y 的概率分布具有相同的方差 2? ， 且假設(shè)誤差項(xiàng)互不相關(guān)。有時(shí)有關(guān)理論可能指出適當(dāng)?shù)暮瘮?shù)形式。 Y 對(duì)給定 X 具有概率分布這一概念總是與統(tǒng)計(jì)關(guān)系中的經(jīng)驗(yàn)分布形式上相對(duì)應(yīng)；同樣，描述概率分布的均值與 X之間關(guān)系的回歸曲線，與統(tǒng)計(jì)關(guān)系中 Y 系統(tǒng)地隨 X 變化的一般趨勢(shì)相對(duì)應(yīng)。所以 ， tY 是隨機(jī)變量。但是，對(duì)于確定 ?和 ?的值時(shí)，要使所有的觀測(cè)點(diǎn)和直線的“距離”從整體來(lái)說(shuō)為最小這個(gè)一般的規(guī)則，大概無(wú)論誰(shuí)也沒(méi)有異議。將這一敘述用數(shù)學(xué)方式表示，可得 ： stee V st ????? ,02 () 根據(jù)以上的討論，備擇的評(píng)價(jià)函數(shù)被限定在相當(dāng)狹的范圍內(nèi)，作為滿足資格的函數(shù)，例如可以考慮 ： 1,||1 ?? ?? keV Nt kt () 當(dāng) k 為偶數(shù)時(shí)，絕對(duì)值的符號(hào)就失去意義。 以下，我們首先來(lái)研究一下最小二乘估計(jì)量的性質(zhì)。我們可以用下列偏差平方和來(lái)表示由此引起的差異： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 9 of 44 1,)?(1 2 ??? ?? RNi i dfyyR SS () 稱為回歸平方和。 五、 回歸診斷 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 12 of 44 回歸診斷主要用于檢驗(yàn)關(guān)于回歸假設(shè)是否成立，以及檢驗(yàn)?zāi)Ｐ托问绞欠皴e(cuò)誤，否則我們通過(guò)最小二乘法求得的回歸方程就缺乏理論依據(jù)。 若殘差圖呈現(xiàn)如圖 （ b）所示的形式，有一個(gè)對(duì)既定模型偏離很大的 觀察數(shù)據(jù)點(diǎn)，稱為異常點(diǎn)。共線性診斷問(wèn)題就是要找出哪些變量間存在共線性關(guān)系。 缺省 SLSTAY = ? SELECTION=STEPWISE SLENTRY =入選水平 SLSTAY=剔除水平 逐步法（ STEPWISE）：按前進(jìn)法進(jìn)入變量，再對(duì)模型內(nèi)所有變量檢驗(yàn)，看是否有 新 因變量引入而對(duì)模型的貢獻(xiàn)變得不顯著的變量，若有就剔除，若無(wú)則保留，直至方程內(nèi)所有的變量均顯著，顯然逐步法有兩個(gè)水平，即選入水平和剔除水平，而且剔除水平應(yīng)低于選入水平。 ADVLAG1=LAG1(ADV)。由于具有 N個(gè)方程來(lái)概括回歸模型： NtXXXY tktkttt ,2,1,22110 ?? ??????? ????? () 模型的相應(yīng)矩陣方程表示為： 錯(cuò)誤 !未定義書(shū)簽。 ? ? ? ? ? ?? ? 1211 ])?)(?[( )?(??????????????XXXXXEXXXEV ar???????? () 我們看到，最小二乘法估計(jì)量為線性和無(wú)偏估計(jì)量。 由此得出： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 22 of 44 )1(~? ????? kNtvstiiikN ?? () 該式為 t分布，具有 (Nk1)個(gè)自由度。 model 因變量 =自變 量名列 /選項(xiàng)列表 ； d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 24 of 44 var 變量列表； output out=數(shù)據(jù)集名 /選項(xiàng)列表 。 ? start＝ s—— 以含有 model語(yǔ)句中前 3個(gè)自變量的模型開(kāi)始，進(jìn)行比較、選擇過(guò)程（僅用于 maxr或 minr方法）。 tol越小說(shuō)明其可用別的自變量解釋的部分越多，自然就越可能與別的自變量存在共線性關(guān)系， tol與 vif互為倒數(shù)。 ? collin—— 在對(duì)截距未進(jìn)行校正的情形下，診斷多重共線性，條件數(shù)越大越可能存在共線性。 ? spec—— 進(jìn)行關(guān)于方差異性的檢驗(yàn)。合適的 F 統(tǒng)計(jì)量為： kkNRRkNR kRF kNk 11)1/()1( / 22221, ?????????? () 具有 k和 N－ k－ 1自由度。為此，我們利 用以下的統(tǒng)計(jì)結(jié)果： ? 若 2? 已知，則2?? ????服從 2? 分布，具有 N－ k－ 1 個(gè)自由度； ? 錯(cuò)誤 !未定義書(shū)簽。 最小二乘法殘差有一個(gè)有益的特性，即： ? ? 0??? ????????? ??? XXYXXYXX () 這個(gè)結(jié)果說(shuō)明自變量和殘差的交叉乘積的總和為 O，這個(gè)公式在一些推導(dǎo)中是非常有用的。 RUN。假設(shè)它們之間存在線性關(guān)系，建立模型為： Yt=β 0+β 1Xt+β 2 Xt1+β 3 Xt2+ε t 我們現(xiàn)在有某公司 15 個(gè) 月內(nèi)有關(guān)廣告花費(fèi) X 與銷售額 Y 的數(shù)據(jù)， 如 表 所示 。 RUN。 2. 共線性 回歸研究中很容易發(fā)生模型中兩個(gè)或兩個(gè)以上的自變量高度相關(guān)，從而引起最小二乘估計(jì)可能很不精確。更進(jìn)一步的診斷應(yīng)該采用學(xué)生化殘差鑒別是否正態(tài)性。 然而在 0xx? 時(shí)，隨機(jī)變量 0y 的取值與預(yù)測(cè)均值 0?y 總會(huì)有一定的偏離，我們根據(jù)公式()不難求出 00 ?yy ? 的均值 )?( 00 yyE ? 和方差 )?( 00 yyVar ? ，且它符合正態(tài)分布，故有 ： ))( )(11,0(~? 222020 ????????? ????? ? xx xxNNyyt () 其中 ， ? 未知，用 )2/(? 2 ?? NE SS? 去代替，所以 00 ?yy ? 的預(yù)測(cè)區(qū)間為 ： ? ?202/00202/00 ?)1()?(,?)1()?( ?? ?? htyyhtyy ?????? () 其中 ， 2/?t 的自由度為 2?N 。我們求回歸方程的目的是要去反映 y 隨 x 變化的一種統(tǒng)計(jì)規(guī)律，那么如果 ?=0，從 式 ()可知，不管 x 如何變化， Ey 不會(huì)隨之而改變，在這種情況下求出的回歸方程是無(wú)意義的。從 18 世紀(jì)由高斯（ Gauss）發(fā)明的所謂最小二乘法直到今天仍得到如此廣泛的實(shí)際運(yùn)用這一事實(shí)來(lái)看，最小二乘估計(jì)法理論應(yīng)具有某些特別的優(yōu)點(diǎn)。即 te 和 se （ t ? s）作為評(píng)價(jià)函數(shù)的變量應(yīng)得到同樣的對(duì)待。由于 ?和 ?的數(shù)值未知， 因此， 不能準(zhǔn)確地知道與各觀測(cè)點(diǎn)對(duì)應(yīng)的概率誤差項(xiàng)的值。即對(duì)所有的 i? j ， i? 與 j? 互不相關(guān) 模型（ ）稱為簡(jiǎn)單模型，參數(shù)是線性的，自變量也是線性的。在 SAS/STAT 中有多個(gè)進(jìn)行回歸的過(guò)程 ,如 REG、 GLM 等， REG 過(guò)程常用于進(jìn)行一般線性回歸模型分析 。 （ 3） 模型的范圍 在建立回歸模型時(shí)，通常需要限制模型的自變量或因變量取值的區(qū)間范圍，這個(gè)范圍由調(diào)查設(shè)計(jì)和已掌握數(shù)據(jù)的情況決定。 三、 最小二乘估計(jì)法 1. 觀測(cè)數(shù)據(jù)圖 設(shè)有一組 T 期間內(nèi)關(guān)于二變量 X 和 Y 的樣本觀測(cè)值（ tx ， ty ）（ t＝ 1， 2，?， N），在 X和 Y 之間存在著函數(shù)關(guān)系，如果將這些觀測(cè)數(shù)據(jù)，在 2維平面上用圖來(lái)表示，只要數(shù)據(jù)至少有 3 個(gè)以上，那么所有的點(diǎn)大概不可能都在一條直線上。 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 5 of 44 （ 2） 評(píng)價(jià)函數(shù)必須是各殘差絕對(duì)值的非減函數(shù)。確定能使這一評(píng)價(jià)函數(shù)為最小的 *? 和 *? 的方式，便是 最小二乘法 （ least squares method）。 四、 檢驗(yàn)與預(yù)測(cè) 從最小二乘估計(jì)表達(dá)式 ()和 ()知，只要給出了 N 組數(shù)據(jù) Niyx ii ,2,1),( ?? ，總可將它 們代入這兩個(gè)表達(dá)式獲得 ?和 ?的估計(jì)，從而寫(xiě)出回歸方程。由模型知??? ??? 00 xy 是一個(gè)隨機(jī)變量，要預(yù)測(cè)隨機(jī)變量的取值是不可能的，只能預(yù)測(cè)其期望值)( 0yE 。即殘差圖應(yīng)該在零點(diǎn)附近對(duì)稱地密布，越遠(yuǎn)離零點(diǎn)的地方就疏散，則在形象上似有正態(tài)趨勢(shì)，常認(rèn)為模型與數(shù)據(jù)擬合得很好。 若殘差圖呈現(xiàn)如圖 （ e）所示的形式，顯示了模型本 身具有非線性趨勢(shì)，或者提示人們?cè)谀Ｐ椭惺欠窈雎粤巳舾芍匾淖兞俊? 六、 PROC REG 過(guò)程 它的一般格式為： PROC REG 輸入數(shù)據(jù)集名 選項(xiàng)列表 。大多數(shù)公司最終會(huì)詢問(wèn)關(guān)于花費(fèi)在廣告上的費(fèi)用對(duì)公司產(chǎn)品銷售額的影響程度。 表 回歸分析的第一次結(jié)果 運(yùn)行后，得到的最小二乘回歸形式為： Yt=+++ 進(jìn)一步統(tǒng)計(jì)分析，按顯著性水平 = 需要剔除 ADV變量，并要求繪制殘差圖，要再一次提交下列程序： DELETE ADV。假若我們按 Y 的分布來(lái)表示第三個(gè)假設(shè)，則可寫(xiě)成下 式： ),(~ 2 IXNY ?? () 八、 最小二乘法估計(jì) 我們的目的是求出一個(gè)參數(shù)向量使得殘差平方和最小，即： ??? ??