【正文】 用于診斷異常點。 tol越小說明其可用別的自變量解釋的部分越多，自然就越可能與別的自變量存在共線性關(guān)系， tol與 vif互為倒數(shù)。 ? collin—— 在對截距未進行校正的情形下，診斷多重共線性，條件數(shù)越大越可能存在共線性。 ? covb—— 要求輸出回歸系數(shù)估計的協(xié)方差（陣）估計。 ? cli—— 給出各自變量 x0所對應(yīng)的因變量 y0 的 95％置信上、下限。 ? start＝ s—— 以含有 model語句中前 3個自變量的模型開始，進行比較、選擇過程（僅用于 maxr或 minr方法）。 ? spec—— 進行關(guān)于方差異性的檢驗。 3. model 語句中的 選項列表 （ 1） 確定變量篩選辦法的選擇項 ? selection =none | forward | backward | stepwise | maxr | minr | rsquare | cp | adjrsq 依次表示全部變量進入法 none、前進法 forward、后退法 backward、逐步篩選法 stepwise（前進法與后退法的結(jié)合）、最大 R2增量法 maxr、最小 R2增量法 minr、 R2選擇法 rsquare、Mallow39。 ? outsscp=SAS 數(shù)據(jù)集 —— 要求把平方和及叉積矩陣輸出到 type=sscp 的數(shù)據(jù)集中。 model 因變量 =自變 量名列 /選項列表 ； d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 24 of 44 var 變量列表； output out=數(shù)據(jù)集名 /選項列表 。合適的 F 統(tǒng)計量為： kkNRRkNR kRF kNk 11)1/()1( / 22221, ?????????? () 具有 k和 N－ k－ 1自由度。我們應(yīng)該知道一個好的多元回歸模型，應(yīng)是具有合理個數(shù)的有意義自變量的簡單模型。為了簡化公式推導(dǎo)過程，首先我們假定 Y 變量具有 0 平均值，即 Y =0，則有： ????????????????????)??()??()()()( 21?????????????????????? ??XXXXXXYYYYYYYYTSS iiNii () 由于 0????X 和 0? ??X? ，因此： ES SRSS XXT SS ?? ????? ???? ???? () 式中 TS 為總平方和， RS 為回歸（已說明）平方和， ES 為殘差（未說明）平方和，歸納成回歸方差分析表，見表 。 由此得出： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 22 of 44 )1(~? ????? kNtvstiiikN ?? () 該式為 t分布，具有 (Nk1)個自由度。為此，我們利 用以下的統(tǒng)計結(jié)果： ? 若 2? 已知，則2?? ????服從 2? 分布，具有 N－ k－ 1 個自由度； ? 錯誤 !未定義書簽。 九、 2? 的估計和 t檢驗 為了計算估計參數(shù)的方差－協(xié)方差矩陣，我們需要給出 2? 的估計 量，該估計量自然選為： 1??2 ???? kNs ?? () 證明 2s 為 2? 的一個無偏估計量，雖很單調(diào)冗長，但不困難。為了不失去一般性，我們可寫成： ?? )()()( CAXCAYCAb ?????? () 假如 b 是無偏的，則： ? ? ? ?? ???????????? ? 1CXICXXXXXbE () 式 ()成立的一個必要和充分的條件是 0?CX ，這樣就可以研究矩陣 )(bVar 。 ? ? ? ? ? ?? ? 1211 ])?)(?[( )?(??????????????XXXXXEXXXEV ar???????? () 我們看到，最小二乘法估計量為線性和無偏估計量。 最小二乘法殘差有一個有益的特性，即： ? ? 0??? ????????? ??? XXYXXYXX () 這個結(jié)果說明自變量和殘差的交叉乘積的總和為 O，這個公式在一些推導(dǎo)中是非常有用的。除了正態(tài)性外，我們還假定每一個誤差項的平均值為 0，方差為常數(shù)， 以及協(xié)方差為 0 。矩陣 X 的每一列表示相應(yīng)的給定變量的 N 次觀察的向量，與截矩有關(guān)的所有觀察值都等于 1。由于具有 N個方程來概括回歸模型： NtXXXY tktkttt ,2,1,22110 ?? ??????? ????? () 模型的相應(yīng)矩陣方程表示為： 錯誤 !未定義書簽。 RUN。 輸出的結(jié)果見表 。 2945 280 4295 400 5645 450 6995 590 8345 650 9695 750 11045 890 12395 1000 13745 1050 15095 1200 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 17 of 44 16445 1250 17795 1350 19145 1460 20495 1500 21845 1650 。 ADVLAG1=LAG1(ADV)。假設(shè)它們之間存在線性關(guān)系，建立模型為： Yt=β 0+β 1Xt+β 2 Xt1+β 3 Xt2+ε t 我們現(xiàn)在有某公司 15 個 月內(nèi)有關(guān)廣告花費 X 與銷售額 Y 的數(shù)據(jù)， 如 表 所示 。 ? OUTPUT語句 —— 建立 SAS 的輸出結(jié)果數(shù)據(jù)集 語句格式為： OUTPUT OUT=SAS 數(shù)據(jù)集名 關(guān)鍵字名 =輸出數(shù)據(jù)集中的變量名 其中關(guān)鍵字名為需要的統(tǒng)計量名，它們有 P（預(yù)測值）、 R（殘差）、 L95M（期望值的 95%的下限）、 U95M（期望值的 95%的上限）、 L95（個體預(yù)測值的 95%的下限）、 U95（個體預(yù)測值的 95%的上限）、 STDP（期望值的標準誤差）、 STDR（殘差的標準誤差）、 STDI（預(yù)測值的標 準誤差）、 STUDENT（學(xué)生化殘差）、 COOKD（ COOK 氏 D 值） ? PLOT語句 —— 繪制兩變量的散點圖 語句格式為： PLOT X*Y / 選項 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 16 of 44 ? ADD 變量名列表 —— 向模型中增加變量 ? DELETE 變量名列表 —— 刪除原擬合模型中的有關(guān)變量 ? REFIT—— 重新擬合模型 ? PRINT—— 輸出有關(guān)模型的相關(guān)信息 七、 應(yīng)用舉例 例 廣告花費 X 與銷售額 Y 的回歸模型。 ? COLLIN—— 輸出條件數(shù)（ Condition index） ,它表示最大的本征性與每個自變量本征值之比的平方根。 缺省 SLSTAY = ? SELECTION=STEPWISE SLENTRY =入選水平 SLSTAY=剔除水平 逐步法（ STEPWISE）：按前進法進入變量，再對模型內(nèi)所有變量檢驗，看是否有 新 因變量引入而對模型的貢獻變得不顯著的變量，若有就剔除，若無則保留，直至方程內(nèi)所有的變量均顯著，顯然逐步法有兩個水平，即選入水平和剔除水平，而且剔除水平應(yīng)低于選入水平。 RUN。在給定顯著水平 ? 下，我們可以查 DurbinWatson表得到不能拒絕獨立性原假設(shè)的區(qū)間 UL DWDWDW ?? 。由于殘差是誤差的合理估計，因此檢驗統(tǒng)計量通常是建立在殘差的基礎(chǔ)上。共線性診斷問題就是要找出哪些變量間存在共線性關(guān)系。 2. 共線性 回歸研究中很容易發(fā)生模型中兩個或兩個以上的自變量高度相關(guān)，從而引起最小二乘估計可能很不精確。當然 ， 還存在著不少其他變換，如著名的 BoxCox冪變換 ?? 1?y 。 若殘差圖呈現(xiàn)如圖 （ c）所示的形式，殘差隨 x 的增大而增大。 若殘差圖呈現(xiàn)如圖 （ b）所示的形式，有一個對既定模型偏離很大的 觀察數(shù)據(jù)點，稱為異常點。更進一步的診斷應(yīng)該采用學(xué)生化殘差鑒別是否正態(tài)性。如果模型適合于觀察到的數(shù)據(jù)，那么殘差 te 作為誤差 t?的無偏估計 t?? ，應(yīng)基本反映誤差 t? 的假設(shè)習性。 ? 樣本 數(shù)據(jù)中是否存在異常值。 五、 回歸診斷 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 12 of 44 回歸診斷主要用于檢驗關(guān)于回歸假設(shè)是否成立，以及檢驗?zāi)Ｐ托问绞欠皴e誤，否則我們通過最小二乘法求得的回歸方程就缺乏理論依據(jù)。 然而在 0xx? 時，隨機變量 0y 的取值與預(yù)測均值 0?y 總會有一定的偏離，我們根據(jù)公式()不難求出 00 ?yy ? 的均值 )?( 00 yyE ? 和方差 )?( 00 yyVar ? ，且它符合正態(tài)分布，故有 ： ))( )(11,0(~? 222020 ????????? ????? ? xx xxNNyyt () 其中 ， ? 未知，用 )2/(? 2 ?? NE SS? 去代替，所以 00 ?yy ? 的預(yù)測區(qū)間為 ： ? ?202/00202/00 ?)1()?(,?)1()?( ?? ?? htyyhtyy ?????? () 其中 ， 2/?t 的自由度為 2?N 。所謂預(yù)測是指當 x 取某一個具體值 0x 時，對相應(yīng)的 y 取值 0y 所作的推斷。由于可以證明 ： )2(~/ 22 ?NE S S ?? () 于是有 ： 2)2()( ??? NE S SE () 所以 ， 其自由度為 2?N 。我們可以用下列偏差平方和來表示由此引起的差異： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 9 of 44 1,)?(1 2 ??? ?? RNi i dfyyR SS () 稱為回歸平方和。我們求回歸方程的目的是要去反映 y 隨 x 變化的一種統(tǒng)計規(guī)律，那么如果 ?=0，從 式 ()可知，不管 x 如何變化， Ey 不會隨之而改變，在這種情況下求出的回歸方程是無意義的。當 ? ????? ???Nt tN xx12lim 時， ?? 和 ?? 都是一致估計量。我們暫且先根據(jù)方差的公式進行形式上的推導(dǎo)。 以下，我們首先來研究一下最小二乘估計量的性質(zhì)。從 18 世紀由高斯（ Gauss）發(fā)明的所謂最小二乘法直到今天仍得到如此廣泛的實際運用這一事實來看，最小二乘估計法理論應(yīng)具有某些特別的優(yōu)點。 當 k＝ 2 時，評價函數(shù)是殘差的平方和。當然，使 V 的值為最小的 *? 和 *? 的值要依存于 N 個觀測數(shù)據(jù)。將這一敘述用數(shù)學(xué)方式表示，可得 ： stee V st ????? ,02 () 根據(jù)以上的討論，備擇的評價函數(shù)被限定在相當狹的范圍內(nèi)，作為滿足資格的函數(shù)，例如可以考慮 ： 1,||1 ?? ?? keV Nt kt () 當 k 為偶數(shù)時，絕對值的符號就失去意義。即 te 和 se （ t ? s）作為評價函數(shù)的變量應(yīng)得到同樣的對待。對照我們的常識，要求評價函數(shù)滿足以下各條件： （ 1） 殘差可能為正也可能為負，但不管是正的殘差還是負的殘差，只要其絕對值相等，用與直線的離差這一標準來衡量，就應(yīng)當完全平等地評價。觀測點（ xt， yt）同估計直線垂直方向的間隔 ： )( ** ttt xye ?? ??? () 叫做殘差（ residual）。但是，對