【正文】 設計和已掌握數(shù)據(jù)的情況決定。 在回歸模型中， X 稱為“自變量”， Y稱為“因變量”；這只是傳統(tǒng)的稱法，并不表明在給定的情況下 Y因果地依賴于 X ，無論統(tǒng)計關系多么密切，回歸模型不一定是因果關系，在某些應用中，比如我們由溫度表水銀柱高度（自 變量）來估計溫度（因變量）時，自變量實際上依賴于因變量。在 SAS/STAT 中有多個進行回歸的過程 ,如 REG、 GLM 等， REG 過程常用于進行一般線性回歸模型分析 。 （ 2） 回歸方程的函數(shù)形式 選擇回歸方程函數(shù)形式與選擇自變量緊密相關。即對所有的 i? j ， i? 與 j? 互不相關 模型（ ）稱為簡單模型，參數(shù)是線性的，自變量也是線性的。假設誤差項 t? 具有相同的方差 2? ， 則 相應的 tY 的方差為： 2)( ??tYVar 這是因為 ： 2)()()( ????? ????? tttt V arXV arYV ar 。由于 ?和 ?的數(shù)值未知， 因此， 不能準確地知道與各觀測點對應的概率誤差項的值。觀測點（ xt， yt）同估計直線垂直方向的間隔 ： )( ** ttt xye ?? ??? () 叫做殘差（ residual）。即 te 和 se （ t ? s）作為評價函數(shù)的變量應得到同樣的對待。當然，使 V 的值為最小的 *? 和 *? 的值要依存于 N 個觀測數(shù)據(jù)。從 18 世紀由高斯（ Gauss）發(fā)明的所謂最小二乘法直到今天仍得到如此廣泛的實際運用這一事實來看，最小二乘估計法理論應具有某些特別的優(yōu)點。我們暫且先根據(jù)方差的公式進行形式上的推導。我們求回歸方程的目的是要去反映 y 隨 x 變化的一種統(tǒng)計規(guī)律，那么如果 ?=0，從 式 ()可知，不管 x 如何變化， Ey 不會隨之而改變，在這種情況下求出的回歸方程是無意義的。由于可以證明 ： )2(~/ 22 ?NE S S ?? () 于是有 ： 2)2()( ??? NE S SE () 所以 ， 其自由度為 2?N 。 然而在 0xx? 時，隨機變量 0y 的取值與預測均值 0?y 總會有一定的偏離，我們根據(jù)公式()不難求出 00 ?yy ? 的均值 )?( 00 yyE ? 和方差 )?( 00 yyVar ? ，且它符合正態(tài)分布，故有 ： ))( )(11,0(~? 222020 ????????? ????? ? xx xxNNyyt () 其中 ， ? 未知，用 )2/(? 2 ?? NE SS? 去代替，所以 00 ?yy ? 的預測區(qū)間為 ： ? ?202/00202/00 ?)1()?(,?)1()?( ?? ?? htyyhtyy ?????? () 其中 ， 2/?t 的自由度為 2?N 。 ? 樣本 數(shù)據(jù)中是否存在異常值。更進一步的診斷應該采用學生化殘差鑒別是否正態(tài)性。 若殘差圖呈現(xiàn)如圖 （ c）所示的形式，殘差隨 x 的增大而增大。 2. 共線性 回歸研究中很容易發(fā)生模型中兩個或兩個以上的自變量高度相關，從而引起最小二乘估計可能很不精確。由于殘差是誤差的合理估計，因此檢驗統(tǒng)計量通常是建立在殘差的基礎上。 RUN。 ? COLLIN—— 輸出條件數(shù)（ Condition index） ,它表示最大的本征性與每個自變量本征值之比的平方根。假設它們之間存在線性關系，建立模型為： Yt=β 0+β 1Xt+β 2 Xt1+β 3 Xt2+ε t 我們現(xiàn)在有某公司 15 個 月內有關廣告花費 X 與銷售額 Y 的數(shù)據(jù)， 如 表 所示 。 2945 280 4295 400 5645 450 6995 590 8345 650 9695 750 11045 890 12395 1000 13745 1050 15095 1200 d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 17 of 44 16445 1250 17795 1350 19145 1460 20495 1500 21845 1650 。 RUN。矩陣 X 的每一列表示相應的給定變量的 N 次觀察的向量，與截矩有關的所有觀察值都等于 1。 最小二乘法殘差有一個有益的特性，即： ? ? 0??? ????????? ??? XXYXXYXX () 這個結果說明自變量和殘差的交叉乘積的總和為 O，這個公式在一些推導中是非常有用的。為了不失去一般性，我們可寫成： ?? )()()( CAXCAYCAb ?????? () 假如 b 是無偏的，則： ? ? ? ?? ???????????? ? 1CXICXXXXXbE () 式 ()成立的一個必要和充分的條件是 0?CX ，這樣就可以研究矩陣 )(bVar 。為此，我們利 用以下的統(tǒng)計結果： ? 若 2? 已知，則2?? ????服從 2? 分布，具有 N－ k－ 1 個自由度； ? 錯誤 !未定義書簽。為了簡化公式推導過程，首先我們假定 Y 變量具有 0 平均值，即 Y =0，則有： ????????????????????)??()??()()()( 21?????????????????????? ??XXXXXXYYYYYYYYTSS iiNii () 由于 0????X 和 0? ??X? ，因此： ES SRSS XXT SS ?? ????? ???? ???? () 式中 TS 為總平方和， RS 為回歸（已說明）平方和， ES 為殘差（未說明）平方和，歸納成回歸方差分析表，見表 。合適的 F 統(tǒng)計量為： kkNRRkNR kRF kNk 11)1/()1( / 22221, ?????????? () 具有 k和 N－ k－ 1自由度。 ? outsscp=SAS 數(shù)據(jù)集 —— 要求把平方和及叉積矩陣輸出到 type=sscp 的數(shù)據(jù)集中。 ? spec—— 進行關于方差異性的檢驗。 ? cli—— 給出各自變量 x0所對應的因變量 y0 的 95％置信上、下限。 ? collin—— 在對截距未進行校正的情形下，診斷多重共線性，條件數(shù)越大越可能存在共線性。用于診斷異常點。 tol越小說明其可用別的自變量解釋的部分越多，自然就越可能與別的自變量存在共線性關系， tol與 vif互為倒數(shù)。 ? covb—— 要求輸出回歸系數(shù)估計的協(xié)方差（陣）估計。 ? start＝ s—— 以含有 model語句中前 3個自變量的模型開始，進行比較、選擇過程（僅用于 maxr或 minr方法）。 3. model 語句中的 選項列表 （ 1） 確定變量篩選辦法的選擇項 ? selection =none | forward | backward | stepwise | maxr | minr | rsquare | cp | adjrsq 依次表示全部變量進入法 none、前進法 forward、后退法 backward、逐步篩選法 stepwise（前進法與后退法的結合）、最大 R2增量法 maxr、最小 R2增量法 minr、 R2選擇法 rsquare、Mallow39。 model 因變量 =自變 量名列 /選項列表 ； d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 24 of 44 var 變量列表； output out=數(shù)據(jù)集名 /選項列表 。我們應該知道一個好的多元回歸模型，應是具有合理個數(shù)的有意義自變量的簡單模型。 由此得出： d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 22 of 44 )1(~? ????? kNtvstiiikN ?? () 該式為 t分布，具有 (Nk1)個自由度。 九、 2? 的估計和 t檢驗 為了計算估計參數(shù)的方差－協(xié)方差矩陣，我們需要給出 2? 的估計 量，該估計量自然選為： 1??2 ???? kNs ?? () 證明 2s 為 2? 的一個無偏估計量，雖很單調冗長，但不困難。 ? ? ? ? ? ?? ? 1211 ])?)(?[( )?(??????????????XXXXXEXXXEV ar???????? () 我們看到，最小二乘法估計量為線性和無偏估計量。除了正態(tài)性外，我們還假定每一個誤差項的平均值為 0，方差為常數(shù)， 以及協(xié)方差為 0 。由于具有 N個方程來概括回歸模型： NtXXXY tktkttt ,2,1,22110 ?? ??????? ????? () 模型的相應矩陣方程表示為： 錯誤 !未定義書簽。 輸出的結果見表 。 ADVLAG1=LAG1(ADV)。 ? OUTPUT語句 —— 建立 SAS 的輸出結果數(shù)據(jù)集 語句格式為： OUTPUT OUT=SAS 數(shù)據(jù)集名 關鍵字名 =輸出數(shù)據(jù)集中的變量名 其中關鍵字名為需要的統(tǒng)計量名，它們有 P（預測值）、 R（殘差）、 L95M（期望值的 95%的下限）、 U95M（期望值的 95%的上限）、 L95（個體預測值的 95%的下限）、 U95（個體預測值的 95%的上限）、 STDP（期望值的標準誤差）、 STDR（殘差的標準誤差）、 STDI（預測值的標 準誤差）、 STUDENT（學生化殘差）、 COOKD（ COOK 氏 D 值） ? PLOT語句 —— 繪制兩變量的散點圖 語句格式為： PLOT X*Y / 選項 d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 16 of 44 ? ADD 變量名列表 —— 向模型中增加變量 ? DELETE 變量名列表 —— 刪除原擬合模型中的有關變量 ? REFIT—— 重新擬合模型 ? PRINT—— 輸出有關模型的相關信息 七、 應用舉例 例 廣告花費 X 與銷售額 Y 的回歸模型。 缺省 SLSTAY = ? SELECTION=STEPWISE SLENTRY =入選水平 SLSTAY=剔除水平 逐步法（ STEPWISE）：按前進法進入變量，再對模型內所有變量檢驗，看是否有 新 因變量引入而對模型的貢獻變得不顯著的變量，若有就剔除，若無則保留，直至方程內所有的變量均顯著，顯然逐步法有兩個水平，即選入水平和剔除水平，而且剔除水平應低于選入水平。在給定顯著水平 ? 下，我們可以查 DurbinWatson表得到不能拒絕獨立性原假設的區(qū)間 UL DWDWDW ?? 。共線性診斷問題就是要找出哪些變量間存在共線性關系。當然 ， 還存在著不少其他變換，如著名的 BoxCox冪變換 ?? 1?y 。 若殘差圖呈現(xiàn)如圖 （ b）所示的形式，有一個對既定模型偏離很大的 觀察數(shù)據(jù)點，稱為異常點。如果模型適合于觀察到的數(shù)據(jù)，那么殘差 te 作為誤差 t?的無偏估計 t?? ，應基本反映誤差 t? 的假設習性。 五、 回歸診斷 d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 12 of 44 回歸診斷主要用于檢驗關于回歸假設是否成立，以及檢驗模型形式是否錯誤，否則我們通過最小二乘法求得的回歸方程就缺乏理論依據(jù)。所謂預測是指當 x 取某一個具體值 0x 時，對相應的 y 取值 0y 所作的推斷。我們可以用下列偏差平方和來表示由此引起的差異： d42029e444b4fd2a2e5519415cc2aed7 商務數(shù)據(jù)分析