【正文】 于確定 ?和 ?的值時(shí)，要使所有的觀測點(diǎn)和直線的“距離”從整體來說為最小這個(gè)一般的規(guī)則，大概無論誰也沒有異議。由于 ?和 ?的數(shù)值未知， 因此， 不能準(zhǔn)確地知道與各觀測點(diǎn)對應(yīng)的概率誤差項(xiàng)的值。此外，任何兩個(gè)觀察值 iY 與 jY 是互不相關(guān)的。假設(shè)誤差項(xiàng) t? 具有相同的方差 2? ， 則 相應(yīng)的 tY 的方差為： 2)( ??tYVar 這是因?yàn)?： 2)()()( ????? ????? tttt V arXV arYV ar 。所以 ， tY 是隨機(jī)變量。即對所有的 i? j ， i? 與 j? 互不相關(guān) 模型（ ）稱為簡單模型，參數(shù)是線性的，自變量也是線性的。圖 (a)表示復(fù)雜 回歸函數(shù)可以由線性回歸函數(shù)近似的情況，圖 (b)表示復(fù)雜回歸函數(shù)可以由兩個(gè)線性回歸函數(shù)分段近似的情況。 （ 2） 回歸方程的函數(shù)形式 選擇回歸方程函數(shù)形式與選擇自變量緊密相關(guān)。 Y 對給定 X 具有概率分布這一概念總是與統(tǒng)計(jì)關(guān)系中的經(jīng)驗(yàn)分布形式上相對應(yīng)；同樣，描述概率分布的均值與 X之間關(guān)系的回歸曲線，與統(tǒng)計(jì)關(guān)系中 Y 系統(tǒng)地隨 X 變化的一般趨勢相對應(yīng)。在 SAS/STAT 中有多個(gè)進(jìn)行回歸的過程 ,如 REG、 GLM 等， REG 過程常用于進(jìn)行一般線性回歸模型分析 。 一、 回歸模型 1. 基本概念 回歸模型是一種正規(guī)工具，它表示統(tǒng)計(jì)關(guān)系中兩個(gè)基本的內(nèi)容： ① 用系統(tǒng)的形式表示因變量 Y 隨一個(gè)或幾個(gè)自變量 X 變化的趨勢； ② 表現(xiàn)觀察值圍繞統(tǒng)計(jì)關(guān)系曲線的散布情況。 在回歸模型中， X 稱為“自變量”， Y稱為“因變量”；這只是傳統(tǒng)的稱法，并不表明在給定的情況下 Y因果地依賴于 X ，無論統(tǒng)計(jì)關(guān)系多么密切，回歸模型不一定是因果關(guān)系，在某些應(yīng)用中，比如我們由溫度表水銀柱高度（自 變量）來估計(jì)溫度（因變量）時(shí)，自變量實(shí)際上依賴于因變量。有時(shí)有關(guān)理論可能指出適當(dāng)?shù)暮瘮?shù)形式。 （ 3） 模型的范圍 在建立回歸模型時(shí)，通常需要限制模型的自變量或因變量取值的區(qū)間范圍，這個(gè)范圍由調(diào)查設(shè)計(jì)和已掌握數(shù)據(jù)的情況決定。所謂“簡單” ，是因?yàn)樗挥幸粋€(gè)自變量，“參數(shù)線性”是指沒有參數(shù)具有指數(shù)形式， 或者被另一個(gè)參數(shù)相乘或相除，“自變量線性”是指這個(gè)自變量是一次的。因?yàn)?E( t? )=0，這樣： tttt XEXYE ????? ????? )()( () 其中， tX??? 是常數(shù)。 無論自變量 X 取值如何，模型（ ）總是假設(shè) Y 的概率分布具有相同的方差 2? ， 且假設(shè)誤差項(xiàng)互不相關(guān)。 三、 最小二乘估計(jì)法 1. 觀測數(shù)據(jù)圖 設(shè)有一組 T 期間內(nèi)關(guān)于二變量 X 和 Y 的樣本觀測值（ tx ， ty ）（ t＝ 1， 2，?， N），在 X和 Y 之間存在著函數(shù)關(guān)系，如果將這些觀測數(shù)據(jù)，在 2維平面上用圖來表示，只要數(shù)據(jù)至少有 3 個(gè)以上，那么所有的點(diǎn)大概不可能都在一條直線上。大致來說，可以認(rèn)為回歸直線是從散布在平面上的各觀測點(diǎn)的中央穿過的直線。意見的分歧在于究竟要用什么尺度來衡量各觀測點(diǎn)和回歸直線的“距離”。（這里將各觀測點(diǎn)看作是已經(jīng)觀測完畢的一對已知數(shù)組，用小寫字母來表示）。 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 5 of 44 （ 2） 評價(jià)函數(shù)必須是各殘差絕對值的非減函數(shù)。這一條件同各期誤差項(xiàng)的方差為一定值的假定有著密切的關(guān)系。殘差是回歸系數(shù)的估 計(jì)值（ **,?? ）的函數(shù)。 當(dāng) k= 1時(shí)，評價(jià)函數(shù)式（ ）是殘差絕對值的總和。確定能使這一評價(jià)函數(shù)為最小的 *? 和 *? 的方式，便是 最小二乘法 （ least squares method）。如前所述，最小二乘法并不是“確定使 T 個(gè)觀測點(diǎn)與回歸直線之間的距離就整體來說為最小的直線位置”的獨(dú)一無二的方法， 它只不過是多種方法中的一個(gè)罷了。將 ttt XY ??? ??? 代入 ?? 估計(jì)量（ ）和 ?? 估計(jì)量（ ），并作以下變形： ? ?? ????????? NttNtttxxxx121???? () ? ?? ? tNtNtttxxxxXNxy ???? ? ??? ???????????????????1121?? () 于是， ?? 和 ?? 的期望值分別為 ： ? ? ????E () ? ? ?? ??E () 從而很簡單地證明了 ?? 和 ?? 分別是 ?和 ?的無偏估計(jì)量。 根據(jù)前面的假定： 2)( ?? ?tVar 和 0),( ?stCov ?? ，由定義得 ? ? ? ? ? ??????? Nt txxEV a r1222?? ???? () 按照同樣的方法也可以推導(dǎo)出 ： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 8 of 44 ? ? ? ?? ? ???????????????????Ntt xxxNEV a r12222 1?? ???? () 這里順便再計(jì)算一下 ?? 和 ?? 的協(xié)方差 ： ? ? ? ?? ? ? ?????????Nt txxxEC o v122???,? ??????? () 從式 ()和式 （ )可知，估計(jì)量的方差與樣本的大小大致成反比。 四、 檢驗(yàn)與預(yù)測 從最小二乘估計(jì)表達(dá)式 ()和 ()知，只要給出了 N 組數(shù)據(jù) Niyx ii ,2,1),( ?? ，總可將它 們代入這兩個(gè)表達(dá)式獲得 ?和 ?的估計(jì)，從而寫出回歸方程。所以 ， 檢驗(yàn)回歸方程是否有意義的問題轉(zhuǎn)化為檢驗(yàn) 下列假設(shè)是否為真： 0:0 ??H () 常用的方法有 F 檢驗(yàn)和 t 檢驗(yàn)方法。其中， )(?????? xxyxxyxy iiii ???????? ????? 。 利用公式 0)?(,0)?( ???? ?? iiiii xyyyy ，從而有下列平方和分解式： R S SES SyyyyyyyyyyT S Siiiiiii????????????????2222)?()?()??()( () 由于在 0?? 為真 時(shí) ， RS 與 )2/( ?NESS 都是 2? 的無偏估計(jì)，因而采用 F 統(tǒng)計(jì)量 ： )2,1(~)2/()2/(/ 1//2 2 ????? NFNES S R S SNES SR S SF ? ? () d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 10 of 44 來檢驗(yàn)原假設(shè) 0?? 是否為真。由模型知??? ??? 00 xy 是一個(gè)隨機(jī)變量，要預(yù)測隨機(jī)變量的取值是不可能的，只能預(yù)測其期望值)( 0yE 。注意在 SAS 系統(tǒng) model語句中的 cli 選項(xiàng)是按公式 ()來計(jì)算 的 。這些檢驗(yàn)主要探究的問題為 ： ? 殘差是否為隨機(jī)性、是否為正態(tài)性、是否不為異方差。 1. 殘差圖分析 所謂殘差圖就是以殘差 ttt yye ??? 為縱坐標(biāo)，某一個(gè)合適的自變量為橫坐標(biāo)的散點(diǎn)圖。即殘差圖應(yīng)該在零點(diǎn)附近對稱地密布，越遠(yuǎn)離零點(diǎn)的地方就疏散，則在形象上似有正態(tài)趨勢，常認(rèn)為模型與數(shù)據(jù)擬合得很好。一個(gè)簡單的思想就是，如果模型假設(shè)正確的話 ，殘差就應(yīng)該是誤差的良好估計(jì)，那么殘差全體構(gòu)成的直方圖應(yīng)當(dāng)與正態(tài)曲線很相似。如果懷疑異常點(diǎn)是由于記錄數(shù)據(jù)中發(fā)生的錯(cuò)誤或者在測量過程中采用了拙劣的技巧，我們理應(yīng)從數(shù)據(jù)集中刪除，重新回歸模型。 如圖 （ d）所示的形式，殘差隨 x 的增大而先增后減，則蘊(yùn)含著殘差乃至誤差對于不同的觀察值具有不同的方差變化，稱為異方差。 若殘差圖呈現(xiàn)如圖 （ e）所示的形式，顯示了模型本 身具有非線性趨勢，或者提示人們在模型中是否忽略了若干重要的變量。高度 相關(guān)的自變量以及由它們所引起的估計(jì)問題合在一起稱之為共線性（ collinearity）問題。 SAS 系統(tǒng)的 reg 過程中提供了特征值法、條 件指數(shù) collin 和方差膨脹因子 vif，請參閱 SAS/STAT 軟件使用手冊。檢驗(yàn)誤差獨(dú)立性的最常用方法，是對殘差的一階自相關(guān)性進(jìn)行 DurbinWatson檢驗(yàn)。 六、 PROC REG 過程 它的一般格式為： PROC REG 輸入數(shù)據(jù)集名 選項(xiàng)列表 。 1. PROC REG 語句中的 選項(xiàng)列表 ? OUTEST=SAS 數(shù)據(jù)集 —— 將有關(guān)模型的參數(shù)輸出到指定的 SAS 數(shù)據(jù)集中 ? OUTSSCP=SAS 數(shù)據(jù)集 —— 將相關(guān)矩陣輸出到指定的 SAS數(shù)據(jù)集中 ? ALL—— 屏幕輸出所有內(nèi)容 ? NOPRINT—— 不在屏幕輸出任何內(nèi)容 2. MODEL 語句中的選項(xiàng) 該語句定義建模用的因變量、自變量、模型的選擇及結(jié)果輸出的選擇。 缺省 SLENTRY = SLSTAY = 在上述三種方法的使用中，若要求打印出每一次選入或剔除變量進(jìn)行模型擬合時(shí)的所有統(tǒng)計(jì)量，可以加選 DETAILS。一般情況下，條件數(shù)越大越可能存在共線性。大多數(shù)公司最終會詢問關(guān)于花費(fèi)在廣告上的費(fèi)用對公司產(chǎn)品銷售額的影響程度。 表 廣告額與銷售額 月 t 月銷售額 Yt 月廣告花費(fèi) Xt 1 2945 280 2 4295 400 3 5645 450 4 6995 590 5 8345 650 6 9695 750 7 11045 890 8 12395 1000 9 13745 1050 10 15095 1200 11 16445 1250 12 17795 1350 13 19145 1460 14 20495 1500 15 21845 1650 程序如下： LIBNAME STUDY D:\SASDATA\MYDIR。 ADVLAG2=LAG2(ADV)。 PROC REG DATA= OUTEST=。 表 回歸分析的第一次結(jié)果 運(yùn)行后，得到的最小二乘回歸形式為： Yt=+++ 進(jìn)一步統(tǒng)計(jì)分析，按顯著性水平 = 需要剔除 ADV變量，并要求繪制殘差圖，要再一次提交下列程序： DELETE ADV。 再一次的輸出的結(jié)果見表 。 () 式中 。 經(jīng)典的線性回歸模型的假設(shè)可以闡述如下： ? 模型形式由 ()給定； ? 矩陣 X 的元素都是確定的， X 的秩為 (k+1)，且 k 小于觀察數(shù) N； ? ? 為正態(tài)分布， E(? )=0 和 ? ? IE 2??? ?? ，式中 I 為 NN 單位矩陣。假若我們按 Y 的分布來表示第三個(gè)假設(shè)，則可寫成下 式： ),(~ 2 IXNY ?? () 八、 最小二乘法估計(jì) 我們的目的是求出一個(gè)參數(shù)向量使得殘差平方和最小，即： ??? ???1 2 ??? ??Nt tE SS () 式中： YY ?? ??? () ??? XY? () 其中， ?? 表示回歸殘差的 N列向量，而 Y? 表示 Y 擬合值的 N 列向量， ?? 表示為估計(jì)參數(shù)的 (k+1) 列向量，將式 ()和式 ()代入式 ()，則得： ? ? ? ?????????2 ??XXYXYYXYXYE SS???????????? () 為了確定最小二 乘法估計(jì)量，我們求 ESS 對 ?? 進(jìn)行微分，并使之等于 0，即： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 20 of 44 0?22? ???????? ?? XXYXE S S () 所以： ? ? )(? 1 YXXX ??? ?? () 被稱為“交叉乘積矩陣”，即 錯(cuò)誤 !未定義書簽。 現(xiàn)在可以考慮最小二乘估計(jì)量的性質(zhì)。事實(shí)上， ?? 為 ? 的最佳線性無偏估計(jì)量，也就是說，它在全部無偏估計(jì)量中方差最小，這就是著名的高斯－馬爾可夫定理。d42029e444b4