【正文】 只應(yīng)該）包括有限個(gè)自變量或預(yù)測(cè)變量。 二、 未指定誤差項(xiàng)分布的回歸模型 1. 模型的正規(guī)表述 現(xiàn)在我們只限于一個(gè)自變量的基本回歸模型，且回歸函數(shù)是線性的，可表述如下： ttt XY ??? ??? () 其中， tY 是第 t 次觀測(cè)或試驗(yàn)中因變量的取值， ? 和 ? 是參數(shù)， tX 為第 t 次觀測(cè)或試驗(yàn)y ( a ) y ( b )x x 圖 用線性回歸函數(shù)近似復(fù)雜回歸函數(shù) d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 3 of 44 中自變量的取值， t? 是隨機(jī)誤差項(xiàng)，其基本假設(shè)應(yīng)該滿足三個(gè)條件： ? 均值 E( t? )＝ 0 ? 方差 2)( ?? ?tVar ? 協(xié)方差 0),( ?jiCov ?? ，當(dāng) i? j 時(shí)。 在第 t 次試驗(yàn)中， Y 的觀察值超過(guò)或低于回歸函數(shù)值的部分為誤差項(xiàng)部分 t? 。未知回歸直線和各觀測(cè)點(diǎn)的垂直方向的間隔就是上節(jié)引進(jìn)的概 率誤差項(xiàng)。 假定估計(jì)出的直線為 ： XY ** ?? ?? () 則同 X＝ Xt 對(duì)應(yīng)的估計(jì)直線上的點(diǎn)是 tx** ?? ? 。 （ 3） N 個(gè)觀測(cè)點(diǎn)都具有同等資格。從而可以考慮確定能使 V 為最小的 *? 和 *? 的值。于是，可知最小二乘估計(jì)量是 ： ? ?? ?? ????????? NtttNttxxyyxx121?? () xy ?? ?? ?? () d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 7 of 44 ?? ?? ?? Nt tNt t yNyxNx 11 1,1 () 3. 最小二乘估計(jì)量的平均值和方差 我們已經(jīng)相當(dāng)詳細(xì)地論述了關(guān)于“估計(jì)量的優(yōu)劣”問(wèn)題的一般理論。既然已表明最小二乘估計(jì)量具有無(wú)偏性，那么下一個(gè)問(wèn)題就是 估計(jì)量的方差的大小。為作檢驗(yàn)，首先要建立假設(shè)。 二是由其他一切隨機(jī)因素引起的差異，它可以用殘差平方和 ： 2,)?(1 2 ???? ?? NdfyyE SS ENi ii () 表示。注意在 SAS 系統(tǒng) model語(yǔ)句中的 clm 選項(xiàng)是按公式 ()來(lái)計(jì)算 的 。 ? 模型的函數(shù)形式是否錯(cuò)誤或在模型中是否缺少重要的自變量。 若殘差圖呈現(xiàn)如圖 （ a）所示的形式，殘差是隨機(jī)的且不表示出一定的趨勢(shì)與形式，我們認(rèn)為建立的回歸模型 應(yīng) 診斷為無(wú)甚大問(wèn)題。在 SAS 系統(tǒng)的 reg 回歸過(guò)程中用來(lái)度量異常點(diǎn)影響大小的統(tǒng)計(jì)量是COOKD 統(tǒng)計(jì)量，計(jì)算方法請(qǐng)參閱 SAS/STAT 軟件使用手冊(cè)。同樣表示了模型的錯(cuò)誤選定。如果誤差項(xiàng)不 獨(dú)立，那么我們對(duì)回歸模型的許多處理，包括誤差項(xiàng)估計(jì)、假設(shè)檢驗(yàn)等 都將沒(méi)有推導(dǎo)依據(jù)。 其它選擇語(yǔ)句 。若已選了 CLI、 CLM、 R，則無(wú)需該選項(xiàng) ? R—— 輸出每個(gè)個(gè)體觀測(cè)值、殘差及標(biāo)準(zhǔn)誤差 ? CLM—— 輸出每個(gè)觀測(cè)值因變量期望值的 95%的上、下限 ? CLI—— 輸出每個(gè)個(gè)體觀測(cè)值的 95%的上、下限 與殘差分析有關(guān)的選項(xiàng)有： ? VIF—— 輸出變量間相關(guān)性的方差膨脹系數(shù)（ Variance Inflation Factor） ,VIF越大，說(shuō)明由于共線性存在，使方差變大。假設(shè)公司相信銷售額與當(dāng)月以及前兩個(gè)月內(nèi)所花的廣告費(fèi)有較密切的關(guān)系，即意味著： Yt與 Xt， Xt1， Xt2有密切的關(guān)系。 CARDS。 PLOT R. * P. / SYMBOL=’*’。 在矩陣 X 表達(dá)式中，每一個(gè)元素 Xij 都有兩個(gè)下標(biāo)，第一個(gè)下標(biāo)表示相應(yīng)的列（變量），第二個(gè)下標(biāo)表示相應(yīng)的行（觀察）。最小化的二階條件是， XX? 是一個(gè)正定矩陣。請(qǐng)注意 ?? =AY。當(dāng)用 2s 近似 2? 時(shí)，我們不得不用 t假設(shè)檢驗(yàn)。 一〇、 R2 和 F 檢驗(yàn) 我們可將 Y 的總變差分成兩部分，一部分代表已說(shuō)明變差，另一部分代表未說(shuō)明變差。最通常利用的檢驗(yàn)是 021 ???? k??? ? , 這個(gè)聯(lián)合假設(shè)的檢驗(yàn)。 2. proc reg 語(yǔ)句中的 選項(xiàng)列表 ? outest=SAS 數(shù)據(jù)集 —— 將有關(guān)模型的參數(shù)估計(jì)和選擇的統(tǒng)計(jì)量輸出到指定的 SAS數(shù)據(jù)集中。 表 model 語(yǔ)句中的其他選項(xiàng) acov xpx spec pcorr1 slentry＝ details aic covb i stb pcorr2 slstay＝ lackfit sbc corrb p cli scorr1 start＝ collin ss1 mse r clm scorr2 best＝ collinoint ss2 sse b jp adjrsq include＝ influence vif seqb dw rmse gmsep stop＝ partial tol all pc sp noint sigma＝ noprint bic 其中一些選擇項(xiàng)的意義如下： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 25 of 44 ? acov—— 存在異方差時(shí)，輸出參數(shù) ? 估計(jì)量的漸近協(xié)方差陣的估計(jì)。 ? r—— 作殘差分析，同時(shí)給出因變量的預(yù)測(cè)值。 ? rmse—— 要求輸出 2?? ??? 。對(duì)每一觀測(cè)點(diǎn)，輸出如表 ： 表 診斷異常點(diǎn)的統(tǒng)計(jì)量 名稱（統(tǒng)計(jì)量） 含義 “異?！钡呐袆e準(zhǔn)則 Leverage(hi) 杠桿率 hi， 第 i 次觀測(cè)自變量的取值在模型中作用的量度 （ 0≤ hi≤ 1） hi越大，則第 i 次觀測(cè)在模型中的作用就越大 Cook’s D COOKD 統(tǒng)計(jì)量，對(duì)某一觀測(cè)點(diǎn)引起回歸影響大小的度量。 ? vif—— 輸出變量間相關(guān)性的方差膨脹系數(shù)， vif 越大，說(shuō)明由于共線性的存在，使方差變大。 ? corrb—— 要求輸出回歸系數(shù)估計(jì)的相關(guān)矩陣估計(jì)。 ? stop＝ s—— 當(dāng)找到最佳的 s個(gè)變量模型之后，逐步回歸便停止 (僅用于 maxr或 minr方法 )。s Cp 選擇法 cp、修正 R2選擇法 adjrsq。 plot 繪圖表達(dá)式 /選項(xiàng)列表 ； print 關(guān)鍵字列； weight 變量； freq 變量； by 變量； restrict 方程 1，方程 2，? ； test 方程 1，方程 2，?； run 。為了解決這個(gè)問(wèn)題，提出了修正 2R ，使得只有當(dāng)新增變量確實(shí)對(duì)因變量有所作用時(shí)修正 2R 才會(huì)增加。這就使我們能按照與前面所述相同的方式確定各個(gè)回歸參數(shù)的置信區(qū)間。因此， ? ? 12 ??XXs 是Var(?? )的估計(jì)。事實(shí)上， ?? 為 ? 的最佳線性無(wú)偏估計(jì)量，也就是說(shuō)，它在全部無(wú)偏估計(jì)量中方差最小，這就是著名的高斯－馬爾可夫定理。假若我們按 Y 的分布來(lái)表示第三個(gè)假設(shè)，則可寫(xiě)成下 式： ),(~ 2 IXNY ?? () 八、 最小二乘法估計(jì) 我們的目的是求出一個(gè)參數(shù)向量使得殘差平方和最小，即： ??? ???1 2 ??? ??Nt tE SS () 式中： YY ?? ??? () ??? XY? () 其中， ?? 表示回歸殘差的 N列向量，而 Y? 表示 Y 擬合值的 N 列向量， ?? 表示為估計(jì)參數(shù)的 (k+1) 列向量，將式 ()和式 ()代入式 ()，則得： ? ? ? ?????????2 ??XXYXYYXYXYE SS???????????? () 為了確定最小二 乘法估計(jì)量，我們求 ESS 對(duì) ?? 進(jìn)行微分，并使之等于 0，即： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 20 of 44 0?22? ???????? ?? XXYXE S S () 所以： ? ? )(? 1 YXXX ??? ?? () 被稱為“交叉乘積矩陣”，即 錯(cuò)誤 !未定義書(shū)簽。 () 式中 。 表 回歸分析的第一次結(jié)果 運(yùn)行后，得到的最小二乘回歸形式為： Yt=+++ 進(jìn)一步統(tǒng)計(jì)分析，按顯著性水平 = 需要剔除 ADV變量，并要求繪制殘差圖，要再一次提交下列程序： DELETE ADV。 ADVLAG2=LAG2(ADV)。大多數(shù)公司最終會(huì)詢問(wèn)關(guān)于花費(fèi)在廣告上的費(fèi)用對(duì)公司產(chǎn)品銷售額的影響程度。 缺省 SLENTRY = SLSTAY = 在上述三種方法的使用中，若要求打印出每一次選入或剔除變量進(jìn)行模型擬合時(shí)的所有統(tǒng)計(jì)量，可以加選 DETAILS。 六、 PROC REG 過(guò)程 它的一般格式為： PROC REG 輸入數(shù)據(jù)集名 選項(xiàng)列表 。 SAS 系統(tǒng)的 reg 過(guò)程中提供了特征值法、條 件指數(shù) collin 和方差膨脹因子 vif，請(qǐng)參閱 SAS/STAT 軟件使用手冊(cè)。 若殘差圖呈現(xiàn)如圖 （ e）所示的形式，顯示了模型本 身具有非線性趨勢(shì)，或者提示人們?cè)谀Ｐ椭惺欠窈雎粤巳舾芍匾淖兞?。如果懷疑異常點(diǎn)是由于記錄數(shù)據(jù)中發(fā)生的錯(cuò)誤或者在測(cè)量過(guò)程中采用了拙劣的技巧，我們理應(yīng)從數(shù)據(jù)集中刪除，重新回歸模型。即殘差圖應(yīng)該在零點(diǎn)附近對(duì)稱地密布，越遠(yuǎn)離零點(diǎn)的地方就疏散，則在形象上似有正態(tài)趨勢(shì)，常認(rèn)為模型與數(shù)據(jù)擬合得很好。這些檢驗(yàn)主要探究的問(wèn)題為 ： ? 殘差是否為隨機(jī)性、是否為正態(tài)性、是否不為異方差。由模型知??? ??? 00 xy 是一個(gè)隨機(jī)變量，要預(yù)測(cè)隨機(jī)變量的取值是不可能的，只能預(yù)測(cè)其期望值)( 0yE 。其中， )(?????? xxyxxyxy iiii ???????? ????? 。 四、 檢驗(yàn)與預(yù)測(cè) 從最小二乘估計(jì)表達(dá)式 ()和 ()知，只要給出了 N 組數(shù)據(jù) Niyx ii ,2,1),( ?? ，總可將它 們代入這兩個(gè)表達(dá)式獲得 ?和 ?的估計(jì)，從而寫(xiě)出回歸方程。將 ttt XY ??? ??? 代入 ?? 估計(jì)量（ ）和 ?? 估計(jì)量（ ），并作以下變形： ? ?? ????????? NttNtttxxxx121???? () ? ?? ? tNtNtttxxxxXNxy ???? ? ??? ???????????????????1121?? () 于是， ?? 和 ?? 的期望值分別為 ： ? ? ????E () ? ? ?? ??E () 從而很簡(jiǎn)單地證明了 ?? 和 ?? 分別是 ?和 ?的無(wú)偏估計(jì)量。確定能使這一評(píng)價(jià)函數(shù)為最小的 *? 和 *? 的方式，便是 最小二乘法 （ least squares method）。殘差是回歸系數(shù)的估 計(jì)值（ **,?? ）的函數(shù)。 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 5 of 44 （ 2） 評(píng)價(jià)函數(shù)必須是各殘差絕對(duì)值的非減函數(shù)。意見(jiàn)的分歧在于究竟要用什么尺度來(lái)衡量各觀測(cè)點(diǎn)和回歸直線的“距離”。 三、 最小二乘估計(jì)法 1. 觀測(cè)數(shù)據(jù)圖 設(shè)有一組 T 期間內(nèi)關(guān)于二變量 X 和 Y 的樣本觀測(cè)值（ tx ， ty ）（ t＝ 1， 2，?， N），在 X和 Y 之間存在著函數(shù)關(guān)系，如果將這些觀測(cè)數(shù)據(jù)，在 2維平面上用圖來(lái)表示，只要數(shù)據(jù)至少有 3 個(gè)以上，那么所有的點(diǎn)大概不可能都在一條直線上。因?yàn)?E( t? )=0，這樣： tttt XEXYE ????? ????? )()( () 其中， tX??? 是常數(shù)。 （ 3） 模型的范圍 在建立回歸模型時(shí)，通常需要限制模型的自變量或因變量取值的區(qū)間范圍，這個(gè)范圍由調(diào)查