【導(dǎo)讀】在SAS/STAT中有多個進行回歸的過程,如REG、GLM等，REG過。程常用于進行一般線性回歸模型分析。變量Y隨一個或幾個自變量X變化的趨勢；②表現(xiàn)觀察值圍繞統(tǒng)計關(guān)系曲線的散布情況。在與抽樣過程相聯(lián)系的觀察值總體中，對應(yīng)于每一個X值，存在Y的一個概率分布；圖是用透視的方法來顯示回歸曲線。Y對給定X具有概率分布這一概念總是。應(yīng)該）包括有限個自變量或預(yù)測變量。選擇回歸方程函數(shù)形式與選擇自變量緊密相關(guān)。有時有關(guān)理論可能指出適當(dāng)?shù)暮瘮?shù)形式。線性回歸函數(shù)分段近似的情況。調(diào)查設(shè)計和已掌握數(shù)據(jù)的情況決定?；貧w分析主要有3個目的：描述，控制和預(yù)測。參數(shù)和自變量都是線性的模型稱為一階模型。因此，當(dāng)?shù)趖次試驗中X取為tX時，相應(yīng)的tY來自一個概率。以被認(rèn)為在X和Y之間成立的未知。有的觀測點和直線的“距離”從整體來說為最小這個一般的規(guī)則，大概無論誰也沒有異議。計方式也是多種多樣的。是已知的估計直線同觀測點的間隔。

　　

【正文】 由于 ?? )( CAb ??? ，所以有： ]))(][([])()[(}])][(){ [ (]))([()(??????????????????CACAECACAECACAEbbEbV ar???????? () 由于： ? ?? ?? ? ? ? ? ? ? ? CCCXXXXXCXXXXXXX CCCAACAACACA ???????????? ??????????????? 1111 因為 0???? CXCX ，所以 ? ?? ? ? ? CCXXCACA ??????? ? 1，即： ? ?CCV arCCXXbV ar??????? ?212)?(][)(??? () 我們可以看出， C? 為一半正定矩陣。該矩陣的二次型為 0，只有當(dāng) C ＝ 0（所有元素為 0）時才出現(xiàn)。當(dāng) 0?C 時，另外的估計量 b 就是普通最小二乘法估計量，這樣，我們的定理就得到證明。 九、 2? 的估計和 t檢驗 為了計算估計參數(shù)的方差－協(xié)方差矩陣，我們需要給出 2? 的估計 量，該估計量自然選為： 1??2 ???? kNs ?? () 證明 2s 為 2? 的一個無偏估計量，雖很單調(diào)冗長，但不困難。因此， ? ? 12 ??XXs 是Var(?? )的估計。當(dāng) 2? 為已知時，可用正態(tài)分布假設(shè)檢驗。當(dāng)用 2s 近似 2? 時，我們不得不用 t假設(shè)檢驗。為此，我們利 用以下的統(tǒng)計結(jié)果： ? 若 2? 已知，則2?? ????服從 2? 分布，具有 N－ k－ 1 個自由度； ? 錯誤 !未定義書簽。 服從 2? 分布，具有 N－ k－ 1 個自由度； ? 錯誤 !未定義書簽。 ，當(dāng) i=0， 1， 2,?， k時，服從正態(tài)分布，平均值為 0，方差為 iv2? ，其中 vi 為 ? ?1??XX 的第 i 個對角線元素； ? 錯誤 !未定義書簽。 和 ? ?ii ???? 相互獨 立。 由此得出： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 22 of 44 )1(~? ????? kNtvstiiikN ?? () 該式為 t分布，具有 (Nk1)個自由度。這就使我們能按照與前面所述相同的方式確定各個回歸參數(shù)的置信區(qū)間。假如 t值的絕對值相當(dāng)大，就可以在適當(dāng)選定的置信水平上否定原假設(shè)，參數(shù)的 ??1 置信區(qū)間可由下式得出： ii vst 2/? ?? ? () 其中， 2/?t 為與 %? 顯著水平有關(guān)的 t分布臨界值。 一〇、 R2 和 F 檢驗 我們可將 Y 的總變差分成兩部分，一部分代表已說明變差，另一部分代表未說明變差。為了簡化公式推導(dǎo)過程，首先我們假定 Y 變量具有 0 平均值，即 Y =0，則有： ????????????????????)??()??()()()( 21?????????????????????? ??XXXXXXYYYYYYYYTSS iiNii () 由于 0????X 和 0? ??X? ，因此： ES SRSS XXT SS ?? ????? ???? ???? () 式中 TS 為總平方和， RS 為回歸（已說明）平方和， ES 為殘差（未說明）平方和，歸納成回歸方差分析表，見表 。 表 回歸方差分析表 變異來源 source 離差平方和 SS 自由度 df 均方 MS F 統(tǒng)計量 F P 概率值 P 回歸 R RS k kRSSMSR /? M SEM SRF kNk /1, ??? P 誤差 E ES 1??kN )1/( ??? kNE S SM S E 總變異 T TS 1?N 從而 YY XXYYTSSE SSR ?????????? ???? ????112 () 若因變量不具有 0 平均值，我們必須改進一下 2R 的定義。這樣， ????Ni iii YNYy 11 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 23 of 44 由此可以得出： ?? ?????????? Ni iNYNYYyy 1 2 () 和 yyNYNXXT SSR SSRNii???????????? ?? 122?? ?? () 注意到一個數(shù)學(xué)上的事實：隨著模型中增添新 的變量， 2R 必定會增加，從而只要給模型增添越來越多的新因素，就可能使得 2R 人為地增大。在一元回歸時已經(jīng)指出 2R 較大常指模型與數(shù)據(jù)擬合得較好，在多元回歸時很容易錯誤地去尋找一個極大化 2R 的回歸模型。我們應(yīng)該知道一個好的多元回歸模型，應(yīng)是具有合理個數(shù)的有意義自變量的簡單模型。為了解決這個問題，提出了修正 2R ，使得只有當(dāng)新增變量確實對因變量有所作用時修正 2R 才會增加。我們定義 2R 為修正的 2R ，它校正擬合優(yōu)度對自由度的依賴關(guān)系，如下式所示： ? ?? ?? ?? ? )1(11111122RkN NNTS SkNE S SR??? ???????? () 現(xiàn)在就可以考慮對回歸系數(shù)集的統(tǒng)計檢 驗。最通常利用的檢驗是 021 ???? k??? ? , 這個聯(lián)合假設(shè)的檢驗。合適的 F 統(tǒng)計量為： kkNRRkNR kRF kNk 11)1/()1( / 22221, ?????????? () 具有 k和 N－ k－ 1自由度。較大的 F 值，可使我們否定原假設(shè)。 一一、 reg 回歸過程 在 SAS/STAT 中有多個進行回歸的過程，如 reg、 glm 等，常用于進行一般線性回歸模型分析的為 reg過程。 1. proc reg 過程 Reg過程一般由下列語句控制： proc reg data=數(shù)據(jù)集集名 /選項列表 。 model 因變量 =自變 量名列 /選項列表 ； d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 24 of 44 var 變量列表； output out=數(shù)據(jù)集名 /選項列表 。 plot 繪圖表達式 /選項列表 ； print 關(guān)鍵字列； weight 變量； freq 變量； by 變量； restrict 方程 1，方程 2，? ； test 方程 1，方程 2，?； run 。 其中， model語句是必需要有的，其他語句都是可選的。 2. proc reg 語句中的 選項列表 ? outest=SAS 數(shù)據(jù)集 —— 將有關(guān)模型的參數(shù)估計和選擇的統(tǒng)計量輸出到指定的 SAS數(shù)據(jù)集中。 ? outsscp=SAS 數(shù)據(jù)集 —— 要求把平方和及叉積矩陣輸出到 type=sscp 的數(shù)據(jù)集中。 ? all—— 屏幕輸出所有內(nèi)容。 ? usscp—— 對用在該過程中的所有變量輸出平方和及叉積矩陣。 ? noprint—— 不在屏幕輸出任何內(nèi)容。 3. model 語句中的 選項列表 （ 1） 確定變量篩選辦法的選擇項 ? selection =none | forward | backward | stepwise | maxr | minr | rsquare | cp | adjrsq 依次表示全部變量進入法 none、前進法 forward、后退法 backward、逐步篩選法 stepwise（前進法與后退法的結(jié)合）、最大 R2增量法 maxr、最小 R2增量法 minr、 R2選擇法 rsquare、Mallow39。s Cp 選擇法 cp、修正 R2選擇法 adjrsq。 （ 2） 其他選擇項 表 所示的是可在 model語句中選用的其他選項。 表 model 語句中的其他選項 acov xpx spec pcorr1 slentry＝ details aic covb i stb pcorr2 slstay＝ lackfit sbc corrb p cli scorr1 start＝ collin ss1 mse r clm scorr2 best＝ collinoint ss2 sse b jp adjrsq include＝ influence vif seqb dw rmse gmsep stop＝ partial tol all pc sp noint sigma＝ noprint bic 其中一些選擇項的意義如下： d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 25 of 44 ? acov—— 存在異方差時，輸出參數(shù) ? 估計量的漸近協(xié)方差陣的估計。 ? spec—— 進行關(guān)于方差異性的檢驗。 ? slentry | sle =顯著性水平 —— 規(guī)定入選變量進人方程的顯著性水平。 ? slstay | sls=剔除水平 —— 規(guī)定從方程中剔除變量的顯著性水平。 ? include＝ n—— 強迫前 n個自變量進入模型。 ? start＝ s—— 以含有 model語句中前 3個自變量的模型開始，進行比較、選擇過程（僅用于 maxr或 minr方法）。 ? stop＝ s—— 當(dāng)找到最佳的 s個變量模型之后，逐步回歸便停止 (僅用于 maxr或 minr方法 )。 ? p—— 要求計算各觀測點上因變量的預(yù)測值。 ? r—— 作殘差分析，同時給出因變量的預(yù)測值。 ? cli—— 給出各自變量 x0所對應(yīng)的因變量 y0 的 95％置信上、下限。 ? clm—— 給出各自變量所對應(yīng)的因變量預(yù)測值（均數(shù)） Eyi ＝ μ i 的 95％置信上、下限。 ? noint—— 指明回歸方程不帶截距項（常數(shù)項）。 ? stb—— 要求輸出標(biāo)準(zhǔn)回歸系數(shù)。 ? covb—— 要求輸出回歸系數(shù)估計的協(xié)方差（陣）估計。 ? corrb—— 要求輸出回歸系數(shù)估計的相關(guān)矩陣估計。 ? mse—— 要求輸出隨機擾動項方差 2? 的 估計 2?? 。 ? rmse—— 要求輸出 2?? ??? 。 ? collin—— 在對截距未進行校正的情形下，診斷多重共線性，條件數(shù)越大越可能存在共線性。 ? collinoint—— 在對截距進行校正的情形下，診斷多重共線性。 ? tol—— 表示共線性水平的容許值。對于某個變量容許值定義為 1－ 2R ，其中 2R 是由這個變量和模型中所有其他回歸變量建立的回歸模型所得到的。 tol越小說明其可用別的自變量解釋的部分越多，自然就越可能與別的自變量存在共線性關(guān)系， tol與 vif互為倒數(shù)。 ? vif—— 輸出變量間相關(guān)性的方差膨脹系數(shù)， vif 越大，說明由于共線性的存在，使方差變大。 ? influence—— 要求對異常點進行診斷。對每一觀測點，輸出如表 ： 表 診斷異常點的統(tǒng)計量 名稱（統(tǒng)計量） 含義 “異?！钡呐袆e準(zhǔn)則 Leverage(hi) 杠桿率 hi， 第 i 次觀測自變量的取值在模型中作用的量度 （ 0≤ hi≤ 1） hi越大，則第 i 次觀測在模型中的作用就越大 Cook’s D COOKD 統(tǒng)計量，對某一觀測點引起回歸影響大小的度量。用于診斷異常點。 若 D＞ 50％，則可認(rèn)為該觀測點對模型的擬合有強的影響 covratio 協(xié)方差矩陣的行列式之比（去掉某一觀測點后、前對比） 若 | covratio | ≥ 3(自變量個數(shù) +i),則第 i 個觀測點值得引起注意 defits 此值大于 2，表明該點影響較大 debetas 此值大于 2，表明該點影響較大 d42029e444b4fd2a2e5519415cc2aed7 商務(wù)數(shù)據(jù)分析