【正文】 ，相應(yīng)的格式為： faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 21 of 25 一階偏導(dǎo)數(shù) der．參數(shù)名＝表達(dá)式 ； 二階偏導(dǎo)數(shù) der．參數(shù)名．參數(shù)名＝表達(dá)式； 例如，對于 model y=b0*(1－ exp(b1*x))； =1－exp(b1*x)； =b0*x*exp(b1*x)； 對于多數(shù)算法，都必須對每個被估計的參數(shù)給 出一階偏導(dǎo)數(shù)表達(dá)式。例如， parms b0=0 b1=1 to 10 b2=1 to 10 by 2 b3=1,10,100； 4. model 語句 表達(dá)式可以是獲得數(shù)值結(jié)果的任意有效 SAS 表達(dá)式。 ? eformat—— 要求所有數(shù)值以科學(xué)記數(shù)法輸出。 2. proc nlin 語句中的主要選擇項(xiàng) ? outest＝數(shù)據(jù)集名 —— 指定存放參數(shù)估計的每步迭代結(jié)果的數(shù)據(jù)集名。與 reg過程不同的是：模型的參數(shù)要命名、賦初值、求偏導(dǎo)數(shù)； model 語句與參數(shù)名、解釋變量的表達(dá)式有關(guān)；可以使用賦值語句及條件語句。若用戶不指明，則 nlin 程序自動以高斯－牛頓迭代法（ GaussNewton iterative procedure）為估計參數(shù)的方法。其估計不能直接運(yùn)用經(jīng)典的最小二乘法，而需要 運(yùn)用其他估計方法，如直接搜索法、直接最優(yōu)法與 Taylor 級數(shù)展開法進(jìn)行線性逼近。 九、 nlin 非線性回歸過程 在很多場合，可以對非線性模型進(jìn)行線性化處理，尤其是關(guān)于變量非線性的模型，以運(yùn)用 OLS 進(jìn)行推斷。此時其殘差平方和： ? ?? ? ? ?? ??????????? GFYGFYQ 0021 ?? 由 0????Q，得其 ?的正則方程為： ? ? ? ?? ?0?FYGGG ????? () 故 ? ? ? ?? ?01 ?FYGGG ????? ? () 由此即可用前面線性回歸法求 ?，只需將 G 、 )( 0?FY? 視為前面（ ）式中的 X、Y 即可。 如何計算 ?以便修改 參數(shù)向量 ? 有五種常用的非線性回歸迭代方法：高斯 － 牛頓法（ GaussNewton）、最速下降法（梯度法， Gradient）、牛頓法（ Newton）、麥夸特法（ Marquardt）、正割法（ DUD）。 為使 0? 迭代收斂到 ?? ，其迭代公式應(yīng)滿足下降性質(zhì) ()。, 21 ?， t=1,2,?,N 常記為： EFY ?? )(? 其中， ? ??? NyyyY , 21 ? 為 y 的觀察向量， ? ??? m??? ,1 ? 為非線性回歸系數(shù)， E =? ??N??? , 21 ? 為觀察誤差向量， F為未知參數(shù) ? 的函數(shù)向量。但由于 ? ?1??XX 的計算既復(fù)雜又不穩(wěn)定，故我們一faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 17 of 25 般采用正交多項(xiàng)式法來進(jìn)行多項(xiàng)式回歸。該方法對表達(dá)式形式?jīng)]限制且精度要求不高的問題頗為有效。如： ? ?? ?1e x p 2132211 ???? ttttt xxbxbxbay () 時上式兩邊取對數(shù)得： ? ?1lnln 2132211 ????? ttttt xxbxbxbay () 現(xiàn)作變換： 1,ln,ln 2130* ???? ttttt xxxabyy () 則可得線性表達(dá)式： tttt xbxbxbby 3322110* ???? () 利用前面方法確定了 3,2,1,0,? ?ibi ，并由 )?exp(? 0ba? 得到 a? 的值。 六、 可變換成線性的非線性回歸 在實(shí)際問題中一些非線性回歸模型可通過變量變換的方法化為線性回歸問題。因此，在國內(nèi)回歸分析方法的應(yīng)用中，已經(jīng)到了“更上一層樓”，線性回歸與非線性回歸同時并重的時候。 非線性回歸分析 現(xiàn)實(shí)世界中嚴(yán)格的線性模型并不多見，它們或多或少都帶有某種程度的近似；在不少情況下，非線性模型可能更加符合實(shí)際。而 Cp= 的模型，無論以 Mallows 的 建議還是 以 Hocking 的 建議都不滿足要求 。這 一程序的輸出結(jié)果 如 表 和圖 所示。 plot 語句的選項(xiàng) chocking=red，表示畫 Cp=2P－ Pfull 紅色 參考虛線，其中 P 是子模型中含截距的參數(shù)個數(shù)， Pfull 是全模型中不含截距的參數(shù)個數(shù)。 Model 語句中的 selection=cp 選項(xiàng) 請求計算 Mallows 的 Cp統(tǒng)計量。 proc reg data= fitness 。以下的程序是對所有可能的回歸按 Cp由小到大進(jìn)行排序并保留其前 5 種，并繪制 Cp 圖。 run 。 程序運(yùn)行后，得到 如 表 所示的結(jié)果。 proc reg data= fitness 。因此，用逐步回歸方法及 CP 值確認(rèn)的擬合回歸模型為： oxygen= － + － － 條件指數(shù)（ condition number）為最大特征值和每個特征值之比的平方根。在逐步回歸的每步細(xì)節(jié)中，還列出了條件指數(shù)的最小值最大值，以及每一個回歸變量的類型 2平方和。 表 逐步 回歸分析結(jié)果 faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 9 of 25 在輸出結(jié)果報告中，提供了進(jìn)入回歸變量逐次改變后回歸方差分析和擬合的信息。程序如下： proc reg data= fitness 。分析中僅用具有 weight變量正值的觀察。此僅應(yīng)用于 maxr或 minr模型。 ? include=n—— 強(qiáng)迫頭 n 個因變量總是在模型中。 ? slentry= 值 —— 指出向前選擇和逐步技術(shù)中選擇變量進(jìn)入模型的顯著水平。 ? minr—— 請求最小 R2 增量法。 ? forward 或 f—— 請求向前選擇法。 by 語句和 weight 語句可以放在任何地方。 weight 變量 。 Cp是一個誤差平方總和的量度： )2( PNMSEE SSC pP ??? () 其中， P 是模型中包括截距項(xiàng)的參數(shù)個數(shù)， MSE 是滿模型時均方誤差， ESSp是具有 P個自變量（包括截距項(xiàng)）回歸模型的誤差平方和。 該方法類似于 rsquare 法，只是對于選擇模型使用的準(zhǔn)則為修正 R2統(tǒng)計量。 按給定樣本的 R2大小準(zhǔn)則選擇最優(yōu)的自變量子集，但不能保證對總體或其他樣本而言是最優(yōu)的。 （ 6） minr（具有對偶搜索的向前選擇）。 maxr 方法先找出一個產(chǎn)生最大 R2值的變量，然后再加入另一個次最大 R2值的變量，從而形成二變量的模型。當(dāng)模型外的變量沒有一個使 F 統(tǒng)計量在 slentry= 水平上 顯著 且模型中的每個變量在slstay= 水平上顯著，或加到模型中的變量是剛剛剔除的變量時候，逐步處理便結(jié)束了 。 逐步方法是向前選擇的修正。 向后淘汰技術(shù)以計算含有全部自變量的模型的統(tǒng)計量為開始。否則， forward 在模型中加 入具有最大 F 統(tǒng)計量的變量，然后 forward 再計算這些變量的 F 統(tǒng)計量直到剩下的變量都在模型的外面，再重復(fù)估計過程。 沒有對回歸變量進(jìn)行篩選，建立 Y 與全部自變量的全回歸模型。 stepwise 與 rsquare 以及其他過程是不同的。 五、 stepwise 逐步回歸過程 stepwise 過程對逐步回歸提供了九種方法。例如，假定 iX 為 *F 值最小的那個變量，有： ? ?? ? ? ?1/, ,2121* ??? kNXXXXE SS XXXXWFkikiii ?? ?? () 如果最小的 *iF 值 小于預(yù)定限，就剔除這個變量，然后擬合剩余的 1?k 個自變量的模型，挑選下一個待剔除元。但這兩種方法都還未被接受 為逐步搜索方法。因此，一些統(tǒng)計學(xué)家建議，求得逐步回歸的解后，擬合所有可能與逐步回歸解的自變量個數(shù)相同的回歸模型，以研究是否存在更好的 X變量子集。進(jìn)入和剔除一個變量的 F 限不必根據(jù)近似顯著性水平選定，但可以根據(jù)誤差縮減量來描述性地確定。 自變量進(jìn)入模型的順序并不反映它們的重要程度。 四、 逐步回歸在使用過程中要注意的問題 逐步回歸在計算過程中，進(jìn)入和剔除變量規(guī)則的差別在例子中有可能得到說明。 實(shí)際上大于 Fin的變量開始時可能同時有幾個，那么是否將它們都全部引入呢？實(shí)際編程faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 4 of 25 序時并不是一起全部引入，而是選其最大的一個引入回歸方程。因此一種很自然的想法是將前 兩 種方法綜合起來，也就是對每一個自變量，隨著其對回歸方程貢獻(xiàn)的變化，它隨時可能被引入回歸方程或被剔除出去，最終的回歸模型是在回歸方程中的自變量均為顯著，不在回歸方程中的自變量均不顯著。這時的回歸方程就是最終的回歸方程。 2. 變量減少法 與變量增加法相反，變量減少法是首先建立全部自變量 X1,X2,...,Xk 對因變量 Y 的回歸方程，然后對 k 個回歸系數(shù)進(jìn)行 F 檢驗(yàn)，記求得的 F 值為 { 11211 , kFFF ? }，選其最小的記為1iF =min{ 11211 , kFFF ? },若有 1iF ≤ Fout，則可以考慮將自變量 Xi從回歸方程中剔除掉，不妨設(shè) Xi就取為 X1。這時的回歸方程就是最終選定的回歸方程。當(dāng)然，為了回歸方程中還能夠多進(jìn)入一些自變量，甚至也可以取為 或 。 二、 變量選擇的方法 若在回歸方程中增加自變量 Xi，稱為“引入”變量 Xi，將已在回歸方程中的自變量 Xj從回歸方程中刪除，則稱為“剔除”變量 Xj。 若剔除的變量需要選擇，則就選擇使 RSS減少最少的那一個（或等價的選擇 F比最小的）。 逐步回歸的基本思想是，將變量一個一個引入，引入變量的條件是偏回歸平方和經(jīng)檢驗(yàn)是顯著的，同時每引入一個新變 量后，對已選入的變量要進(jìn)行逐個檢驗(yàn)，將不顯著變量剔除，這樣保證最后所得的變量子集中的所有變量都是顯著的。增加或剔除一個 X 變量的準(zhǔn)則，可以等價地用誤差平方和縮減量、偏相關(guān)系數(shù)或 F 統(tǒng)計量來表示。那么，逐步產(chǎn)生回歸模型要含有的 X 變量子集的自動搜索方法，可能是有效的。faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 1 of 25 第三十三課 逐步回歸分析 一、 逐步回歸分析 在一個多元線性回歸模型中，并不是所有的自變量都與 因變量 有顯著關(guān)系，有時有些自變量的作用可以忽略。逐步回歸方法可能是應(yīng)用最廣泛的自動搜索方法。 無疑選擇自變量要靠有關(guān)專業(yè)知識，但是作為起參謀作用的數(shù)學(xué)工具，往往是不容輕視的。這樣經(jīng)若干步以后便得“最優(yōu)”變量子集。用這種方式如果沒有變量被剔除，則開始引進(jìn)一個回歸因子，比如 Xj，如果引進(jìn)它后使 RSS的增加，至少是殘差均方的 Fin 倍，則將它引進(jìn)。無論引入變量或剔除變量，都要利用 F 檢驗(yàn)，將顯著的變量引入回歸方程，而將不顯著的從回歸方程中剔除。 1. 變量增加法 首先對全部 k 個自變量，分別對因變量 Y 建立一元回歸方程，并分別計算這 k 個一元回歸方程的 k 個回歸系數(shù) F 檢驗(yàn)值，記為 { 11211 , kFFF ? }，選其最大的記為 1iF = max{ 11211 , kFFF ? },若有 1iF ≥ Fin，則首先將 X1引入回歸方程，不失一般性，設(shè) Xi就是 X1。 顯然，這種增加法有一定的缺點(diǎn)，主要是，它不能反映后來變化的情況。 再對 X2,X3,...,Xk 對因變量 Y建立的回歸方程重復(fù)上述過程，取最小的 F 值為 2jF ，若有 2jF≤ Fout，則將 Xj也從回歸方程中剔除掉。 這種減少法也有一個明顯的缺點(diǎn)，就是一開始把全部變量