【正文】 例如， model y=b0*(1－exp(b1*x))； 5. bounds 語句 用于設(shè)定參數(shù)的約束，主要是不等式約束，約束間用逗號分隔。 ? method＝ gauss | marquardt | newton| gradient| dud |—— 設(shè)定參數(shù)估計的迭代方法。由于非線性回歸分析十分不易處理，faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 20 of 25 nlin 程序不保證一定可以算出符合最小誤差平方法之標準的參數(shù)估計值。 多項式模型可以直接應(yīng)用 glm（廣義線性模型）求解。 2. 高斯－牛頓法 首先選取 ? 的一切初始近似值 0? ，令 0????? ，則只要確定 ?的值即可確定 ? 。 非線性回歸分析一般用數(shù)值迭代法來進行，其共同特點是：由選定 ? 的初值 0? 出發(fā)，通過逐步迭代： ???? t0?? () 即選擇適當?shù)牟介L t ( 0 ) 及確定搜索方向向量 ?＝（ ?1， ?2，?， ?m），使得： ? ? ? ?0?? ? () 再由 ? 取代 0? ，重復(fù)上述迭代過程，直至 Q(?)可認為達到最小值為止，即可將所得的 ?作為其最小二乘估計 ?? ，從而得到非線性回歸方程 ? ???。由數(shù)學(xué)分析知識可知，一般函數(shù)都可用多項式來逼近，故多項式回歸分析可用來處理相當廣泛的非線性問題。一般地，若非線性模型的表達式為： ? ? ? ? ? ?tmmttt xgbxgbxgbby ????? ?22110 () 則可作變量變換： ? ? ? ? ? ?tmmttttt xgxxgxxgx ??? *2*21*1 , ? () 將其化為線性回歸模型 的表達式，從而用前面線性模型的方法來解決，其中 式 ()中的 xt 也可為自變量構(gòu)成的向量。事實上，在計算機與統(tǒng)計軟件十分發(fā)達的令天，非線性回歸的基本統(tǒng)計分析已經(jīng)與線性回歸一樣切實可行。以 Hocking 的 建議 為標準， Cp= 的模型不滿足要求，因為 2 5－ 6=4。選項 best=5 表示保留 Cp 值最小的前 5 種。 title 39。例如，含 2 個自變量按 R2 第二個大值選擇回歸模型為， R2 =，擬合的回歸模型為 ： oxygen= － － 若對每種變量個數(shù)，只要保留 R2 最大的兩種情況，可在 model語句中加入選項 best=2，即提交以下的程序： proc reg data= fitness 。 在向前、向后或逐步回歸的變量選擇過程中，都 有一個判斷是否可進入或剔除的顯著水平，在程序中是分別由 model語句的選項 slentry=和 slstay＝設(shè)定的，缺省的情況見表 。所有進入回歸的變量在 的水平下是顯著的，未進 入回歸的 候選 變量在 的水平下是不顯著的。 六 、 實例分析 例 [例 ] 對 fitness 數(shù)據(jù)進行逐步回歸分析。 ? start= s—— 以含有 model語句中頭 s個自變量的模型為開始，進行比較、選擇過程。 ? adjrsq—— 請求修正 R2最大準則 法。 model語句中的選項如下： ? noint—— 不產(chǎn)生一般在模型中自動生成的截距參數(shù)。 2. proc stepwise 過程控制語句 stepwise 過程一般由下列語句控制： proc stepwise data=數(shù)據(jù)集 。 R2 選擇法總能夠?qū)λ紤]變量的每種變量個數(shù)找到具有最大 R2 的模型， 但需要很多的計算時間。全部比較結(jié)束后，便得到了最佳二變量 模型。 stepwise 按照向前選擇方法選入變量后，還考察模型中所包含的所有變量并剔除使得 F 統(tǒng)計量的顯著水平不在 slstay=水平上的變量。一旦一個變量進入了模型，它就不再出去了。而 stepwise 在挑選變量時選擇下面描述的方法，所以，當stepwise 判斷模型時，它打印一份多個回歸報告。因為向后剔除法是從最大可能模型開始的，所以它比向前選元法需要更多的計算量。也有人提出好幾種其他尋找“最優(yōu)”自變量子集的自動搜索方法。我們使用的逐步回歸程序，在每個階段上都打印出偏相關(guān)系數(shù)。殘差平 方和從 ),( 21 li XXXXE S S ?? 增 加到),( 1121 lii XXXXXE S S ?? ??， iX 對回歸平方和的貢獻，也等價于刪除 iX 后殘差平方和所增加的量，同理可表示為： ),(),( ),(),( 211121 112121 lilii liilii XXXXE SSXXXXXE SS XXXXXR SSXXXXR SSW ???? ???? ?? ?? ?? ?? () 同理，我們來構(gòu)造檢驗統(tǒng)計量 ： ? ?? ? ? ?1/, ,2121 ??? lNXXXXE SS XXXXWFliliii ?? ?? () 顯然，這時 Fi 越小，則說明 iX 在回歸方程中起的作用（對回歸方程的貢獻）越小，也就是若有 outi FF? ,則可以考慮將自變量 iX 從回歸方程中剔除掉，我們在編程序時，每次只剔除一個，因此，我們每次選擇最小的 ),m in ( 21 li FFFF ?? 來與 outF 進行比較。若對一些不重要的變量，一開始就不引入，這樣就可以減少一些計算。因為對于某個自變量，它可能開始是顯著的，即將其引入到回歸方程，但是，隨著以 后其他自變量的引入，它也可能又變?yōu)椴伙@著了，但是，并沒有將其及時從回歸方程中剔除掉。記引入變量 F 檢驗的臨界值為Fin（進），剔除變量 F 檢驗的臨界值為 Fout（出），一般取 Fin≥ Fout，它的確定原則一般是對 kfaf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 2 of 25 個自變量的 m 個 (m ≤ k)， 對顯著性水平 df1=1， df2= 1??mN 的 F 分布表的值，記為 F*，則取 Fin=Fout= F*。 逐步回歸是這樣一種方法，使用它時每一步只有一個單獨的回歸因子引進或從當前的回歸模型中剔除。這是在求適度“好”的自變量子集時，同所有可能回歸的方法比較，為節(jié)省計算工作量而產(chǎn)生的。 在可能自變量的整個集合有 40 到 60 個，甚至更多的自變量的情況下，使用“最優(yōu)”子集算法可能并不行得通。本節(jié)介紹的逐步回歸法就是人們在實際問題中常用的，并且行之有效的方法。程序按照上面的步驟開始擬合，當沒有回歸因子能夠引進模型時，該過程停止。 對已經(jīng)引入回歸方程的變量 X1和 X2，如同前面的方法做下去，直至所有 未 被引入方程的變量的 F 值均小于 Fin 時為止。重復(fù)前面的做法，直至在回歸方程中的自變量 F 檢驗值均大于 Fout，即沒有變量可剔除為止。下面我們來考慮，又有一個變量 iX （ l≤ i≤ k）被引入回歸方程中，這時對于新的回歸方程所對應(yīng)的平方 和分解式為 ： TSS = RSS（ lXXX , 21 ? ， iX ） + ESS（ lXXX , 21 ? , iX ） () 當變量 Xi引入后，回歸平方和從 RSS（ lXXX , 21 ? ）增加到 RSS（ lXXX , 21 ? ，iX ） ,而相應(yīng)的殘差平方和卻從 ESS（ lXXX , 21 ? ）降到 ESS（ lXXX , 21 ? , iX )，并有 ： RSS( lXXX , 21 ? , iX )RSS( lXXX , 21 ? ) = ESS( lXXX , 21 ? )ESS( lXXX , 21 ? , iX ) () 記 ),(),( 2121 lili XXXR S SXXXXR S SW ?? ?? ,它反映了由于引入 iX 后，iX 對回歸平方和的貢獻，也等價于引入 iX 后殘差平方和所減少的量，稱其為 iX 對因變量Y 的方差貢獻，故考慮檢驗統(tǒng)計量 ： ? ?? ? ? ?1/, ,21 21 ??? lNXXXXE SS XXXWF il lii ? ? () 其中 N 為樣本量， l 是已引入回歸方程的變量個數(shù)，這時若有 ini FF? ， 則可以考慮將自變量 iX 引入回歸方程，否則不能引入。最低可接受 Fin 決不應(yīng)小于最高可接受 outF ，否則就有可能重復(fù)進入和剔除一個自變量。正如前面已經(jīng)提到的，常常并沒有唯一的最優(yōu)子集。它從包括所有 X 變量的模型開始，挑出 *F 值最小的那個變量。但是， stepwise 并不能保證給你“最好”的模型，甚至具有最大 R2的模型也不一定是“最好”的，并且靠這些均值演變得來的模型沒有一個可以保證它精確地描述了真實世界的過程。這些 F 統(tǒng)計量與 model 語句中給出的 slentry＝水平上的值相比較，如果 F 統(tǒng)計量的顯著水平?jīng)]有一個比 slentry＝水平上（如果缺省 slentry＝ 這個參數(shù)，則顯著水平假設(shè)為 ）的值大，則 forward 停止。 （ 4） stepwise（逐步回歸，向前且向后）。不 像 上面三種技術(shù)，這個方法不是落在單個模型上，而是試著找出最佳一變量模型、最佳二變量模型等等，但它不能保證對每個量度都能找到具有最大 R2的模型。 （ 7） rsquare（ R2 選擇法）。 Cp統(tǒng)計量是由 Mallows 提出的作為選擇模型的faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 7 of 25 判別式的變量。 stepwise 至少需要一個 model語句。 ? maxr—— 請求最大 R2 增量法。如果省略，則逐步技術(shù)用 ，向后淘汰技術(shù)用 。 （ 2） 其他語句 faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 8 of 25 ? weight 語句 —— 用于指出含有觀察值的權(quán)數(shù)的變量。 運行后，得到 如 表 所示的結(jié)果。 CP 的計算公式見 式 ()，當 P=5 時， CP=－ (31－ 25)= 。 在上述程序中， model語句的選項 selection= rsquare，表示請求 R2值最大法，選項 b 是表示要輸出每種回歸的回歸系數(shù)。確定好模型的自變量個數(shù)后，根據(jù) 表 就很容易確定在這個固定自變量數(shù)下，最優(yōu)的自變量組合和相應(yīng)的參數(shù)值估計。 run 。 Mallows（ 1973）建議考慮所有滿足 Cp 較小且接近 P的模型。不同的標準提供不同的選擇結(jié)果，這是常有的情況。 ? 若變量間非線性關(guān)系式已知（多數(shù)未知） ，且難以用變量變換法將其線性化，則進行數(shù)值迭代的非線性回歸分析。 faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財經(jīng)大學(xué)經(jīng)濟信息管理系 IS/SHUFE Page 16 of 25 表 典型的函數(shù)及線性化方法 函數(shù)名稱 函數(shù)表達式 線性化方法 雙曲線函數(shù) xbay ??1 yv 1? xu 1? 冪函數(shù) baxy? yv ln? xu ln? 指數(shù)函數(shù) bxaey? yv ln? xu? xbaey /? yv ln? xu 1? 對數(shù)函數(shù) xbay ln?? yv? xu ln? S 型函數(shù) xbeay ??? 1 yv 1? xeu ?? 當曲線的函數(shù)類型未確定時，我們常采用上述非線性模型作為其擬合曲線，即將自變量的各種初等函數(shù)的組合作為新 自變量，用逐步回歸法（或正交篩選法等）對新變量進行篩選，以確定一個項數(shù)不多的線性函數(shù)表達式。 現(xiàn)將觀察數(shù)據(jù)： ? ?ptttt xxxy , 21 ? ， t=1,2,?,N 代人式 ()得非線性回歸模型： ? ? tptttt xxxFy ?? ?? 。我們將滿足 d0 的 ?稱為 下降方向 ， Bard 于 1974年給出了 ?為下降方向的充要條