【導(dǎo)讀】變量的作用可以忽略。這就產(chǎn)生了怎樣從大量可能有關(guān)的自變量中挑選出對(duì)因變量有顯著影。響的部分自變量的問(wèn)題。集算法可能并不行得通。逐步回歸方法可能是應(yīng)用最廣泛的自動(dòng)搜索方法。這是在求適度“好”的自變。量子集時(shí)，同所有可能回歸的方法比較，為節(jié)省計(jì)算工作量而產(chǎn)生的。從本質(zhì)上說(shuō)，這種方。法在每一步增加或剔除一個(gè)X變量時(shí)，產(chǎn)生一系列回歸模型。可以等價(jià)地用誤差平方和縮減量、偏相關(guān)系數(shù)或F統(tǒng)計(jì)量來(lái)表示。是顯著的，同時(shí)每引入一個(gè)新變量后，對(duì)已選入的變量要進(jìn)行逐個(gè)檢驗(yàn)，將不顯著變量剔除，的增加，至少是殘差均方的Fin倍，則將它引進(jìn)。的F比，F(xiàn)≥Fin時(shí)，則引進(jìn)Xj，其次，若引進(jìn)的變量需要選擇，則選擇F比最大的。回歸方程中刪除，則稱為“剔除”變量Xj。程中的自變量F檢驗(yàn)值均大于Fout，即沒(méi)有變量可剔除為止。歸方程中的自變量均為顯著，不在回歸方程中的自變量均不顯著。顯然，回歸平方和RSS及殘差平方和ESS均與引入的變量相關(guān)。

　　

【正文】 將自變量的各種初等函數(shù)的組合作為新 自變量，用逐步回歸法（或正交篩選法等）對(duì)新變量進(jìn)行篩選，以確定一個(gè)項(xiàng)數(shù)不多的線性函數(shù)表達(dá)式。該方法對(duì)表達(dá)式形式?jīng)]限制且精度要求不高的問(wèn)題頗為有效。 七、 多項(xiàng)式回歸分析 在式 ()中，若取 ? ? ii xxg ? ，則為多項(xiàng)式回歸模型。由數(shù)學(xué)分析知識(shí)可知，一般函數(shù)都可用多項(xiàng)式來(lái)逼近，故多項(xiàng)式回歸分析可用來(lái)處理相當(dāng)廣泛的非線性問(wèn)題。 對(duì)觀測(cè)數(shù)據(jù)（ xt， yt）（ t= 1，?， N），多項(xiàng)式回歸模型為： tmtmttt xbxbxbby ??????? ?2210 ， t=1,2,?,N 令 ?????????????NyyyY ?21，???????????????mNNNmmxxxxxxxxxX???????222221211111，?????????????mbbbB ?10，????????????????? ?1 則模型可表示為： ??? XBY 當(dāng) X 列滿秩時(shí)，由前面的討論知，其最小二乘估計(jì)為： ? ? YXXXB ??? ?1? 由此即可求得其多項(xiàng)式回歸方程。但由于 ? ?1??XX 的計(jì)算既復(fù)雜又不穩(wěn)定，故我們一faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 17 of 25 般采用正交多項(xiàng)式法來(lái)進(jìn)行多項(xiàng)式回歸。 八、 不可 變換成線性的非線性回歸分析 假設(shè)因變量 y 與自變量（ x1， x2,?， xp）之間滿足非線性模型： ? ? ?? ?? 。, 21 pxxxFy ? () 其中， ? ??? m???? , 21 ? 為未知參數(shù)， F 為已知表達(dá)式， ? 為誤差項(xiàng)。 現(xiàn)將觀察數(shù)據(jù)： ? ?ptttt xxxy , 21 ? ， t=1,2,?,N 代人式 ()得非線性回歸模型： ? ? tptttt xxxFy ?? ?? 。, 21 ?， t=1,2,?,N 常記為： EFY ?? )(? 其中， ? ??? NyyyY , 21 ? 為 y 的觀察向量， ? ??? m??? ,1 ? 為非線性回歸系數(shù)， E =? ??N??? , 21 ? 為觀察誤差向量， F為未知參數(shù) ? 的函數(shù)向量。非線性回歸分析就是利用最小二乘準(zhǔn)則來(lái)估計(jì)回歸系數(shù) ? ，即求 ?? 使得殘差平方和： ? ? ? ?? ? ? ?? ???? FYFYEEQ ?????? 2121 在 ?? ?? 處達(dá)到最小。 非線性回歸分析一般用數(shù)值迭代法來(lái)進(jìn)行，其共同特點(diǎn)是：由選定 ? 的初值 0? 出發(fā)，通過(guò)逐步迭代： ???? t0?? () 即選擇適當(dāng)?shù)牟介L(zhǎng) t ( 0 ) 及確定搜索方向向量 ?＝（ ?1， ?2，?， ?m），使得： ? ? ? ?0?? ? () 再由 ? 取代 0? ，重復(fù)上述迭代過(guò)程，直至 Q(?)可認(rèn)為達(dá)到最小值為止，即可將所得的 ?作為其最小二乘估計(jì) ?? ，從而得到非線性回歸方程 ? ???。,? 21 pxxxFy ?? faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 18 of 25 1. 下降方向和步長(zhǎng)的選擇 首先考察 ? ? ? ?? ? ? ?? ???? FYFYEEQ ??????2121的梯度向量（即導(dǎo)數(shù)）： ? ?? ? ? ?? ????? FYGFYFQ ?????????????? ?????? 其中， ????????? ????????mFFFG ??? ,1?為 F 的梯度矩陣。 為使 0? 迭代收斂到 ?? ，其迭代公式應(yīng)滿足下降性質(zhì) ()?，F(xiàn)考慮一元函數(shù)? ? ? ????? tQt 0?? ，它從 0? 出發(fā)以 ?為方向的射線上取值。由復(fù)合求導(dǎo)公式得： ? ? ? ?? ? ????????????????? ?????? GFYQtd t ??? 0 可以證明，當(dāng) d0 時(shí)，在以 ?為方向 向量的射線上可以找到 ???? t0?? ，使得? ? ? ?0?? ? 。我們將滿足 d0 的 ?稱為 下降方向 ， Bard 于 1974年給出了 ?為下降方向的充要條件為： ? ?? ??FYGP ???? 其中， P 為對(duì)稱正定陣，由此我們可得下降算法的迭代公式為： ? ?? ???? FYGtP ???? 0 () 其中， P 為任意正定陣， G 為 F的梯度， t 為滿足 ? ? ? ?0?? ? 的正實(shí)數(shù)，即步長(zhǎng)。 如何計(jì)算 ?以便修改 參數(shù)向量 ? 有五種常用的非線性回歸迭代方法：高斯 － 牛頓法（ GaussNewton）、最速下降法（梯度法， Gradient）、牛頓法（ Newton）、麥夸特法（ Marquardt）、正割法（ DUD）。以下我們介紹高斯－牛頓法。 2. 高斯－牛頓法 首先選取 ? 的一切初始近似值 0? ，令 0????? ，則只要確定 ?的值即可確定 ? 。為此，考慮 )(?F 在 0? 處的 Taylor 展開式，并略去二次以上的項(xiàng)得： ? ? ? ? ? ? ? ? ???????????????? ???????? GFFFFF 0000 ????? ?? faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 19 of 25 其中，0??? ???? FG為 F 的梯度。此時(shí)其殘差平方和： ? ?? ? ? ?? ??????????? GFYGFYQ 0021 ?? 由 0????Q，得其 ?的正則方程為： ? ? ? ?? ?0?FYGGG ????? () 故 ? ? ? ?? ?01 ?FYGGG ????? ? () 由此即可用前面線性回歸法求 ?，只需將 G 、 )( 0?FY? 視為前面（ ）式中的 X、Y 即可。此時(shí)，對(duì)給定精度 1? 、 2? ，當(dāng) ? ?1max ???ii或 ? ? 20 ?? ???Q 時(shí)，即得 ? 最小二乘法估計(jì) ??? 0? ?? ；否則用所得的 ?? 代替 0? ，重復(fù)上述步驟，直至 i? 或 Q(?)滿足精度要求為止。該法稱為高斯－牛頓法，其一般迭代公式為： ???? iii t?? 1 () 其中， ?為 ? ? ? ? ? ? ? ?? ?iiii FYGGG ???? ????? 的解， ti為 ? ? ? ????? tQt i?? 的最小值點(diǎn)。 高斯－牛頓法在初值 0? 選取適當(dāng)，且 GG? 可逆時(shí)非常有效，但在其他情形，其求解較為困難，對(duì)此， Marguardt 對(duì) ()中 ?的正則系數(shù)陣作適當(dāng)修正，得到了改進(jìn)算法。 九、 nlin 非線性回歸過(guò)程 在很多場(chǎng)合，可以對(duì)非線性模型進(jìn)行線性化處理，尤其是關(guān)于變量非線性的模型，以運(yùn)用 OLS 進(jìn)行推斷。對(duì)線性化后的線性模型，可以應(yīng)用 SAS 的 reg過(guò)程進(jìn)行計(jì)算。 多項(xiàng)式模型可以直接應(yīng)用 glm（廣義線性模型）求解。對(duì)于不能線性化的非線性模型。其估計(jì)不能直接運(yùn)用經(jīng)典的最小二乘法，而需要 運(yùn)用其他估計(jì)方法，如直接搜索法、直接最優(yōu)法與 Taylor 級(jí)數(shù)展開法進(jìn)行線性逼近。此時(shí)，可以利用 SAS/STAT 的 nlin 過(guò)程實(shí)現(xiàn)相應(yīng)的計(jì)算。 1. proc nlin 過(guò)程 proc nlin 采用最小誤差平方法（ Least Squares Method）及循環(huán)推測(cè)法（ Iterative Estimation Method）來(lái)建立一個(gè)非線性模型。一般而言，用戶必須自 定 參數(shù)的名字、參數(shù)的啟動(dòng)值（ starting va1ue）、非線性的模型與循環(huán)推測(cè)法所用的準(zhǔn)則。若用戶不指明，則 nlin 程序自動(dòng)以高斯－牛頓迭代法（ GaussNewton iterative procedure）為估計(jì)參數(shù)的方法。另外此程序也備有掃描（ Grid search）的功能來(lái)幫助讀者選擇合適的參數(shù)啟動(dòng)值。由于非線性回歸分析十分不易處理，faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 20 of 25 nlin 程序不保證一定可以算出符合最小誤差平方法之標(biāo)準(zhǔn)的參數(shù)估計(jì)值。 nlin 過(guò)程的功能 ， 計(jì)算非線性模型參數(shù)的最小二乘估計(jì) LS 及加權(quán)最小二乘估計(jì)。與 reg過(guò)程不同的是：模型的參數(shù)要命名、賦初值、求偏導(dǎo)數(shù)； model 語(yǔ)句與參數(shù)名、解釋變量的表達(dá)式有關(guān)；可以使用賦值語(yǔ)句及條件語(yǔ)句。 nlin 過(guò)程一般由下列語(yǔ)句控制： proc nlin data=數(shù)據(jù)集 /選項(xiàng)列表 。 parameters 參數(shù)名 =數(shù)值 ； model 因變量＝表達(dá)式 /選項(xiàng)列表 ； bounds 表達(dá)式 ； ｛．參數(shù)名｝ = 表達(dá)式； id 變量列表； output out=數(shù)據(jù)集 /選項(xiàng)列表 ； by 變量列表； run 。 其中， parameters 語(yǔ)句和 model語(yǔ)句是必需的，而其余語(yǔ)句供用戶根據(jù)需要選擇。 2. proc nlin 語(yǔ)句中的主要選擇項(xiàng) ? outest＝數(shù)據(jù)集名 —— 指定存放參數(shù)估計(jì)的每步迭代結(jié)果的數(shù)據(jù)集名。 ? best＝ n—— 要求過(guò)程只輸出網(wǎng)格點(diǎn)初始值可能組合中最好的 n組殘差平方和。 ? method＝ gauss | marquardt | newton| gradient| dud |—— 設(shè)定參數(shù)估計(jì)的迭代方法。缺省時(shí)為 gauss，除非沒(méi)有 。 ? eformat—— 要求所有數(shù)值以科學(xué)記數(shù)法輸出。 ? nopoint—— 抑制打印輸出。 ? noinpoint—— 抑制迭代結(jié)果的輸出。 3. parameters（ parms）語(yǔ)句 用于對(duì)所有參數(shù)賦初值，項(xiàng)目 之間以空格分隔。例如， parms b0=0 b1=1 to 10 b2=1 to 10 by 2 b3=1,10,100； 4. model 語(yǔ)句 表達(dá)式可以是獲得數(shù)值結(jié)果的任意有效 SAS 表達(dá)式。這個(gè)表達(dá)式包括參數(shù)名字、輸入數(shù)據(jù)集中的變量名以及在 nlin 過(guò)程中用程序設(shè)計(jì)語(yǔ)句創(chuàng)建的新變量。例如， model y=b0*(1－exp(b1*x))； 5. bounds 語(yǔ)句 用于設(shè)定參數(shù)的約束，主要是不等式約束，約束間用逗號(hào)分隔。例如， bounds a=20，b30， 1=c=10； 6. 除非 在 proc nlin 語(yǔ)句中指明所用的迭代法是 dud，使用選擇項(xiàng) method＝ dud，否則 句是必需的。 ，相應(yīng)的格式為： faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 21 of 25 一階偏導(dǎo)數(shù) der．參數(shù)名＝表達(dá)式 ； 二階偏導(dǎo)數(shù) der．參數(shù)名．參數(shù)名＝表達(dá)式； 例如，對(duì)于 model y=b0*(1－ exp(b1*x))； =1－exp(b1*x)； =b0*x*exp(b1*x)； 對(duì)于多數(shù)算法，都必須對(duì)每個(gè)被估計(jì)的參數(shù)給 出一階偏導(dǎo)數(shù)表達(dá)式。對(duì)于 newton法，必須給出一、二階偏導(dǎo)數(shù)表達(dá)式。例如，二階偏導(dǎo)數(shù)表達(dá)式