【正文】 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 9 of 20 表 負指數增長曲線 :GaussNewton 方法的輸出結果 圖 XY 散點圖和非線性回歸曲線 c7147b9288abe2b7cd5d14ba9c008f20 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 10 of 20 輸出結果分析：首先列表輸出了 10 個最好的迭代初始值組合，按回歸模型的殘差平方和從小到大排列。高斯 － 牛頓迭代算法要求給出模型)1( 10 xbeby ??? 對參數 0b 和 1b 的一階偏導數表達式，我們知道 ： xbxbxebbyeby11010dd1dd????? 。 run 。 title1 39。 symbol1 i=none v=plus cv=red h= w=2。 run。 model y=b0*(1exp(b1*x))。 cards。 五、 實例分析 例 負指數增長曲線的非線性回歸。對于 newton法，必須給出一、二階偏導數表達式。這個表達式 包括參數名字、輸入數據集中的變量名以及在 nlin 過程中用程序設計語句創(chuàng)建的新變量。 ? nopoint—— 抑制打印輸出。 ? best＝ n—— 要求過程只輸出網格點初始值可能組合中最好的 n組殘差平方和。 nlin 過程一般由下列語句控制： proc nlin data=數據集 /選項列表 。另外此程序也備有掃描（ Grid search）的功能來幫助讀者選擇合適的參數啟動值。此時，可以利用 SAS/STAT 的 nlin 過程實現相應的計算。對線性化后的線性模型，可以應用 SAS 的 reg過程進行計算。此時，對給定精度 1? 、 2? ，當 ? ?1max ???ii或 ? ? 20 ?? ???Q 時，即得 ? 最小二乘法估計 ??? 0? ?? ；否則用所得的 ?? 代替 0? ，重復上述步驟，直至 i? 或 Q(?)滿足精度要求為止。以下我們介紹高斯 － 牛頓法?，F考慮一元函數? ? ? ????? tQt 0?? ，它從 0? 出發(fā)以 ?為方向的射線上取值。非線性回歸分析就是利用最小二乘準則來估計回歸系數 ? ，即求 ?? 使得殘差平方和 ： ? ? ? ?? ? ? ?? ???? FYFYEEQ ?????? 2121 在 ?? ?? 處達到最小。 三、 不可變換成線性的非線性回歸分析 假設因變量 y 與自變量（ x1， x2,?， xp）之間滿足非線性模型 ： ? ? ?? ?? 。 二、 多項式回歸分析 在式 ()中，若取 ? ? ii xxg ? ，則為多項式回歸模型。 變量變換的線性化方法可推廣到下列形式的非線性模型 ： ? ? ? ?tmmmtt xgbcxgbcbcyh )()()()( 11100 ???? ? () 其中 x=（ x1,x2,… ,xp），而 h（ yt）、 ci（ bi）、 gi（ xt）則分別化為 新的因變量、線性回歸參數和自變量，即可歸結為線性回歸模型來解。例如，對非線性回歸模型 ? ? ti titit ixbixay ?? ???? ??2 10 s inc os () 即可作變換 ： tttttttt xxxxxxxx 2s in,2c o s,s in,c o s 4321 ???? 將其化為多元線性回歸模型。 對 變量間非 線 性相關問題的曲線擬合， 處理的方法主要有： ? 首先決定非線性模型的函數類型，對于其中可線性化問題則通過變量變換將其線性化，從而歸結為前面的多元線性回歸問題來解決。由于人們在傳統上常把“非線性”視為畏途，非線性回歸的應用在國內還不夠普及。事實上，在計算機與統計軟件十分發(fā)達的令天，非線性回歸的基本統計分析已經與線性回歸一樣切實可行。 ? 若實際問題的曲線類型不易確定時，由于任意曲線皆可由多項式來逼近，故?？捎枚囗検交貧w來擬合曲線。一般地，若非線性模型的表達式為 ： ? ? ? ? ? ?tmmttt xgbxgbxgbby ????? ?22110 () 則可作變量變換 ： ? ? ? ? ? ?tmmttttt xgxxgxxgx ??? *2*21*1 , ? () 將其化為線性回歸模型的表達式，從而用前面線性模型的方法來解決，其中 式 ()中的 xt 也可為自變量構成的向量。 表 給出了一些常見的可線性化的非線性模型。由數學分析知識可知，一般函數都可用多項式來逼近，故多項式回歸分析可用來處理相當廣泛的非線性問題。, 21 pxxxFy ? () 其中 ， ? ??? m???? , 21 ? 為 未知參數， F 為已知表達式， ? 為誤差項。 非線性回歸分析一般 用數值迭代法來進行，其共同特點是：由選定 ? 的初 值 0? 出發(fā)，c7147b9288abe2b7cd5d14ba9c008f20 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 4 of 20 通過逐步迭代 ： ???? t0?? () 即選擇適當的步長 t ( 0 ) 及確定搜索方向向量 ?＝（ ?1， ?2，?， ?m），使得 ： ? ? ? ?0?? ? () 再 由 ? 取代 0? ，重復上述迭代過程，直至 Q(?)可認為達到最小值為止，即可將所得的 ?作為其 最小二乘估計 ?? ，從而得到非線性回歸方程 ? ???。由復合求導公式得 ： ? ? ? ?? ? ????????????????? ?????? GFYQtd t ??? 0 可以證明，當 d0 時，在以 ?為方向向量的射線上可以找到 ???? t0?? ，使得? ? ? ?0?? ? 。 2. 高斯－牛頓 法 首先選取 ? 的一切初始近似值 0? ，令 0????? ，則只要確定 ?的值即可確定 ? 。該法稱為 高斯－牛頓 法，其一般迭代公式為 ： ???? iii t?? 1 () 其中， ?為 ? ? ? ? ? ? ? ?? ?iiii FYGGG ???? ????? 的解， ti為 ? ? ? ????? tQt i?? 的最小值點。 c7147b9288abe2b7cd5d14ba9c008f20 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 6 of 20 多項式模型可以直接應用 glm（廣義線性模型）求解。 1. proc nlin 過程 proc nlin 采用最小誤差平方法（ Least Squares Method）及循環(huán)推測法（ Iterative Estimation Method）來建立一個非線性模型。由于非線性回歸分析十分不易處理，nlin 程序不保證 一定可以算出符合最小誤差平方法之標準的參數估計值。 parameters 參數名 =數值 ； model 因變量＝表達式 /選項列表 ； bounds 表達式 ； ｛．參數名｝ = 表達式； id 變量列表； output out=數據集 /選項列表 ； by 變量列表； run 。 ? method＝ gauss | marquardt | newton| gradient| dud |—— 設定參數估計的迭代方法。 ? noinpoint—— 抑制迭代結果的輸出。例如， model y=b0*(1－exp(b1*x))； 5. bounds 語句 用于設定參數的約束，主要是不等式約束，約束間用逗號分隔。例如，二階偏導數表達式為， .=0；=x*exp(b1*x)； =*x； 7. output 語句 用于把一些計算結果輸出到指定的數據集中。根據對已有數據的 XY 散點圖的觀察和分析，發(fā)現 Y 隨 X 增長趨勢是減緩的，并且 Y 趨向一個極限值，我們認為用負指數增長曲線)1( 10 xbeby ??? 來擬合模型較為合適。 020 030 040 050 060 070 c7147b9288abe2b7cd5d14ba9c008f20 商務數據分析 電子商務系列 上海財經大學經濟信息管理系 IS/SHUFE Page 8 of 20 080 090 100 110 120 130 140 150 160 170 180 190 200 210 。 =1exp(b1*x)。 goptions reset=global gunit=pct cback=white border htitle=6 htext=3 ftext=swissb colors=(back)。 symbol2 i=join v=none l=1 h= w=2。y=b0*(1exp(b1*x)39。 程序說明：由于在 nlin 過程中使用選項 method=gauss，即指定用高斯 － 牛頓迭代算法來尋找 model語句中非線性表達式 )1( 10 xbeby ??? 中參數 0b 和 1b 的最小二乘估計。 output語句輸出一個新數據集 expout，包括原數據集和非線性回歸模型的預測值 ygs。因此，最好的迭代初始值為 B0=， B1=，此時回歸模型的ESS=，與其他初始值組合的 ESS 相比是最小的。最后 ， 還給出了參數的漸近相關陣（ Asymptotic Correlation Matrix） 。設有 n 組樣品，每組樣品有 p 個變量，記 n 組樣品數據見表 。 px1 錯誤 ! 未定義書簽。 假定 ?x 1(x ， 2x ， ? ， )?px是一組隨機變量，并且 ??Ex ，協方差陣 VxD ?)( 錯誤 !未定義書簽。于是限制 1??aa ，求 )( xaVar ? 的最大值。而且可以看到，主成分分析主要就是由觀察數據陣 X 得到協方差 V 的估計 V? ，從 V? 出發(fā)計算它的特征值和特征向量。而橢圓的短軸與長軸是垂直的，是第二個主成分的方向，因為短軸是與長軸不相關方向中具有最大的方差，同樣與短軸平行的單位方向 ),( 2212aa 具有 1222212 ??aa ，同求第一主成分的系數向量一樣，我們也能容易求出 ),( 2212aa 的具體值。 七、 貢獻率與累積貢獻率 由主成分的性質可知，主成分 xaxaxa m??? , 21 ? 的方差 1? ， 2? ，? m? ，與隨機變量 x1， x2， ?， xp 的方差 S11， S22，?， Spp之間有關系： ppp SSS ?????? ?? 221121 ??? () 我們稱： 錯誤 !未定義書簽。 為第 k個特征值所對應的特征向量的第 i個分