【正文】 ?????? ?? ? ? ? ? ????? β ββ ββ β β β β β ββ β0?()??β β 1 1 0 0? ?( ( ) , , ( ) )pp? ? ? ? ???f? ??β 1( , , )pff???? ???（ ） ?最小二乘函數(shù) 的梯度向量為 = ?對（ ）式，關于 求導，得到 （ ） 其中 是 在 處的二階導數(shù)矩陣，為海塞（ Hessian）矩陣，即 ()Sβ0?S??? β ββ01( , , )pSS????? ???β ββ000?? ?( ) ( )SS??? ? ? ? ??? β β h β β ββ β0()hβ ()Sβ 0??002221120? 2221 ?()pppSSSSS? ? ?? ? ?????????? ? ?? ???????????? ? ???β ββ βh ββ β?令（ ）式為 0，并解出 ，得到 的第一個值，記為 ，即 （ ） ?繼續(xù)上述的程序， 的第 n個值可以表示為 （ ） ?可以發(fā)現(xiàn)，牛頓 — 拉夫森法的迭代運算，相當于在前一個參數(shù)估計向量的基礎上，按單位移動幅度（通常稱為“步長”）搜索更好的參數(shù)估計值，因此牛頓 — 拉夫森法也是一種搜索法。繼續(xù)上述的程序， 的第 n個值可以表示為 （ ） ?如果此過程在 的意義上收斂， 那么 一定為真，這是取極小值（或極大值）的必要條件。 ?首先對單參數(shù)情形進行討論，單參數(shù)回歸模型為 （ ） 問題是如何找 的值，使得 （ ） 達到最小。我們把最后得到的 作為原非線性模型的參數(shù)估計。整理上述展開式得到 （ ） ( , )f??YX β ε0 1 0 0? ? ?( , , )p?? ??β0?β 1( , , )p?? ??β0 0*0 1 1 0 0?1 ?? ? ?( , ) ( ) ( )pppfff ? ? ? ???????? ? ? ? ? ? ?β β β βYX β ε*ε ε00*0011 ? ?? ?( , ) ppiiiiiifff ?????? ????? ? ? ? ? ???β β β βYX β ε?若令 （ ） （ ） ?將（ ）和（ ）式代入（ ）式，模型變?yōu)? （ ） ?顯然這是一個 M對 的線性回歸模型，可以用線性回歸的最小二乘法估計其中參數(shù) 的估計值，我們記為 。這種方法可以反復運用，直到得到比較理想的參數(shù)估計值。 ()()mg β ( 1)m?β()mβ ( 1)()mS ?β ()()mS β三、高斯－牛頓法 ?該方法是常用的非線性最優(yōu)化迭代算法之一，其基本思路是：非線性最小二乘估計的問題在于最小二乘函數(shù) 中的 f，也就是回歸模型（ ）式 的趨勢部分不是參數(shù)向量的線性函數(shù)，因此最優(yōu)化問題 （ ） 的求解存在計算上的困難。 (1)β (1)()g β(0)()g β (1)()g β(1)β (0)β(2)β? 收斂性一般有三個判斷方法：對于給定的收斂標準， (1)梯度向量 離零向量充分近； (2) 與 之間距離充分小； (3) 與 之間差距充分小。 ()S β( 1 ) ( 0 ) ( 1 )1 ()2 ???β β g β(1)β (0)β (1)()g β12?()g β( 1 ) ( 0 ) ( 1 )1 ()2 ???β β g β?上述方法的問題是因為 是未知的，因此 無法得到。這意味著在滿足 與 之間距離固定的約束條件下，求使 取最小值的 。事實上，比較常用的非線性回歸參數(shù)估計方法，都是通過有效的規(guī)則不斷逼近真實值的迭代算法，本質(zhì)上都是通過試探搜索求參數(shù)估計值的，區(qū)別在于搜索方法是通過科學的分析找出的，其方法更有效率。當參數(shù)個數(shù)更多時，需要搜索的格點數(shù)量會增加得很快。把這些格點坐標參數(shù)水平代入最小二乘函數(shù)，計算出相應的函數(shù)值，找出其中取得最小函數(shù)值的一組參數(shù)水平，假設為圖 點。當然，如果最小二乘函數(shù)的情況比較復雜，不是嚴格凸函數(shù)時，則上述搜索方法的有效性不一定有保證。 ?上述過程可以反復進行，直到參數(shù)取值的范圍不斷縮小，滿足我們的精度要求或要求的收斂標準，最后得到的具有最小二乘函數(shù)值的參數(shù)水平，就是所要求的參數(shù)估計值。格點搜索法不是簡單地把所有可能的參數(shù)水平組合都代入最小二乘函數(shù) 中，來計算函數(shù)值，而是根據(jù)某種規(guī)則選擇部分參數(shù)水平（或組合）代入最小二乘函數(shù)進行試算。 ( ) [ ( , ) ] [ ( , ) ]S f f?? ? ?β YX β YX ββ1? ? ?( , , )p?? ??β()Sββ?該最小化問題在形式上與線性回歸分析的最小化問題是相似的，關鍵不同是其中的回歸函數(shù) f是參數(shù)的非線性函數(shù)而不是線性函數(shù)，因此類似于線性回歸參數(shù)估計的正規(guī)方程組不再是線性方程組，一般無法通過解析的方法求解，必須采用某種搜索或迭代運算的非線性優(yōu)化方法獲得參數(shù)估計值。 ?因此，我們主要介紹非線性回歸參數(shù)的最小二乘估計，也稱“非線性最小二乘估計”。 0ε ?)(EnVar Iε 2)( ??ε2( , )nN ?0I， ～ 。（ ）式有矩陣表示為 （ ） ?（ ）和（ ）式表明，非線性模型同樣也是由確定性變量關系表示的趨勢性部分和隨機誤差項兩個部分組成。因此，非線性計量經(jīng)濟分析也稱為“非線性回歸分析”，這是本章重點介紹的內(nèi)容之一。對于這種情況，常常也是直接作為非線性模型進行分析比較有利。則該模型就不能通過初等數(shù)學變換轉化為線性模型。那么，因為在解釋變量的指數(shù)位置有一個未知參數(shù) ，使得 Y與 X之間構成非線性關系，而且該非線性顯然無法通過初等數(shù)學變換轉化為線性模型。 ?我們知道線性回歸模型分析的線性經(jīng)濟變量關系只是經(jīng)濟變量關系中的特例，現(xiàn)實中的多數(shù)經(jīng)濟變量關系是非線性的。第 3章 線性回歸模型擴展 非線性模型基礎 虛擬變量回歸 變量標準化回歸 學 案例分析 第一節(jié) 非線性模型基礎 非線性模型的基本假定 非線性模型的參數(shù)估計 迭代算法的初值和收斂性 非線性回歸評價和假設檢驗 ?非線性回歸分析是線性回歸分析的擴展，也是傳統(tǒng)計量經(jīng)濟學的結構模型分析法。這些方面的變化使得非線性回歸分析開始受到更多的重視，現(xiàn)在已經(jīng)成為計量經(jīng)濟研究的熱點之一，基本形成了與線性回歸分析相對應的、比較完整的回歸分析和檢驗預測分析方法體系。 ?例如，若兩個經(jīng)濟變量之間存在關系為： （ ） 其中 , , 為未知參數(shù)， 為隨機誤差項。例如，若常見的柯布 — 道格拉斯生產(chǎn)函數(shù)中的隨機誤差項是可加而不是可乘的，即： （ ） 式中 ,A, , ,為未知參數(shù)，為隨機誤差項。 ? 更進一步說，即使非線性變量關系可以通過初等數(shù)學變換轉化為線性模型，也可能造成模型隨機誤差項性質(zhì)的改變，如同方差性質(zhì)不再成立等。具體來說，就是確定非線性模型的函數(shù)形式和估計模型中未知參數(shù)的數(shù)值。 ?單方程非線性計量經(jīng)濟模型的一般形式可以用下列隨機函數(shù)表示，即： （ ） 式中， 是模型的個解釋變量， 是個未知參數(shù)；函數(shù) f是一個非線性函數(shù)，通常 p大于 k； ?是模型的隨機誤差項。非線性模型關于模型函數(shù)形式和參數(shù)的假設與線性模型相似，第一條假設是模型具有上述非線性的函數(shù)形式，關于隨機誤差項的假設也是滿足 ， ，而且也可以要求服從正態(tài)分布，即 ～ 。當非線性模型的隨機誤差項～時，除了誤差方差的估計以外，非線性回歸的最大似然估計與最小二乘估計也是相同的。 ?當模型只有一個待估計參數(shù)時，最小二乘函數(shù)是模型唯一參數(shù)的一元函數(shù)；當待估計參數(shù)有多個時，則是參數(shù)向量 的向量函數(shù)。 一、格點搜索法 ?比直接搜索法效率更高，適用于參數(shù)的取值范圍是連續(xù)區(qū)間（區(qū)域）的一種搜索方法是“格點搜索法”。 ????()10a i b a?? ?然后，把區(qū)間 分為 10等分，再把這些端點坐標分別代入最小二乘函數(shù) S計算出相應的函數(shù)值，找出其中使 S取得最小值的一個。如果通過三五次反復細分格點就能得到收斂結果（這在大多數(shù)情況下都能成立），那么最多只需要計算幾十個函數(shù)值，計算工作量不算很大。 ?以兩個參數(shù) 的情況為例，格點搜索法如下：先把 和 兩個參數(shù)的取值范圍都做 10等分，這樣我們就得到了如圖 。 ?一般來說，格點搜索法也主要適用于參數(shù)個數(shù)較少和最小二乘函數(shù)是嚴格凸函數(shù)的情況。這些搜索法更大的意義在于給發(fā)展其他更有效率的方法提供啟示。 ?設需要估計的仍然是最小二乘函數(shù) 中的參數(shù)向量 ，那么最陡爬坡法就是先以某種規(guī)則、方法，或者任意設定參數(shù)向量的一個初始估計 ，然后根據(jù)某種規(guī)則給定一個搜索半徑，找出在這個搜索半徑上對 的一個最優(yōu)改進作為 。將拉格朗日函數(shù)對 求偏導數(shù)，并令為 0，得到 （ ） 2( 1 ) ( 0 ) ( 1 ) ( 0 ) ( 1 ) ( 0 )( ) ( ) k?? ? ? ? ?β β β β β β(1)(1)m i n ( ) ( )SS?ββ