【正文】 于搜索方法是通過科學(xué)的分析找出的，其方法更有效率。 ? 格點搜索法是比較原始和低效率的，即使現(xiàn)代計算機的高速運算能力已經(jīng)克服了大量運算導(dǎo)致的工作量困難，這些方法也仍然很少使用。當(dāng)參數(shù)個數(shù)更多時，需要搜索的格點數(shù)量會增加得很快。 12( , )??1? 2?1112( , )??1112( , )??2212( , )???上述步驟可以反復(fù)進行，直至達到需要的精度或收斂標(biāo)準(zhǔn)，最后得到的最小二乘函數(shù)最小值的格點坐標(biāo)就是要找的參數(shù)估計值。把這些格點坐標(biāo)參數(shù)水平代入最小二乘函數(shù)，計算出相應(yīng)的函數(shù)值，找出其中取得最小函數(shù)值的一組參數(shù)水平，假設(shè)為圖 點。 ??上述方法很容易推廣到兩個或更多參數(shù)的情況。當(dāng)然，如果最小二乘函數(shù)的情況比較復(fù)雜，不是嚴(yán)格凸函數(shù)時，則上述搜索方法的有效性不一定有保證。而且每步計算的函數(shù)值只有10個左右。 ?上述過程可以反復(fù)進行，直到參數(shù)取值的范圍不斷縮小，滿足我們的精度要求或要求的收斂標(biāo)準(zhǔn)，最后得到的具有最小二乘函數(shù)值的參數(shù)水平，就是所要求的參數(shù)估計值。為了找出使最小二乘函數(shù) S取最小值的參數(shù)水平 ，我們可以運用下列方法進行搜索： ?首先，把參數(shù) 的可能取值區(qū)間 [a,b]分為 10等分，它們的端點分別為 a,a+(ba),a+(ba),…,a+(b a),b把這些端點坐標(biāo)分別代入最小二乘函數(shù)算出函數(shù)值，找出上述所有端點坐標(biāo)中使 S取得最小值的一個，設(shè)為 。格點搜索法不是簡單地把所有可能的參數(shù)水平組合都代入最小二乘函數(shù) 中，來計算函數(shù)值，而是根據(jù)某種規(guī)則選擇部分參數(shù)水平（或組合）代入最小二乘函數(shù)進行試算。其實最大似然估計量的計算等也需要用到非線性優(yōu)化分析，因此，我們有必要介紹幾種基本的非線性優(yōu)化數(shù)值方法。 ( ) [ ( , ) ] [ ( , ) ]S f f?? ? ?β YX β YX ββ1? ? ?( , , )p?? ??β()Sββ?該最小化問題在形式上與線性回歸分析的最小化問題是相似的，關(guān)鍵不同是其中的回歸函數(shù) f是參數(shù)的非線性函數(shù)而不是線性函數(shù)，因此類似于線性回歸參數(shù)估計的正規(guī)方程組不再是線性方程組，一般無法通過解析的方法求解，必須采用某種搜索或迭代運算的非線性優(yōu)化方法獲得參數(shù)估計值。為了方便起見，我們在下面的討論中將把上述最優(yōu)化問題的目標(biāo)函數(shù) 稱為“最小二乘函數(shù)”。 ?因此，我們主要介紹非線性回歸參數(shù)的最小二乘估計，也稱“非線性最小二乘估計”。非線性回歸分析參數(shù)估計的方法也有多種，基本方法同樣是最小二乘參數(shù)估計和最大似然估計。 0ε ?)(EnVar Iε 2)( ??ε2( , )nN ?0I， ～ 。 , , )kpf ????Y X X ε1 , kXX 1, p??( , )f??YX β ε?與線性模型相似，為了保證非線性回歸分析的價值及分析工作的順利進行等，也需要對非線性回歸模型作一些基本假設(shè)。（ ）式有矩陣表示為 （ ） ?（ ）和（ ）式表明，非線性模型同樣也是由確定性變量關(guān)系表示的趨勢性部分和隨機誤差項兩個部分組成。 ?非線性模型也可以由線性回歸分析引出來，因為進行線性回歸分析時，如果通過分析和檢驗發(fā)現(xiàn)存在把非線性關(guān)系誤作線性關(guān)系的問題時，就需要考慮把線性模型改為非線性模型，因此線性回歸分析本身也是非線性模型的一個重要來源。因此，非線性計量經(jīng)濟分析也稱為“非線性回歸分析”，這是本章重點介紹的內(nèi)容之一。 ?也就是說，仍然是在認(rèn)定生成經(jīng)濟數(shù)據(jù)的客觀規(guī)律存在，經(jīng)濟現(xiàn)象是這些規(guī)律表現(xiàn)形式的基礎(chǔ)上，根據(jù)經(jīng)濟數(shù)據(jù)推斷生成它們的客觀經(jīng)濟規(guī)律。對于這種情況，常常也是直接作為非線性模型進行分析比較有利。對于這些無法通過初等數(shù)學(xué)變換轉(zhuǎn)化為線性回歸模型的非線性經(jīng)濟變量關(guān)系，必須直接用非線性變量關(guān)系進行分析。則該模型就不能通過初等數(shù)學(xué)變換轉(zhuǎn)化為線性模型。有些非線性關(guān)系就是因為誤差項是可加而不是可乘的，從而導(dǎo)致不能利用對數(shù)變換進行轉(zhuǎn)化。那么，因為在解釋變量的指數(shù)位置有一個未知參數(shù) ，使得 Y與 X之間構(gòu)成非線性關(guān)系，而且該非線性顯然無法通過初等數(shù)學(xué)變換轉(zhuǎn)化為線性模型。但仍然有不少非線性關(guān)系無法進行這種變換。 ?我們知道線性回歸模型分析的線性經(jīng)濟變量關(guān)系只是經(jīng)濟變量關(guān)系中的特例，現(xiàn)實中的多數(shù)經(jīng)濟變量關(guān)系是非線性的。 ?20世紀(jì)七八十年代以來，隨著計算機技術(shù)的發(fā)展，非線性回歸的參數(shù)估計計算困難得到了克服，統(tǒng)計推斷和預(yù)測分析技術(shù)也有很大發(fā)展。第 3章 線性回歸模型擴展 非線性模型基礎(chǔ) 虛擬變量回歸 變量標(biāo)準(zhǔn)化回歸 學(xué) 案例分析 第一節(jié) 非線性模型基礎(chǔ) 非線性模型的基本假定 非線性模型的參數(shù)估計 迭代算法的初值和收斂性 非線性回歸評價和假設(shè)檢驗 ?非線性回歸分析是線性回歸分析的擴展，也是傳統(tǒng)計量經(jīng)濟學(xué)的結(jié)構(gòu)模型分析法。由于非線性回歸的參數(shù)估計涉及非線性優(yōu)化問題，計算比較困難，推斷和預(yù)測的可靠性也要差一些，因此傳統(tǒng)計量經(jīng)濟學(xué)較少研究非線性回歸。這些方面的變化使得非線性回歸分析開始受到更多的重視，現(xiàn)在已經(jīng)成為計量經(jīng)濟研究的熱點之一，基本形成了與線性回歸分析相對應(yīng)的、比較完整的回歸分析和檢驗預(yù)測分析方法體系。當(dāng)然非線性變量關(guān)系常?？梢酝ㄟ^初等數(shù)學(xué)變換轉(zhuǎn)化為線性回歸模型，然后再運用線性回歸分析方法進行分析，這部分內(nèi)容在初級或中級計量經(jīng)濟學(xué)中都要介紹。 ?例如，若兩個經(jīng)濟變量之間存在關(guān)系為： （ ） 其中 , , 為未知參數(shù)， 為隨機誤差項。 ???? ? ?YX ε? ? ? ε??此外，計量經(jīng)濟分析者經(jīng)常會忽略隨機誤差項的作用方式問題，但實際上非線性模型的轉(zhuǎn)換不僅涉及到趨勢性部分，也涉及隨機誤差部分，因此誤差項的作用方式對于非線性模型的轉(zhuǎn)化是非常重要的。例如，若常見的柯布 — 道格拉斯生產(chǎn)函數(shù)中的隨機誤差項是可加而不是可乘的，即： （ ） 式中 ,A, , ,為未知參數(shù)，為隨機誤差項。 A ????Y K L ε? ? ε?上述兩種情況具有相當(dāng)普遍的意義，許多非線性變量關(guān)系都是因為函數(shù)形式比較復(fù)雜，未知參數(shù)數(shù)量較多且位置不理想，或者隨機誤差因素的作用方式不利，在非線性變量關(guān)系上有加性的隨機擾動項，從而無法構(gòu)造通過初等數(shù)學(xué)變換可以轉(zhuǎn)化為線性模型的非線性模型。 ? 更進一步說，即使非線性變量關(guān)系可以通過初等數(shù)學(xué)變換轉(zhuǎn)化為線性模型，也可能造成模型隨機誤差項性質(zhì)的改變，如同方差性質(zhì)不再成立等。 ? 雖然非線性模型在函數(shù)形式和參數(shù)位置等方面與線性模型有明顯差異，但它們在代表經(jīng)濟現(xiàn)象和數(shù)據(jù)背后的內(nèi)在規(guī)律性這一點上并沒有很大的差別，因此非線性模型計量經(jīng)濟分析的基本思路與線性模型是相似的，仍然可以以回歸分析為基礎(chǔ)理論。具體來說，就是確定非線性模型的函數(shù)形式和估計模型中未知參數(shù)的數(shù)值。 ? 建立非線性計量經(jīng)濟模型的方法與建立線性模型是相似的，通常也是根據(jù)經(jīng)濟理論、實際經(jīng)濟問題，以及相關(guān)的數(shù)據(jù)圖形等建立初步模型，然后通過對模型的分析、檢驗、判斷和比較，選擇、確定和完善模型。 ?單方程非線性計量經(jīng)濟模型的一般形式可以用下列隨機函數(shù)表示，即： （ ） 式中， 是模型的個解釋變量， 是個未知參數(shù)；函數(shù) f是一個非線性函數(shù)，通常 p大于 k； ?是模型的隨機誤差項。 11( , , 。非線性模型關(guān)于模型函數(shù)形式和參數(shù)的假設(shè)與線性模型相似，第一條假設(shè)是模型具有上述非線性的函數(shù)形式，關(guān)于隨機誤差項的假設(shè)也是滿足 ， ，而且也可以要求服從正態(tài)分布，即 ～ 。 0ε ?)(E nVa r Iε 2)( ??ε 2( , )nN ?0I 非線性模型的參數(shù)估計 ? 參數(shù)估計也是非線性回歸分析的核心步驟。當(dāng)非線性模型的隨機誤差項～時，除了誤差方差的估計以外，非線性回歸的最大似然估計與最小二乘估計也是相同的。 ?如果把非線性最小二乘估計量記為，那么非線性最小二乘估計就是求符合如下殘差平方和 （ ） 達到極小的 值，即為 。 ?當(dāng)模型只有一個待估計參數(shù)時，最小二乘函數(shù)是模型唯一參數(shù)的一元函數(shù)；當(dāng)待估計參數(shù)有多個時，則是參數(shù)向量 的向量函數(shù)。 ?實際上，非線性最小二乘估計引出了非線性優(yōu)化的需要。 一、格點搜索法 ?比直接搜索法效率更高，適用于參數(shù)的取值范圍是連續(xù)區(qū)間（區(qū)域）的一種搜索方法是“格點搜索法”。 ()Sβ?以只有一個參數(shù) 的非線性回歸為例。 ????()10a i b a?? ?然后，把區(qū)間 分為 10等分，再把這些端點坐標(biāo)分別代入最小二乘函數(shù) S計算出相應(yīng)的函數(shù)值，找出其中使 S取得最小值的一個。 ( 1 ) ( ) ( 1 ) ( ),1 0 1 0a i b a a i b a? ? ? ? ? ????????根據(jù)上述思路不難發(fā)現(xiàn)，當(dāng)非線性模型的最小二乘函數(shù)在所考慮的參數(shù)估計值范圍 [a,b]內(nèi)，是參數(shù) 的嚴(yán)格凸函數(shù)時，上述搜索方法是有效的，會很快收斂，找到基本符合最小二乘要求的參數(shù)估計值。如果通過三五次反復(fù)細(xì)分格點就能得到收斂結(jié)果（這在大多數(shù)情況下都能成立），那么最多只需要計算幾十個函數(shù)值，計算工作量不算很大。因為此時往往沒有唯一的極點和最優(yōu)點，不能保證搜索一定會收斂，或一定會收斂到整體最小值。 ?以兩個參數(shù) 的情況為例，格點搜索法如下：先把 和 兩個參數(shù)的取值范圍都做 10等分，這樣我們就得到了如圖 ?？稍侔褔@ 的周圍 4個小格構(gòu)成的區(qū)域兩邊各作 10等分．形成更小的格點，再把這些格點的坐標(biāo)代入最小二乘函數(shù)計算函數(shù)值，再找出上述格點坐標(biāo)中使最小二乘函數(shù)取最小值的點 。 ?一般來說，格點搜索法也主要適用于參數(shù)個數(shù)較少和最小二乘函數(shù)是嚴(yán)格凸函數(shù)的情況。對于有多個極值點的比較復(fù)雜的最小二乘函數(shù)，格點搜索法更不一定能順利找到最小二乘函數(shù)的解。這些搜索法更大的意義在于給發(fā)展其他更有效率的方法提供啟示。 二、最陡爬坡法 ?最陡爬坡法是常用的非線性最優(yōu)化數(shù)值方法之一。 ?設(shè)需要估計的仍然是最小二乘函數(shù) 中的參數(shù)向量 ，那么最陡爬坡法就是先以某種規(guī)則、方法，或者任意設(shè)定參數(shù)向量的一個初始估計 ，然后根據(jù)某種規(guī)則給定一個搜索半徑，找出在這個搜索半徑上對 的一個最優(yōu)改進作為 。 ()Sββ(0)β(0)β (1)β(0)β (1)β()Sβ (1)β?表示為在條件 （ ） 下，使得 （ ） 其中， k為常數(shù)。將拉格朗日函數(shù)對 求偏導(dǎo)數(shù)，并令為 0，得到 （ ） 2( 1 ) ( 0 ) ( 1 ) ( 0 ) ( 1 ) ( 0 )( ) ( ) k?? ? ? ? ?β β β β β β(1)(1)m i n ( ) ( )SS?ββ β( 1 ) ( 1 ) ( 1 ) ( 0 ) ( 1 ) ( 0 )( ) ( ) [ ( ) ( ) ]J S k? ?? ? ? ? ?β β β β β β? (1)β( 1 )( 1 ) ( 0 )() ( 2 ) ( ) 0S ??? ? ?