【文章內(nèi)容簡介】 估計(jì)向量為 ，那么非線性最小二乘估計(jì)的殘差平方和為 ?以 在初始值 處的二階泰勒級(jí)數(shù)逼近替代 展 開，即 其中 1( , , )P?? ??β1? ? ?( , , )p?? ??β( ) [ ( , ) ] [ ( , ) ]S f f?? ? ?β YX β YX β()Sβ0??()Sβ002?0 0 0?1? ? ?( ) ( ) ( ) ( ) ( )2SfS S S?????? ?? ? ? ? ? ????? β ββ ββ β β β β β ββ β0?()??β β 1 1 0 0? ?( ( ) , , ( ) )pp? ? ? ? ???f? ??β 1( , , )pff???? ???（ ） ?最小二乘函數(shù) 的梯度向量為 = ?對（ ）式，關(guān)于 求導(dǎo)，得到 （ ） 其中 是 在 處的二階導(dǎo)數(shù)矩陣，為海塞（ Hessian）矩陣，即 ()Sβ0?S??? β ββ01( , , )pSS????? ???β ββ000?? ?( ) ( )SS??? ? ? ? ??? β β h β β ββ β0()hβ ()Sβ 0??002221120? 2221 ?()pppSSSSS? ? ?? ? ?????????? ? ?? ???????????? ? ???β ββ βh ββ β?令（ ）式為 0，并解出 ，得到 的第一個(gè)值，記為 ，即 （ ） ?繼續(xù)上述的程序， 的第 n個(gè)值可以表示為 （ ） ?可以發(fā)現(xiàn)，牛頓 — 拉夫森法的迭代運(yùn)算，相當(dāng)于在前一個(gè)參數(shù)估計(jì)向量的基礎(chǔ)上，按單位移動(dòng)幅度（通常稱為“步長”）搜索更好的參數(shù)估計(jì)值，因此牛頓 — 拉夫森法也是一種搜索法。牛頓 — 拉夫森法的優(yōu)點(diǎn)是搜索方向和步長的確定比較科學(xué)，因此找到滿足精度要求最優(yōu)水平的搜索次數(shù)一般要小一些。 β β1?β011 0 0?? ? ?() dSd??? ? ?β ββ β h β ββ1111?? ? ?()nn n ndSd?????? ? ?β ββ β h β β? 牛頓 — 拉夫森方法的缺點(diǎn)是迭代運(yùn)算中需要反復(fù)計(jì)算梯度向量，特別是海塞矩陣的逆矩陣，因此計(jì)算工作量很大。事實(shí)上，人們在實(shí)際應(yīng)用中常常并不按照牛頓一拉夫森法進(jìn)行搜索，而是根據(jù)一些簡單法則確定搜索的步長，如“雙向線性搜索法”就是其中常用的方法之一。 迭代算法的初值和收斂性 ? 上面我們所介紹的泰勒級(jí)數(shù)展開近似或其他迭代運(yùn)算，都涉及初始值的選擇和迭代收斂性的問題。用迭代方法進(jìn)行參數(shù)估計(jì)時(shí)，這兩個(gè)問題也顯得有為重要。 一、初始值問題 ?理論上在目標(biāo)函數(shù)的性質(zhì)（凹凸性和連續(xù)可微）比較有利時(shí)，不管初始值如何選擇，非線性優(yōu)化的迭代運(yùn)算最終都會(huì)收斂到唯一的最優(yōu)解。例如，最小二乘函數(shù)具備整體嚴(yán)格凸函數(shù)的性質(zhì)，則不管以哪一組初始值出發(fā)迭代都會(huì)收斂到這個(gè)唯一的最優(yōu)水平。實(shí)際上，最小二乘函數(shù)并不一定都能滿足整體唯一最優(yōu)解的條件。在這種情況下，從不同的初始值出發(fā)并不能保證都會(huì)收斂到同樣的結(jié)果。 ?因此，在利用迭代算法進(jìn)行非線性回歸參數(shù)估計(jì)時(shí)，初始值的選擇是一個(gè)值得重視的問題，如果我們想要得到較好的結(jié)果和提高工作效率，必須認(rèn)真對待參數(shù)估計(jì)值的選擇。但參數(shù)初始值的選擇并沒有一般法則。盡量接近參數(shù)真實(shí)值或最終估計(jì)值，最好是參數(shù)真實(shí)值的一致估計(jì)，是正確的初始值選擇原則。但該原則的實(shí)用價(jià)值不大，因?yàn)閰?shù)真實(shí)值不可能知道，而一致估計(jì)量正是我們要求出的最小二乘估計(jì)量。 ?在實(shí)踐中，人們常常運(yùn)用的是如下的經(jīng)驗(yàn)方法。 １、利用參數(shù)的經(jīng)濟(jì)意義。一般經(jīng)濟(jì)回歸模型的參數(shù)都有比較明確的經(jīng)濟(jì)意義，它們通常的取值范圍可以作為選擇參數(shù)初始值的參考。例如，柯布－道格拉斯生產(chǎn)函數(shù)模型 中 ， 的取值，就可以根據(jù)它們分別是資本和勞動(dòng)的產(chǎn)出彈性的意義，利用現(xiàn)實(shí)經(jīng)濟(jì)中這兩個(gè)彈性所處的水平基本情況來確定并設(shè)置初始值。 321 ?????Q K L ε 2?3? 模型函數(shù)在特定點(diǎn)的性質(zhì)。非線性模型的函數(shù)及其導(dǎo)函數(shù)在原點(diǎn)或者其他特定點(diǎn)的形態(tài)和水平，常常也能幫助選擇參數(shù)初始值。例如，對函數(shù) ， X=10時(shí) ，當(dāng) 時(shí)函數(shù)有漸近線 （設(shè) ）。可以根據(jù)這些特定函數(shù)值或函數(shù)性質(zhì)所隱含的模型參數(shù)取值范圍或數(shù)值等，確定非線性回歸迭代運(yùn)算的參數(shù)初始值。 3 ( 1 0 )12( , ) XY g X e ?? ? ? ??? ? ? 12Y ????x ?? 1Y ?? 3 0? ? 降維法。所謂降維法，就是根據(jù)某些先驗(yàn)的信息和經(jīng)驗(yàn)，先令模型中的某個(gè)參數(shù)取特定數(shù)值，從而得到可以進(jìn)行線性回歸的線性模型，然后把對其進(jìn)行線性回歸得到的其他參數(shù)估計(jì)值，加上前述某參數(shù)的特定值，一起作為非線性回歸的初始值。 ?例如，對消費(fèi)函數(shù)： 式中， Y是總收入， C是消費(fèi)，，是該模型的三個(gè)參數(shù)， 相當(dāng)于“邊際消費(fèi)傾向”， 則可理解為“消費(fèi)的收入彈性”。 ???? ? ?CY ε? ? ?? ??當(dāng)參數(shù) 時(shí)，上述非線性模型就退化為一個(gè)線性模型： ?對這個(gè)線性模型進(jìn)行回歸，得到 ， 的參數(shù)估計(jì)值 和 ， 然后把 ， ， 作為原非線性模型參數(shù)估計(jì)迭代運(yùn)算的一組初始值。這種方法稱為“降維法”，因?yàn)榱钤Ｐ偷囊粋€(gè)參數(shù) 使得模型的未知參數(shù)數(shù)量減少了一個(gè)。 1????? ? ?CY ε? ??? ?? 0 ???? 0 ????0 1? ?1???這里我們需要說明的是，由于初始值選擇不當(dāng)可能會(huì)導(dǎo)致迭代運(yùn)算收斂的困難，而且在最小二乘函數(shù)非整體凹函數(shù)時(shí)可能會(huì)收斂于局部而非整體最優(yōu)解，并且理論上也沒有選擇好的參數(shù)初始值和避免上述問題的一般方法，因此從幾組不同的初始值出發(fā)，重復(fù)進(jìn)行迭代運(yùn)算進(jìn)行相互印證和驗(yàn)算，可能是避免導(dǎo)致失誤的重要方法。如果從某組參數(shù)初始值出發(fā)無法得到收斂的結(jié)果，或者從不同的初始值出發(fā)得到的收斂值不同，那么一方面可能是我們選擇的算法有問題，不適合所分析的模型，此時(shí)可考慮改用其他方法估計(jì)參數(shù)；另一方面則可能是模型本身存在問題，即模型不符合數(shù)據(jù)的情況，此時(shí)就必須改用其他模型。 二、迭代算法的收斂性 ?非線性優(yōu)化迭代運(yùn)算的收斂性也是值得分析的問題，這里我們作簡單介紹。理論上，非線性優(yōu)化的迭代運(yùn)算應(yīng)該在梯度向量等于 0，也就是滿足最優(yōu)化的一階條件處終止。但實(shí)際上這通常做不到，因?yàn)楹瘮?shù)和導(dǎo)數(shù)的計(jì)算都由累積的舍入誤差，而且理論上要實(shí)現(xiàn)真正的最優(yōu)往往需要多次，甚至無窮次反復(fù)迭代。 ?因此，迭代算法一般是以某種收斂標(biāo)準(zhǔn)作為終止迭代的信號(hào)，而不是真正滿足一階條件。 ?判斷收斂和終止迭代并沒有一致接受的共同標(biāo)準(zhǔn)。常用的標(biāo)準(zhǔn)主要有： 第一，目標(biāo)函數(shù)（最小二乘函數(shù)）的改進(jìn)已小于給定的小正數(shù)，即 ， 即任意小正數(shù)； 第二，參數(shù)值的變化小于給定的小正數(shù)。當(dāng)模型只有一個(gè)參數(shù)時(shí)即 ； 第三，梯度向量的模小于給定的小正數(shù)，即 。 ?這些標(biāo)準(zhǔn)都有合理性，也可替代使用。但問題是，這些不同標(biāo)準(zhǔn)相互之間沒有明顯的優(yōu)劣關(guān)系，在不同情況下的使用情況也不同。一般來說，同時(shí)用這幾個(gè)標(biāo)準(zhǔn)加以判斷是比較有利的。 1| ( ) ( ) |iiSS ?? ??β β ?1ii ?? ??β β1()i ?? ?g β?高斯－牛頓法、牛頓－拉夫森法和其他各種非線性回歸參數(shù)估計(jì)方法，都包含迭代搜索過程。這些迭代搜索法并沒有嚴(yán)格的優(yōu)劣關(guān)系，有些方法可能收斂要好一些，收斂速度較快，但另一些方法則計(jì)算量較小。有時(shí)候一種算法不收斂，而另一種算法卻能輕易找出最有解，甚至在理論上相當(dāng)不嚴(yán)密的方法有時(shí)候也可能相當(dāng)有效，而且我們往往無法知道一種方法之所以有效的實(shí)際原因，也很難事先知道對于某個(gè)具體問題究竟哪種方法最有效。因此在大多數(shù)情況下，嘗試不同的迭代搜索方法通常是有價(jià)值的。 ?非線性回歸在得到參數(shù)估計(jì)值和回歸方程以后，也必須對回歸結(jié)果和模型假設(shè)的正確性進(jìn)行評(píng)價(jià)和判斷。評(píng)判非線性回歸的基本思路也包括回歸擬合度評(píng)價(jià)，以及模型總體和參數(shù)顯著性檢驗(yàn)等。非線性模型參數(shù)的顯著性檢驗(yàn)常常隱含模型非線性性的檢驗(yàn)。由于即使非線性回歸模型的誤差項(xiàng)有好的性質(zhì)，參數(shù)估計(jì)量也不具備 BLUE估計(jì)等理想性質(zhì)，因此對非線回歸的評(píng)價(jià)和檢驗(yàn)，除了不涉及參數(shù)估計(jì)量分布性質(zhì)的決定系數(shù)以外，一般要麻煩一些，而且可靠性較差。 一、決定系數(shù) ?由于反映線性回歸模型的決定系數(shù) （ ） 和調(diào)整的決定系數(shù) （ ） 其中 p為參數(shù)個(gè)數(shù)。這里不涉及參數(shù)估計(jì)量的分布性質(zhì)，也不需要做以這些分布性質(zhì)為基礎(chǔ)的假設(shè)檢驗(yàn)，因此非線性導(dǎo)致的問題并不影響該統(tǒng)計(jì)量在評(píng)價(jià)回歸方程擬合度方面的作用，仍然是評(píng)價(jià)非線性模型合理程度的基本指標(biāo)，或者說最重要的基本指標(biāo)之一。它們在非線性回歸分析中的使用方法仍然是與在線性回歸分析中相同的。 2221iieRY????2211 ( 1 )NRRNp?? ? ??二、 t檢驗(yàn)和總體顯著性 F檢驗(yàn) ?一般在線性回歸分析中檢驗(yàn)參數(shù)顯著性的標(biāo)準(zhǔn)的檢驗(yàn)方法，以及用于評(píng)價(jià)線性回歸總體顯著性的F統(tǒng)計(jì)量，在非線性回歸中都會(huì)遇到困難。 ?因?yàn)槲覀儫o法利用回歸殘差得到誤差項(xiàng)方差 的無偏估計(jì)。即使非線性模型的誤差項(xiàng) 服從 0均值的正態(tài) 分布，非線性回歸的參數(shù)估計(jì)量，以及殘差： 也不像在線性回歸中的參數(shù)估計(jì)和回歸殘差那樣服從正態(tài)分布，因此殘差平房和不服從 分布，參數(shù)估計(jì)量不服從正態(tài)分布，所以標(biāo)準(zhǔn)的 t檢驗(yàn)和F檢驗(yàn)都無法應(yīng)用。 2?ε11 ? ?( , , 。 , , )i i i K i Pe Y f X X ????2??這里我們應(yīng)該注意到，對于參數(shù)估計(jì)運(yùn)用高斯－牛頓法的非線性回歸，可以把線性回歸的 t和 F檢驗(yàn)應(yīng)用到上述迭代過程中的最后一次線性近似（ ）式。一般來說，經(jīng)過反復(fù)迭代從而得到的線性化模型應(yīng)該能提供非線性模型的一個(gè)比較好的近似，因此用對最后的線性近似模型的檢驗(yàn)替代對非線性模型本身的檢驗(yàn)是有合理性的。事實(shí)上，運(yùn)用線性化方法的非線性估計(jì)的計(jì)算機(jī)程序，通常會(huì)計(jì)算最后一次線性化的 t統(tǒng)計(jì)量、 F統(tǒng)計(jì)量等指標(biāo)。 ?此外，雖然非線性回歸參數(shù)估計(jì)沒有線性回歸參數(shù)估計(jì)的性質(zhì)，但由參數(shù)估計(jì)值構(gòu)造的相似的 t統(tǒng)計(jì)量在大樣本時(shí)，還是漸近服從 t分布的。因此如果利用上述線性近似最后一次迭代得到的殘差標(biāo)準(zhǔn)差作為非線性回歸誤差項(xiàng)方差的近似，也能利用該統(tǒng)計(jì)量進(jìn)行參數(shù)的顯著性檢驗(yàn)，或者參數(shù)取特定值得假設(shè)檢驗(yàn)。 三、參數(shù)顯著性的 F檢驗(yàn) ?除了對高斯－牛頓法非線性回歸可以利用最后一次線性近似函數(shù)線性回歸的 t檢驗(yàn)以外，檢驗(yàn)非線性模型參數(shù)的顯著性還有多種其他方法。 ?下面這個(gè)漸近 F分布的統(tǒng)計(jì)量就是其中的一種方法，即