【文章內(nèi)容簡介】 向:是從出發(fā)沿牛頓方向搜索的最優(yōu)步長.為構(gòu)造的近似矩陣,先分析與一階導(dǎo)數(shù)的關(guān)系.設(shè)在第k次迭代后,得到點,我們將目標函數(shù)在點 展成Taylor級數(shù),并取二階近似,得到由此可知,在附近有令,則記作，則有又設(shè)Hessian矩陣可逆,則這樣,計算出后,可以根據(jù)，,為了用不包含二階導(dǎo)數(shù)的矩陣取代牛頓法中的Hessian矩陣 的逆矩陣,有理由令滿足這個式子有時稱為擬牛頓條件. 擬牛頓法(QuasiNewton Methods)是求解非線性優(yōu)化問題最有效的方法之一，于20世紀50年代由美國Argonne國家實驗室的物理學(xué)家W. C. Davidon所提出來。Davidon設(shè)計的這種算法在當(dāng)時看來是非線性優(yōu)化領(lǐng)域最具創(chuàng)造性的發(fā)明之一。不久R. Fletcher和M. J. D. Powell證實了這種新的算法遠比其他方法快速和可靠，使得非線性優(yōu)化這門學(xué)科在一夜之間突飛猛進。在之后的20年里，擬牛頓方法得到了蓬勃發(fā)展，出現(xiàn)了大量的變形公式以及數(shù)以百計的相關(guān)論文。 　　擬牛頓法和最速下降法(Steepest Descent Methods)一樣只要求每一步迭代時知道目標函數(shù)的梯度。通過測量梯度的變化，構(gòu)造一個目標函數(shù)的模型使之足以產(chǎn)生超線性收斂性。這類方法大大優(yōu)于最速下降法，尤其對于困難的問題。另外，因為擬牛頓法不需要二階導(dǎo)數(shù)的信息，所以有時比牛頓法(Newton39。s Method)更為有效。如今，優(yōu)化軟件中包含了大量的擬牛頓算法用來解決無約束，約束，和大規(guī)模的優(yōu)化問題。 現(xiàn)在確定的一種自然想法，是將 ,且有近似關(guān)系式 即 若記,因此要求滿足條件 對稱； 滿足擬牛頓方程 .