【正文】 工作），并撰寫畢業(yè)論文，第12周五之前交初稿； 第三階段 (第13－14周): 指導(dǎo)教師對畢業(yè)論文進(jìn)行批閱，提出修改意見并指導(dǎo)學(xué)生進(jìn)行 畢業(yè)論文的修改,并檢查算法的實現(xiàn)情況（如程序的可行性和通用性等）； 第四階段 (第15周): 指導(dǎo)教師指導(dǎo)學(xué)生將畢業(yè)論文定稿，并準(zhǔn)備畢業(yè)論文答辯； 第五階段 (第16周): 進(jìn)行畢業(yè)論文答辯。 目 錄摘 要 1前 言 2第1章 最優(yōu)化基礎(chǔ) 4 無約束最優(yōu)化問題的最優(yōu)性條件 4 收斂概念 5 Wolfe準(zhǔn)則和Armijo準(zhǔn)則 7第2章 擬牛頓法算法設(shè)計 9 擬牛頓法條件 9 算法設(shè)計 11第3章 收斂性證明 12 總體收斂 12 局部超線性收斂 16第4章 數(shù)值驗算 21 問題模型 21 數(shù)值結(jié)果 23總 結(jié) 24致 謝 25參考文獻(xiàn) 26附 錄 27無約束最優(yōu)化問題的擬牛頓法摘要：擬牛頓法是求解無約束最優(yōu)化問題最常用的方法之一，擬牛頓法是在牛頓法的基礎(chǔ)上提出來的。牛頓法成功的關(guān)鍵是利用了Hesse矩陣提供的曲率信息,但計算Hesse矩陣工作量大，并且有的目標(biāo)函數(shù)的Hesse矩陣很難計算，甚至不好求出。擬牛頓法通過函數(shù)的一階導(dǎo)數(shù)構(gòu)造出曲率的近似,從而避免了求函數(shù)的Hesse矩陣,不需要求函數(shù)的二階導(dǎo)數(shù),從而大大的減小了計算的復(fù)雜度。同時擬牛頓法還具有超線性收斂以及收斂速度快的優(yōu)點。擬牛頓算法在求解無約束優(yōu)化問題中占有不可取代的地位。同時也是很多學(xué)者研究的課題。本論文將依靠前人的基礎(chǔ),對擬牛頓法進(jìn)行介紹并對其收斂性進(jìn)行證明,同時給出數(shù)值分析。關(guān)鍵詞：擬牛頓法，無約束優(yōu)化，收斂性。 A quasinewton method for Unconstrained optimization Abstract:Newton method is to solving unconstrained optimization problem of one of the most monly used method is in Newton put forward on the basis of method the key to success is the use of the Hesse matrix the curvature of the information but provide Hesse matrix calculation workload is big, and some of the objective function Hesse matrix is difficult to calculate, even bad work method through the first derivative constructed out of the curvature approximate avoid a for the Hesse matrix couldn39。t ask the second order greatly reduced the plexity of the calculation and quasinewton method also has superlinear convergence and convergence speed advantages quasinewton algorithms in solving unconstrained optimization has irreplaceable position in also many scholars research project of this paper will be depend on the basis of predecessors39。 to be Newton method and the convergence proof and presents numerical analysis.Key words:Quasinewton,Unconstrained optimization ,Convergence1前 言 最優(yōu)化方法是近幾十年形成的，它主要運(yùn)用數(shù)學(xué)方法研究各種系統(tǒng)的優(yōu)化途徑及方案，為決策者提供科學(xué)決策的依據(jù)。最優(yōu)化方法的主要研究對象是各種有組織系統(tǒng)的管理問題及其生產(chǎn)經(jīng)營活動。最優(yōu)化方法的目的在于針對所研究的系統(tǒng)，求得一個合理運(yùn)用人力、物力和財力的最佳方案，發(fā)揮和提高系統(tǒng)的效能及效益，最終達(dá)到系統(tǒng)的最優(yōu)目標(biāo)。實踐表明，隨著科學(xué)技術(shù)的日益進(jìn)步和生產(chǎn)經(jīng)營的日益發(fā)展，最優(yōu)化方法已成為現(xiàn)代管理科學(xué)的重要理論基礎(chǔ)和不可缺少的方法，被人們廣泛地應(yīng)用到公共管理、經(jīng)濟(jì)管理、工程建設(shè)、國防等各個領(lǐng)域，發(fā)揮著越來越重要的作用。本章將介紹最優(yōu)化方法的研究對象、特點，以及最優(yōu)化方法模型的建立和模型的分析、求解、應(yīng)用。主要是線性規(guī)劃問題的模型、求解（線性規(guī)劃問題的單純形解法）及其應(yīng)用――運(yùn)輸問題；以及動態(tài)規(guī)劃的模型、求解、應(yīng)用――資源分配問題。 無約束優(yōu)化問題是最優(yōu)化問題的基礎(chǔ)，是數(shù)值計算領(lǐng)域中十分活躍的研究課題之一，歷時較長，獲得的成果也較多，有關(guān)的方法和理論比較成熟。其中非線性無約束最優(yōu)化方法在科學(xué)計算和工程分析中起著越來越重要的作用。牛頓法作為求解最優(yōu)化問題最有效的方法之一。它的基本思想是利用目標(biāo)函數(shù)的二次泰勒展開，并將其極小化。在非線性無約束最優(yōu)化問題中，對于正定的二次函數(shù)，牛頓法一步即可達(dá)到最優(yōu)解。對于非二次函數(shù)，牛頓法并不能保證經(jīng)有限次迭代求得最優(yōu)解，但由于目標(biāo)函數(shù)在極小點附近似于二次函數(shù)，故當(dāng)初始點靠近極小點時，牛頓法的收斂速度一般是很快的，因此這種方法得到了很多人的認(rèn)可與利用。但牛頓法中每次迭代都需要計算Hessian矩陣，但計算Hessian矩陣工作量大，并且有的很難計算，甚至不好求，而以擬牛頓方程為基礎(chǔ)構(gòu)造的擬牛頓算法克服了牛頓法的這一不足。因此擬牛頓法被廣泛的認(rèn)可，她的應(yīng)用相當(dāng)廣泛?？梢载挢愫芏鄦栴}。并有很多人多擬牛頓法做了研究。 對于擬牛頓法的算法設(shè)計，也已經(jīng)有不少學(xué)者提出過，早年袁亞湘與孫文瑜合作《最優(yōu)化理論與方法》一書中對其進(jìn)行了詳細(xì)的設(shè)計，而后也有不少學(xué)者對其進(jìn)行研究。 對于擬牛頓法的收斂性證明，時平平在2008年其碩士論文《關(guān)于無約束最優(yōu)化問題的擬牛頓算法研究》中詳細(xì)的做了證明。第1章 最優(yōu)化基礎(chǔ) 在這一章里我們首先簡要介紹判斷無約束最優(yōu)化問題的最優(yōu)解常用的最優(yōu)性條件，接著給出擬牛頓算法的概述，最后說明本文的主要工作． 最優(yōu)化理論與方法是一門應(yīng)用性很強(qiáng)的年輕學(xué)科，它研究某些數(shù)學(xué)上定義的問題的最優(yōu)解，即對于給出的實際問題，從眾多的方案中找出最符合要求的最佳方案．在電子計算機(jī)的推動下，最優(yōu)化理論與方法在經(jīng)濟(jì)計劃、工程設(shè)計、生產(chǎn)管理、交通運(yùn)輸?shù)确矫娴玫搅藦V泛應(yīng)用，成為一門十分活躍的學(xué)科．最優(yōu)化問題根據(jù)有無約束條件可分為約束和無約束最優(yōu)化問題．現(xiàn)實生活中存在的主要是有約束的問題，但我們可以通過某些處理將有約束的問題轉(zhuǎn)化為無約束的問題處理，并且無約束最優(yōu)化問題的求解相對容易的多，而解法的基本思想又常常可以推廣到一般有約束的情況，因此使得研究無約束最優(yōu)化問題的計算方法顯得尤為重要，人們對它的研究情況也十分重視． 對于無約束問題, . （）的最優(yōu)性條件可以分為一階條件和二階條件．設(shè)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)存在，且分別表示為 ,則我們有以下定理．(一階必要條件)設(shè)：寸R1在開集上連續(xù)可微。若(1．0)的局部極小點，則 .(二階必要條件)設(shè)：在開集上二階連續(xù)可微，若是(1．O)的局部極小點，則 .(二階充分條件)設(shè)：在開集D上二階連續(xù)可微，則是的一個嚴(yán)格局部極小點充分條件是 ，是正定矩陣. 滿足的點稱為函數(shù)的平穩(wěn)點或駐點，一般目標(biāo)函數(shù)的平穩(wěn)點不定是極小點，但若目標(biāo)函數(shù)是凸函數(shù)，則其平穩(wěn)點就是其極小點，且為總體極小點．(凸充分性定理)設(shè)：是凸函數(shù)，且 。則是總體極小點的充分必要條件是 . 收斂速度是迭代方法的又一重要性質(zhì)。對于一個不可能在有限步內(nèi)找到最優(yōu)解的最優(yōu)化方法，我們不僅要求它收斂，還要要求它有較快的收斂速度，這是因為一個收斂很慢的方法往往需要很長的時間才能得到滿足精度要求的最優(yōu)解的近似。因而不是一個有效的方法。設(shè)向量序列收斂于，定義誤差序列 ,如果存在常數(shù)和使成立 .就說序列以為因子階收斂于。最常見的為和的情形，當(dāng)，時稱為線性收斂，這是的誤差序列具有以下性能： .依最簡單的情形，在上式中取等號，設(shè)初始誤差為1，如果=，則誤差序列為 1，，，…，如果，則誤差序列為 1，，…，可以看出越小，收斂越快。如果從同一初始點開始，收斂快的算法可以用較少的迭代次數(shù)達(dá)到預(yù)定的精度，而收斂慢的算法則需要較多的迭代次數(shù)才能得到相同精度要求的點。 當(dāng)時，稱序列超線性收斂于，超線性收斂是一種比線性收斂快的收斂，多數(shù)的最有化方法具有超線性收斂的特性，在上述收斂率的定義中，所有的收斂獨(dú)屬于超線性收斂。事實上，由