【正文】 k，Wolfe準則成立，從而。 設：（a）和（b），又設為一非奇異矩陣序列。此外，若，則由上面的等式部分可知，從而。為此，我們建立以下引理。又有，從而有（）得收斂到1.下面我們進一步闡述擬牛頓法超線性收斂的幾何意義。假定對某個，由 , （）產生的序列都在D中且收斂到。 (2)（）也是擬牛頓法超線性收斂的充要條件，即當且僅當擬牛頓步在長度和方向上都趨向于牛頓步，則擬牛頓法超線性收斂。我們先證明（）等價于 . （）假定（）成立，則 ()最后一個等式來自（）反之，設（）成立，則由左乘以（）兩邊，得 . （）注意到，從而（）成為 .此即（）?？紤]迭代。這個結果可推廣到所有的Broyden族，即不包括DFP校正。則存在，使得對所有，有 . （）其中是上面定義的常數(shù)。下面，我們利用Wolfe不精確線性搜索的總體收斂性定理證明結果。 設是任意初始對稱正定矩陣，是初始點，（a）（b）成立。步6.，轉步2。，停止。 設：在開集商二次連續(xù)可微，在附近的二次近似為 （）對上式兩邊求導，有 ， （）令 （）（）成為 . （）顯然，如果是正定二次函數(shù)，上述關系式（）精確成立。由于是使得上述不等式成了的最小非負整數(shù)，因而不會太小，從而保證了目標函數(shù)的充分下降，令。因此對于超線性收斂速度的方法， .是一個比較合適的終止準則。 當時，稱序列超線性收斂于，超線性收斂是一種比線性收斂快的收斂，多數(shù)的最有化方法具有超線性收斂的特性，在上述收斂率的定義中，所有的收斂獨屬于超線性收斂。因而不是一個有效的方法。第1章 最優(yōu)化基礎 在這一章里我們首先簡要介紹判斷無約束最優(yōu)化問題的最優(yōu)解常用的最優(yōu)性條件，接著給出擬牛頓算法的概述，最后說明本文的主要工作． 最優(yōu)化理論與方法是一門應用性很強的年輕學科，它研究某些數(shù)學上定義的問題的最優(yōu)解，即對于給出的實際問題，從眾多的方案中找出最符合要求的最佳方案．在電子計算機的推動下，最優(yōu)化理論與方法在經濟計劃、工程設計、生產管理、交通運輸?shù)确矫娴玫搅藦V泛應用，成為一門十分活躍的學科．最優(yōu)化問題根據(jù)有無約束條件可分為約束和無約束最優(yōu)化問題．現(xiàn)實生活中存在的主要是有約束的問題，但我們可以通過某些處理將有約束的問題轉化為無約束的問題處理，并且無約束最優(yōu)化問題的求解相對容易的多，而解法的基本思想又常?？梢酝茝V到一般有約束的情況，因此使得研究無約束最優(yōu)化問題的計算方法顯得尤為重要，人們對它的研究情況也十分重視． 對于無約束問題, . （）的最優(yōu)性條件可以分為一階條件和二階條件．設的一階導數(shù)和二階導數(shù)存在，且分別表示為 ,則我們有以下定理．(一階必要條件)設：寸R1在開集上連續(xù)可微?？梢载挢愫芏鄦栴}。在非線性無約束最優(yōu)化問題中，對于正定的二次函數(shù)，牛頓法一步即可達到最優(yōu)解。 無約束優(yōu)化問題是最優(yōu)化問題的基礎，是數(shù)值計算領域中十分活躍的研究課題之一，歷時較長，獲得的成果也較多，有關的方法和理論比較成熟。最優(yōu)化方法的目的在于針對所研究的系統(tǒng)，求得一個合理運用人力、物力和財力的最佳方案，發(fā)揮和提高系統(tǒng)的效能及效益，最終達到系統(tǒng)的最優(yōu)目標。 A quasinewton method for Unconstrained optimization Abstract:Newton method is to solving unconstrained optimization problem of one of the most monly used method is in Newton put forward on the basis of method the key to success is the use of the Hesse matrix the curvature of the information but provide Hesse matrix calculation workload is big, and some of the objective function Hesse matrix is difficult to calculate, even bad work method through the first derivative constructed out of the curvature approximate avoid a for the Hesse matrix couldn39。擬牛頓算法在求解無約束優(yōu)化問題中占有不可取代的地位。 目 錄摘 要 1前 言 2第1章 最優(yōu)化基礎 4 無約束最優(yōu)化問題的最優(yōu)性條件 4 收斂概念 5 Wolfe準則和Armijo準則 7第2章 擬牛頓法算法設計 9 擬牛頓法條件 9 算法設計 11第3章 收斂性證明 12 總體收斂 12 局部超線性收斂 16第4章 數(shù)值驗算 21 問題模型 21 數(shù)值結果 23總 結 24致 謝 25參考文獻 26附 錄 27無約束最優(yōu)化問題的擬牛頓法摘要：擬牛頓法是求解無約束最優(yōu)化問題最常用的方法之一，擬牛頓法是在牛頓法的基礎上提出來的。討論算法的收斂速度 ，通過數(shù)值試驗對算法的有效性進行驗證。本人授權　　 　 　大學可以將本學位論文的全部或部分內容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存和匯編本學位論文。除了文中特別加以標注引用的內容外，本論文不包含任何其他個人或集體已經發(fā)表或撰寫的成果作品。盡我所知，除文中特別加以標注和致謝的地方外，不包含其他人或組織已經發(fā)表或公布過的研究成果，也不包含我為獲得 及其它教育機構的學位或學歷而使用過的材料。作者簽名： 日期： 年 月 日畢業(yè)設計（論文）原創(chuàng)性聲明和使用授權說明原創(chuàng)性聲明本人鄭重承諾：所呈交的畢業(yè)設計（論文），是我個人在指導教師的指導下進行的研究工作及取得的成果。作者簽名：　　 　 　　 日　 期：　　 　 　　 學位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導師的指導下獨立進行研究所取得的研究成果。作者簽名： 日期： 年 月 日學位論文版權使用授權書本學位論文作者完全了解學校有關保留、使用學位論文的規(guī)定，同意學校保留并向國家有關部門或機構送交論文的復印件和電子版，允許論文被查閱和借閱。在一定的條件下證明該算法的合理性并對其收斂性進行分析。 二、 進度安排及完成時間： 第一階段 (第1－4周) ：進行調研，查閱相關資料，撰寫開題報告，并于第4周星期五 交開題報告； 第二階段 (第5－12周): 在指導教師的指導下，對課題進行研究，按預定要求獲得畢業(yè) 論文開題報告中的預期結果（即進行算法設計，研究算法的合理性，實現(xiàn)算法 等工作），并撰寫畢業(yè)論文，第12周五之前交初稿； 第三階段 (第13－14周): 指導教師對畢業(yè)論文進行批閱，提出修改意見并指導學生進行 畢業(yè)論文的修改,并檢查算法的實現(xiàn)情況（如程序的可行性和通用性等）； 第四階段 (第15周): 指導教師指導學生將畢業(yè)論文定稿，并準備畢業(yè)論文答辯； 第五階段 (第16周): 進行畢業(yè)論文答辯。同時擬牛頓法還具有超線性收斂以及收斂速度快的優(yōu)點。關鍵詞：擬牛頓法，無約束優(yōu)化，收斂性。最優(yōu)化方法的主要研究對象是各種有組織系統(tǒng)的管理問題及其生產經營活動。主要是線性規(guī)劃問題的模型、求解（線性規(guī)劃問題的單純形解法）及其應用――運輸問題；以及動態(tài)規(guī)劃的模型、求解、應用――資源分配問題。它的基本思想是利用目標函數(shù)的二次泰勒展開，并將其極小化。因此擬牛頓法被廣泛的認可，她的應用相當廣泛。 對于擬牛頓法的收斂性證明，時平平在2008年其碩士論文《關于無約束最優(yōu)化問題的擬牛頓算法研究》中詳細的做了證明。對于一個不可能在有限步內找到最優(yōu)解的最優(yōu)化方法，我們不僅要求它收斂，還要要求它有較快的收斂速度，這是因為一個收斂很慢的方法往往需要很長的時間才能得到滿足精度要求的最優(yōu)解的近似。如果從同一初始點開始，收斂快的算法可以用較少的迭代次數(shù)達到預定的精