【正文】 本文提出了擬牛頓法的算法，并有程序?qū)崿F(xiàn)。由于故由可得 . 所以 .即 . （）由于正定，故存在，使得對(duì)于充分大的k， .成立，從而有泰勒展式和（）有 （）其中位于與之間。因此，若，則必有,為正。 設(shè)，又該序列的牛頓校正為。 (3)如果將（）用 代替，定理仍然成立。設(shè){}收斂到解點(diǎn)。利用（）得到:對(duì)所有， （）在（）中，第一項(xiàng)和第三項(xiàng)是正的，但有限，第二項(xiàng)小于零，第四項(xiàng)也小于零，且與k有關(guān)，故當(dāng)k充分大時(shí)，上式右邊是負(fù)的，從而給出矛盾。證明 定義 ， . （）由（）和（)得 ， . （）由BFGS校正，計(jì)算其跡和行列式，得 （）和 . （） 定義 ， （）這里是和之間的夾角，于是 . （）又由（）和（），有 . （）現(xiàn)在我們定義 . （）其中表示自然對(duì)數(shù)。，得搜索方向；（或計(jì)算）。實(shí)際上，不等式( . （） 如果上式滿(mǎn)足，則終止搜索，否則，我們可以縮小，或者在區(qū)間[0,]上用二次插值公式求近似極小點(diǎn) . （） 將其作為一個(gè)新的。事實(shí)上，由 ,有 . 稱(chēng)時(shí)的收斂為二次收斂，這時(shí)誤差序列的性能可以用下述不等式表示 .二次收斂是一種更快的收斂，還要考察上式取等式時(shí)的情形，設(shè)初始誤差為1，則誤差序列為 1，…，可以看到，二次收斂的方法每一次迭代近似解得精度就增加一倍。若(1．0)的局部極小點(diǎn)，則 .(二階必要條件)設(shè)：在開(kāi)集上二階連續(xù)可微，若是(1．O)的局部極小點(diǎn)，則 .(二階充分條件)設(shè)：在開(kāi)集D上二階連續(xù)可微，則是的一個(gè)嚴(yán)格局部極小點(diǎn)充分條件是 ，是正定矩陣. 滿(mǎn)足的點(diǎn)稱(chēng)為函數(shù)的平穩(wěn)點(diǎn)或駐點(diǎn)，一般目標(biāo)函數(shù)的平穩(wěn)點(diǎn)不定是極小點(diǎn)，但若目標(biāo)函數(shù)是凸函數(shù)，則其平穩(wěn)點(diǎn)就是其極小點(diǎn)，且為總體極小點(diǎn)．(凸充分性定理)設(shè)：是凸函數(shù)，且 。對(duì)于非二次函數(shù)，牛頓法并不能保證經(jīng)有限次迭代求得最優(yōu)解，但由于目標(biāo)函數(shù)在極小點(diǎn)附近似于二次函數(shù)，故當(dāng)初始點(diǎn)靠近極小點(diǎn)時(shí)，牛頓法的收斂速度一般是很快的，因此這種方法得到了很多人的認(rèn)可與利用。實(shí)踐表明，隨著科學(xué)技術(shù)的日益進(jìn)步和生產(chǎn)經(jīng)營(yíng)的日益發(fā)展，最優(yōu)化方法已成為現(xiàn)代管理科學(xué)的重要理論基礎(chǔ)和不可缺少的方法，被人們廣泛地應(yīng)用到公共管理、經(jīng)濟(jì)管理、工程建設(shè)、國(guó)防等各個(gè)領(lǐng)域，發(fā)揮著越來(lái)越重要的作用。同時(shí)也是很多學(xué)者研究的課題。 2．基本要求： 對(duì)擬牛頓法給出合理的算法；利用理論知識(shí)對(duì)算法合理性進(jìn)行證明 對(duì)其收斂性以及收斂速度 進(jìn)行分析證明。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。 畢 業(yè) 論 文題 目： 無(wú)約束最優(yōu)化問(wèn)題的擬牛頓法 誠(chéng) 信 聲 明本人聲明：本人所呈交的畢業(yè)設(shè)計(jì)（論文）是在老師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果；據(jù)查證，除了文中特別加以標(biāo)注和致謝的地方外，畢業(yè)設(shè)計(jì)（論文）中不包含其他人已經(jīng)公開(kāi)發(fā)表過(guò)的研究成果，也不包含為獲得其他教育機(jī)構(gòu)的學(xué)位而使用過(guò)的材料；我承諾，本人提交的畢業(yè)設(shè)計(jì)（論文）中的所有內(nèi)容均真實(shí)、可信。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。寫(xiě)出畢業(yè)設(shè)計(jì)說(shuō)明書(shū)，完成全部研究工作和畢業(yè)論文。本論文將依靠前人的基礎(chǔ),對(duì)擬牛頓法進(jìn)行介紹并對(duì)其收斂性進(jìn)行證明,同時(shí)給出數(shù)值分析。本章將介紹最優(yōu)化方法的研究對(duì)象、特點(diǎn)，以及最優(yōu)化方法模型的建立和模型的分析、求解、應(yīng)用。但牛頓法中每次迭代都需要計(jì)算Hessian矩陣，但計(jì)算Hessian矩陣工作量大，并且有的很難計(jì)算，甚至不好求，而以擬牛頓方程為基礎(chǔ)構(gòu)造的擬牛頓算法克服了牛頓法的這一不足。則是總體極小點(diǎn)的充分必要條件是 . 收斂速度是迭代方法的又一重要性質(zhì)。 一個(gè)理想的算法終止準(zhǔn)則為 .然而由于是未知的，這樣的準(zhǔn)則并不具有任何實(shí)用價(jià)值。第2章 擬牛頓法算法設(shè)計(jì) 擬牛頓法條件 考慮目標(biāo)函數(shù)在當(dāng)前點(diǎn)處的二階模型 . （.）其中，是對(duì)稱(chēng)正定矩陣，是Hesse近似，它將在每次迭代中進(jìn)行校正。，并令。不難證明。這矛盾表明存在子序列{}，使得，從而 . （）（b），問(wèn)題是強(qiáng)凸的，這表明。則當(dāng)且僅當(dāng) . （）時(shí)，序列{}超線(xiàn)性收斂到。這個(gè)定理是基本的和一般的，當(dāng)我們討論每個(gè)具體的擬牛頓法的超線(xiàn)性收斂性時(shí)，都要驗(yàn)證充要條件（）。由于，則 .因此等價(jià)于 . （）上式表明當(dāng){}超線(xiàn)性收斂時(shí)，作為的近似向量，其對(duì)稱(chēng)誤差應(yīng)趨于零。反之，若,為正且（）成立，則 .由于，故得（）。又由泰勒展式可得利用（），有. （）由（）和（）可知成立，從而對(duì)于充分大的k。在程序?qū)崿F(xiàn)過(guò)程中選用了Armijo非精確線(xiàn)搜索求步長(zhǎng)。對(duì)其收斂性進(jìn)行更完善的證明。到最后能夠順利的編寫(xiě)出程序再調(diào)試成功。 我要對(duì)我的導(dǎo)師xx老師表示誠(chéng)摯的感謝。 sigma=。F=39。while norm(,2)epsilon =。%計(jì)算g if(+sigma*rho^t*39。0)=(*sk39。 uu(,3)=rho^tk。disp(num2str())。data=rmfield(data,{39。本人完全意識(shí)到本聲明的法律結(jié)果由本人承擔(dān)。畢業(yè)設(shè)計(jì)（論文）使用授權(quán)聲明本人完全了解濱州學(xué)院關(guān)于收集、保存、使用畢業(yè)設(shè)計(jì)（論文）的規(guī)定。這期間凝聚了很多人的心血，在此我表示由衷的感謝。最后，我要感謝我的父母對(duì)我的關(guān)系和理解，如果沒(méi)有他們?cè)谖业膶W(xué)習(xí)生涯中的無(wú)私奉獻(xiàn)和默默支持，我將無(wú)法順利完成今天的學(xué)業(yè)。最后，我要特別感謝我的導(dǎo)師趙達(dá)睿老師、和研究生助教熊偉麗老師。老師們認(rèn)真負(fù)責(zé)的工作態(tài)度，嚴(yán)謹(jǐn)?shù)闹螌W(xué)精神和深厚的理論水平都使我收益匪淺。從這里走出，對(duì)我的人生來(lái)說(shuō)，將是踏上一個(gè)新的征程，要把所學(xué)的知識(shí)應(yīng)用到實(shí)際工作中去。首先，我要特別感謝我的知道郭謙功老師對(duì)我的悉心指導(dǎo)，在我的論文書(shū)寫(xiě)及設(shè)計(jì)過(guò)程中給了我大量的幫助和指導(dǎo)，為我理清了設(shè)計(jì)思路和操作方法，并對(duì)我所做的課題提出了有效的改進(jìn)方案。（保密論文在解密后遵守此規(guī)定）論文密級(jí)：□公開(kāi) □保密（___年__月至__年__月）(保密的學(xué)位論文在解密后應(yīng)遵守此協(xié)議)作者簽名：_______ 導(dǎo)師簽名：______________年_____月_____日 _______年_____月_____日獨(dú) 創(chuàng) 聲 明本人鄭重聲明：所呈交的畢業(yè)設(shè)計(jì)(論文)，是本人在指導(dǎo)老師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果，成果不存在知識(shí)產(chǎn)權(quán)爭(zhēng)議。39。x* : 39。end =uu。)+(yk39。 break。 t=0。=of(x,m)。global F。Newton Equations and QuasiNewton Methods for Optimization[J]．Annals of Operations Research，2001，103：213—234．[9] Z．X．Wei，Q．X．Li．A new Huang class and its properties for unconstrained optimization problems． Journal of Mathematical Research and Exposition．2005，1：64—71[10] HestenesMR，stiefel EL．Methodsofconjugate gradientsforsolvinglinea