【文章內(nèi)容簡介】 了對神經(jīng)網(wǎng)絡(luò)優(yōu)化方法的研究 . (2)模糊優(yōu) 化方法 最優(yōu)化問題一直 都 是模糊理論應(yīng)用最為廣泛的領(lǐng)域之一 .自從 Bellman ]9[ 和 70年代初期對這一研究作出開創(chuàng)性工作以來 ， 其主要研 究集中在一般意義下的理論研究、 模糊線性規(guī)劃 、 多目標(biāo)模糊規(guī)劃 、以及模糊規(guī)劃理論在 隨機規(guī)劃 及許多實際問題中的應(yīng)用 .主要的研究方法是利用模糊集的 ? 截集或確定模糊集的 隸屬函數(shù)將模糊規(guī)劃問題轉(zhuǎn)化為經(jīng)典的規(guī)劃問題來解決 . (3)支持向量機方法 支持向量機是由 Vapnik ]10[ 領(lǐng)導(dǎo)的 ATamp。TBell實驗室研究小組在 1963年提出的一種新的非常有潛力的分類技術(shù)， SVM ]11[ 是一種基于統(tǒng)計學(xué)習(xí)理論的模式識別方法，主要應(yīng)用于模式識別領(lǐng)域 .由于當(dāng)時這些研究尚不十分完善，在解決模式識別問題中往往趨于保守，且數(shù)學(xué)上比較艱澀，這些研究一直沒有得到充分的重視 .直到 90年代，統(tǒng)計學(xué)習(xí)理論的實現(xiàn)和由于神經(jīng)網(wǎng)絡(luò)等較新興的機器學(xué)習(xí)方法的研究遇到一些重要的困難，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問題、過學(xué)習(xí)與欠學(xué)習(xí)問題、局部極小點問題等，使得 SVM迅速發(fā)展 和完善，在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中 . 共軛梯度法在以上的優(yōu)化方法中都得到了應(yīng)用，例如，有學(xué)者就應(yīng)用共軛梯度法對網(wǎng)絡(luò)的權(quán)值和閡值進行優(yōu)化計算，完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法 ]12[ ；還有學(xué)者在支持西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 4 向量 機方法中應(yīng)用共軛梯度法， 得到了一種更有效的光滑支持向量機 ]13[ 方法 . 除此之外，共軛梯度法還被應(yīng)用于其他一些優(yōu)化方法，由于本文對應(yīng)用領(lǐng)域不做專門研究，其他應(yīng)用共軛梯 度法的優(yōu)化方法不再詳細(xì)列舉 . 本文工作和結(jié)構(gòu)安排 本文研究的課題主要圍繞無約束最優(yōu)化方法下的共軛梯度法進行 .通過一個具體的實際問題， 結(jié)合參考資料已經(jīng)自己所了解的知識， 建立 一個 求解該問題的共軛梯度算法 ；針對該算法，運用所學(xué)知識和一些學(xué)者的研究結(jié)果 ，對該算法在指定的搜索方向下的全局收斂性，進行討論分析；基于以上的步驟實現(xiàn)后，通過MATLAB 編程，代入實例中的相關(guān)數(shù)據(jù)得到一些相關(guān)的數(shù)值結(jié)果，最后對數(shù)據(jù)進行分析驗證，判斷該算法是否有效 .具體內(nèi)容安排如下： 第一章為緒論 .首先闡明了所選課題的研究背景和意義； 然后介紹了共軛梯度法的研究現(xiàn)狀；最后是全文的內(nèi)容和結(jié)構(gòu)安排 . 第二章引入共軛梯度法理論 .簡單的介紹最優(yōu)化方法；然后詳細(xì)的闡述共軛梯度法，并引入共軛梯度法的一些基本概念，計算 公式和迭代步驟；引入一個實際問題，建立共軛梯度算法，為以后各章的研究奠定了基礎(chǔ) . 第三章分析算法的全局收斂性 .該章主要分兩部分， 第一部分先給出共軛梯度法的一些性質(zhì)和收斂性定理；然后 第二部分則是分析算法的全局收斂性，通過總結(jié)已有學(xué)者的研究結(jié)果，證明該算法在一定條件 下 具有全局收斂性 . 第四章驗證算法的有效性 .也是論文的關(guān)鍵部分 ，主要思想就是 通 過MATLAB 編程 ，代入實例中的相關(guān)數(shù)據(jù)得到一些相關(guān)的數(shù)值結(jié)果，最后對數(shù)據(jù)進行分析驗證，判斷該算法是否有效 . 最后是 結(jié)論 .系統(tǒng)的總結(jié)了本文的研究工作 ， 不僅 指出了一些有待解決的問題 ， 還 展望 了共軛梯度法 未來 的研究方向 . 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 5 第二章 共軛梯度法 本章先簡單的介紹最優(yōu)化方法；然后詳細(xì)的闡述共軛梯度法，并引入共軛梯度法的一些基本概念，迭代公式和迭代步驟；最后引入一個實際問題，建立共軛梯度算法，為以后各章的研究奠定了基礎(chǔ) . 最優(yōu)化方法 最優(yōu)化方法 大體 可分為無約束最優(yōu)化方法和約束最優(yōu)化方法， 而 無約束最優(yōu)化方法 就是求 n 元函數(shù) ),( 2 nxxxf ? 的極值的方法，它包括最速下降法， 擬 牛頓法，以及共軛梯度法和信賴域方法 .其中 最速下降法 ]2[ 是以負(fù)梯度方向作為下降方向的極小化算法，又稱梯度法，是 1874年法國科學(xué)家 Cauchy提出的，該方法是無約束最優(yōu)化中最簡單的方法；擬牛頓法是目前為止最為行之有效的一種算法，具有收斂速度快、算法穩(wěn)定性強、編寫程序容易等優(yōu)點，在現(xiàn)今的大型計算程序中有著廣泛的應(yīng)用 . 我們知道 約束優(yōu)化問題是在自變量滿足約束條件的情況下目標(biāo)函數(shù)最小化的問題，其中約束條件既可以是等式約束也可以是不等式約束 ,而約束 最 優(yōu)化方法就是用來求解這一類問題的方法，它 包括單純形法，解線性規(guī)劃的圖解法，等式約束的罰函數(shù)法，以及 Rosen梯度投影法 .其中單純形法 ]3[ 是 由 美國數(shù)學(xué)家 .丹齊克于 1947年首先提出來的，其 理論根據(jù)是：線性規(guī)劃問題的可行域是 n 維向量空間 nR 中的多面凸集 ，其最優(yōu)值如果存在 ，必在該凸集的某頂點處達(dá)到， 而頂點所對應(yīng)的可行解稱為基本可行解 .以上是最優(yōu)化方法的 一些 基本介紹，接下來本文 將討論最優(yōu)化方法下的共軛梯度法 . 共軛梯度法理論 共軛梯度法的概念 共軛梯度法 是在每一迭代步利用當(dāng)前點處的最速下降方向來生成二次函數(shù)f 的 Hesse 矩陣 G 的共軛方向，并建立求 f 在上的極小點的方法 .這一方法早年稱為共軛斜量法，于 1952 年由 Hestenes ]4[ 和 Stiefle 提出來，用于解正定系數(shù)矩陣的線性方程組 .后經(jīng) Fletcher ]5[ 和 Reeves 等人研究并應(yīng)用于優(yōu)化問題，取得了豐富的成果， 共軛梯度法也成為當(dāng)前最優(yōu)化方法的重要算法類 . 共軛梯度法是利用目標(biāo)函數(shù)的梯度逐步產(chǎn)生共軛方向并將其作為搜索方向的方法 .本節(jié)先引進共軛方向的概念，討論目標(biāo)函數(shù)是二次函數(shù) 產(chǎn)生 共軛方向的方法，由此得到無約束二次規(guī)劃問題的共軛梯度法，然后將該算法推廣到求解一般的無約束非線性 規(guī)劃問題 . 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 6 共軛方向 及 性質(zhì) 在第一章我們已經(jīng)給出共軛方向的 一些 基本 概念 和性質(zhì) ，在此我們 再次詳細(xì)的介紹一下該概念，為后面建立共軛梯度算法做鋪墊 . 定義 設(shè) nnRH ?? 是對稱正定陣 . 若對非零向量 nRqp ?, ，有 0?HqpT (21) 則稱向量 p ， q 對 H 共軛 . 例如 H = ???????? 11 12， ? ?Tp 1,1? ， Tq ???????? 1,32，則 ? ? 01 3211121,1 ????????? ??????????Hqp T ， 所以 向量 p ， q 對 H 共軛 . 當(dāng) nIH? 時， (21)變?yōu)?0?qpT ，即 p 與 q 互相正交，由此可見，“共軛”概念是“ 正交 ”概念的推廣 . 定義 若對非零向量組 nm Rdd ?,1 ? 中任意兩個向量 對 H 共軛，即 0?jTi Hdd ， i?1 ， mj? ， ji? 成立，則稱 nm Rdd ?,1 ? 為 H 的共軛向量組 . 定 理 H 是共軛向量組，必是線性無關(guān)向量組 . 定理 假設(shè) )(xf 為連 續(xù)可微的嚴(yán)格凸函數(shù)，且存在極小點， kddd , 21 ? 為一組線性無關(guān)的向量，則 ??? ?? kjjjk dxx1)1()1( ? (22) 是 )(xf 在通過點 )1(x 由向量 kddd , 21 ? 生成的 k 維超平面 ]14[ kII 上的唯一極小點的充要條件是： 0)( )1( ?? ? jTk dxf ， kj ,2,1 ?? . (23) 證明 設(shè) kIIx? ，則 ????kjjjdxx1)1( ?， j? 為任意實數(shù) .將 x 的表達(dá)式代 入西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 7 )(xf ，令 )(xf = ???kjjjdxf1)1( )( ? = )(),( 21 ?????? ?k? ， ),( 21 k???? ?? . 可證 ),( 21 k???? ? 亦是嚴(yán)格凸函數(shù) .因而 )(xf 在 kII 上的極小點就是 ? 的無約束極小點 .設(shè) 極小點為 ?? ，則它應(yīng)滿足 0)( ???????? jTjj dxff???， kj ,2,1 ?? . (24) 將 ?? 解出代入式 (22)得 )1( ?? kxx ，由式 (24)既得式 (23)成立 . 定理 設(shè) cxbGxxxf TT ??? 21)( ， G 正定， kddd , 21 ? 是關(guān)于 G 的共軛方向組 .若以 )1(x 為初始點順次沿方向 kddd , 21 ? 采用精確搜索進行迭代，則 )1(?kx 是)(xf 在 kII 上的最小點 .當(dāng) nk? 時， )1(?nx 就是 )(xf 在 nR 上的最小點 . 這個定理說明，若能得到 G 的 n 個共軛方向 id ， ni ,2,1 ?? ，則從任一初始點出發(fā)，順次沿方向 nddd , 21 ? 采用精確搜索求步長進行迭代，則 k 步迭代后得到的點)1(?kx 是 kII 上的最小點， n 步迭代后，其最后一點 )1(?nx 即為 )(xf 在 nR 上的最小點 .這一 定理 又 稱為擴張子空間定理 ]15[ . 共軛梯度法的 公式 結(jié)構(gòu) 共軛梯度法 是在每一迭代步利用當(dāng)前點處的最速下降方向來生成二次函數(shù)f 的 Hesse 矩陣 G 的共軛方向，并建立求 f 在上的極小點的方法 .根據(jù)這個思想，可以給出共軛梯度法的公式結(jié)構(gòu) . 設(shè) cxbGxxxf TT ??? 21)( ， 其中， G 為 n 階對稱正定矩陣， b 為 n 維常量 ， c 為實數(shù)， )(xf 的梯度向量為 bGxxgxf ???? )()( . (25) 我們?nèi)〉谝粋€方向 1d 為初始點 )1(x 處的負(fù)梯度方向，即 1d = )1()1()1( )()( gxgxf ?????? ， 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 8 從 )1(x 出發(fā)沿 1d 做精確一維搜索求的步長 1? ，得點 11)1()2( dxx ??? ， 由定理 可得 1? 滿足條件 0)()( 1)2(1)2( ??? dgdxf TT . (26) 在 )2(x 處，我們可以用 )2(x 的負(fù)梯度方向 )2(g? 與 1d 的組合來生成方向 2d ， 即令 2d = )2(g? + )2(1? 1d (27) 選取一個系數(shù) )2(1? 使得 1d 與 2d 關(guān)于 G 共軛，即令 0)( 12 ?Gdd T (28) 通過這個式子我們可以確定 系數(shù) )2(1? 將式 (27)代入式 (28)可得 )2(1?111)2()( )( Gdd Gdg TT? . (29) 由式 (25)得 11)1()2()1()2( )( GdxxGgg ????? ， (210) 因此 )2(1?)()( )()( )1()2(1)1()2()2(ggd ggg TT???. 又由式 (26)可知，上式可簡化為 )2(1? 2)1(2)2()1(1)2()2())( )( gggd gg TT ???， (211) )2(1? 一經(jīng)求出， 2d 也可求出 .若從 )2(x 出發(fā)沿 方向 2d 的步長 為 2? ， 有 22)2()3( dxx ??? ， 則令方向 2)3(21)3(1)3(3 ddgd ?? ???? ， (212) 選取待定系數(shù) )3(1? 與 )3(2? ，使?jié)M足共軛條件 0)( 3 ?iT Gdd ， 2,1?i