【導(dǎo)讀】途徑及方案，為決策者提供科學(xué)決策的依據(jù)。最優(yōu)化方法的目的在于針對所研。的效率及效益，最終達到系統(tǒng)的最優(yōu)目標(biāo)。實踐表明，隨著科學(xué)技術(shù)的日益進。不可缺少的方法，被人們廣泛地應(yīng)用到公共管理、經(jīng)濟管理、國防等各個領(lǐng)域，發(fā)揮著越來越重要的作用。例得出相應(yīng)的數(shù)值結(jié)果，然后驗證該方法是否有效。法越來越受重視。人工神經(jīng)網(wǎng)絡(luò)的研究起源于1943年和McCulloch和Pitts的工作。Hopfield首先引入Lyapuov能量函數(shù)用于5判斷網(wǎng)絡(luò)的穩(wěn)定性，提出了Hopfield單層離散模。型；Hopfield和Tank又發(fā)展了Hopfield單層連續(xù)模型。模擬電路模型，并使用系統(tǒng)微分方程的Lyapuov函數(shù)研究了電子電路的穩(wěn)定性。都有力地促進了對神經(jīng)網(wǎng)絡(luò)優(yōu)化方法的研究。最優(yōu)化問題一直都是模糊理論應(yīng)用最為廣泛的領(lǐng)域之一。典的規(guī)劃問題來解決。應(yīng)用共軛梯度法，便得到了一種更有效的光滑支持向量機方法。1．了解共軛梯度法的背景和意義。2．建立一個求解無約束最優(yōu)化問題的共軛梯度算法。應(yīng)用共軛梯度法完成最優(yōu)化設(shè)計。

　　

【正文】 ? ， 2222222 2 ?????????f . 值得注意的是，在共軛梯度法中，初始方向 1d 應(yīng)取最速下降方向，否則產(chǎn)生的方向不一定是共 軛方向 . 例 3 用共軛梯度法求 2221 2121)( xxxf ??的最小點 . 解 取初始點 Tx )1,1()1( ?? ，由題可知 Txxxf ),()( 21?? ， Tg )1,1()1( ? 取初始方向 )1(1 )1,0( gd T ???? ，令 TTTdxx )1,1()1,0()1,1(1)1( ??? ??????? ，則Txf )1,1()( ???? . 從方程 0)( 1 ?? dxf T 中，解出沿 1d 的步長 11?? .因而 Tdxx )0,1(11)1()2( ??? ? ， )2()2( )0,1()( gxf T ??? . 由于212)1(2)2()2(1 ??gg? ，可得??????????????2111)2(1)2(2 dgd ?. 接下來驗證 12)( Gdd T .取 ????????? 10 01G，因而可得 0211010 01)21,1()( 12 ?????????? ????????????Gdd T. 這說明 1d 與 2d 對 G 不共軛，從 )2(x 出發(fā)沿方向 2d 求解也得不到 )(xf 的最小點 .這個例子充分解釋了，在選取初始方向 1d 時，應(yīng)取最速下降方向，否則產(chǎn)生的方向不一定是共軛方向 . 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 15 第三章 算法的收斂性 本章主要分兩部分，第一部分先給出共軛梯 度法的一些性質(zhì)和收斂性定理；然后 第二部分則是分析算法的 收斂性，通過總結(jié)已有學(xué)者的研究結(jié)果，證明該算法在一定條件下具有全局收斂性 ]1917[ ? . 共軛梯度法的性質(zhì)與收斂性定理 共軛梯度法的性質(zhì) 定理 對于二次凸函數(shù) )(21)( nTT RxcxbGxxxf ????，若用共軛梯度法求解且采用線性最優(yōu)步長，則算法對任一迭代步 k ，有下述關(guān)系式成立： 0)( ?jTk Gdd ， 11 ??? kj ， (31) 0)( )()( ?jTk gg ， 11 ??? kj ， (32) 2)()()( kkTk ggd ?? ， (33) 且算法最多 n 步便可求得 )(xf 的最小點 . 證明 利用歸納法 .由共軛梯度法的計算公式，若初始點為 )1(x ，則取初始方向)1(1 gd ?? ，又由步長采用精確線性搜索求得，因而步長 1? 滿足關(guān)系 0)( 1)2( ?dg T 即0)( )1()2( ?gg T .由 1)2(1)2(2 dgd ???? ， )2(1? 的選擇使 0)( 12 ?Gdd ，即式 (31)成立 .由1d 的定義，當(dāng) 1?k 時式 (33)成立 .因而當(dāng) 1?j 時式 (31)， (32)， (33)均成立 . 現(xiàn)設(shè)對于任一迭代步 mk? ，式 (31)～ 式 (33)均成立，要證 1?k 時，它們也成立 . 由式 (25)可得 kkkkkk GdxxGgg ????? ?? )( )()1()()1( ， kkkk Gdgg ???? )()1( . (34) 下面證明式 (31)和式 (32)當(dāng) 1?k 時成立 .由式 (34)和式 (225)，可得 )()()()()()( 1)( 1)()()()()()1( ??? ????? jjjjTkkTkjTkkjTkjTk ddGdgGgdgggg ??? (35) 又由 1?kd 的定義，以及在式 (34)中，令 jk? ，可得 jTkkkkjTk GddgGdd )()( )1()1()1( ??? ??? ? 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 16 jkkkjTk GddGdg )()( 1)1( ?? ??? ? jkkkjjTkj Gddggg )()()(1 1)1()()1( ??? ??? ??. (36) 由歸納假設(shè)，式 (31)～ 式 (33)，當(dāng) kj? 時成立，因而式 (35)與式 (36)的右端都為零，即 0)( )1( ?? jTk Gdd , 1??kj , 0)( )()1( ?? jTk gg ， 11 ??? kj (37) 成立，亦即式 (31)和式 (32)當(dāng) kj? 時對 1?k 也成立 . 當(dāng) kj? 時，式 (35)可寫成 kTkkkTkkTk Gddgggg )()()( )()()1( ???? . 對 于 k? ，我們在式 (34)中兩邊乘 Tkd)( ，注意到 0)( )1( ?? kTk dg ，將 k? 解出，利用式(33)的歸納假設(shè)，可得 k? 的另一個表達式 kTkkTkkTkkTkk Gdd ggGdd dg )( )()( )()()()( ???? . (38) 將此式代入上式，可得 0)()( )()()()()()()()()1( ???? kTkkTkkTkkTkkTk GddGdd gggggg (39) 成立，即式 (32)對 1?k 成立 . 對于式 (31)，當(dāng) kj? 時，式 (36)變?yōu)? kTkkkkTkkkTk GddggGdd )()(1)( 1)1()1(1 ???? ??? ??， 利用式 (38)以及 1?kk? 的 FR 公 式，可知 0)()( )()()( )()( )()()1()1()()()1()1(1 ???? ????? kTkkTkkTkkTkkTkkTkkTk Gddgg ggGddgg ggGdd (310) 成立，亦即式 (31)成立 . 對于式 (33)，當(dāng) 1??kj 時，由 1?kd 的定義及精確搜索，可得 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 17 2)1()1()1()1(1)1()1(1 )()()( ???????? ??????? kkTkkTkkkkkTk ggggdggd ?. (311) 因而上述式 (39)～式 (311)當(dāng) kj? 時也成立，這就充分證明了式 (31)～式 (33)當(dāng) 1??kj 時也成立 . 共軛梯度法的收斂性定理 前面我們已經(jīng)簡要給出了 FR 共軛梯度 法，下 面我們簡述一下 FR 共軛梯度法應(yīng)用于 極小化非二次函數(shù)時，在精確一維搜索 ]20[ 與非精確強 Wolfe 搜索 ]21[ 下的收斂性問題 .因此，現(xiàn)在我們要引用一維搜索與強 Wolfe 搜索的基本概 念 . 在迭代算法求步長 k? 的計算中，要有充分下降性要求，否則當(dāng)移動步長 k? 很小時，點 kkk dx ??)( 與點 )(kx 很接近，函數(shù)值 )( )( kkk dxf ?? 與 )( )(kxf 相差很小 .因此我們必須有求得步長 k? 的有效方法 . 令 )()( )( kk dxf ??? ?? ， 若 )(?? 是一元函數(shù) .則求 k? 使 )0()( ??? ?k 的方法，稱為 一維搜索方法 . 一維搜索方法有多種，下面介紹兩種常用的方法 . (1)線性最 優(yōu)步長 在式 )(m i n ()( )()( kkkkk dxfdxf ?? ??? ( 0?? )中求 )()( ( kk dxf ??? ?? ( 0?? )的最小點或第一個極小點對于的步長 k? .這種方法是理論上的，常在理論論證中使用，稱為精確線性搜索 .而且在上章的算法實例中都使用了該方法求線性最優(yōu)步長 . (2)Wolfe 方法 給定數(shù) )21,0(?? ， )1,(??? .求 k? 使下列兩個不等式 kTkkkkkk dgdxfxf )()()( )()()( ??? ???? ， (312) kTkkTkkk dgddxf )()( )()( ?? ??? (313) 同時成立 .式 (313)有時也可用更強的條件 kTkkTkkk dgddxf )()( )()( ?? ???? (314) 來代替 .條 件 (312)和條件 (314)則稱為強 Wolfe 搜索 .若 0?? 充分小，則式 (314)就變成了近似精確線性搜索 . 接下來是給出共軛梯度法的一些收斂性定理，同樣是針對 FR 共軛梯度法 . 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 18 對于 FR 共軛梯度法，對于當(dāng)前點 )(kx ，令 )1(1)( ????? kkkk dgd ?， 1?k ， (315) 其中的組合系數(shù) 00?? ，2)1(2)(1 ?? ? kkk gg? . (316) 作一維搜索求 k? ，令 kkkk dxx ???? )()1( ， (317) 重復(fù)上述計算 .算法停止規(guī)則，可取 0)( )()( ?? kk xgg . 定理 （ FR 共軛梯度法的收斂性定理）設(shè) )(xf )( nRx? 連續(xù)可微，水平集})()({ )1(xfxfxL ?? 有界，則當(dāng) FR 算法采用一維精確搜索應(yīng)用于極小化 )(xf 時，若產(chǎn)生的迭代點列為 }{ )(kx ，則有以下結(jié)論： (1)若 }{ )(kx 為有窮點列，則其最后一點 )(kx 為 )(xf 的穩(wěn)定點 . (2)若 }{ )(kx 為無窮點列，則其任一極限點是 )(xf 的穩(wěn)定點 . 證明 (1)當(dāng) }{ )(kx 為有限點列時，由停止規(guī)則可知，點列的最后一點有0)( )( ?kxg ，因而 )(kx 為 )(xf 的穩(wěn)定點或近似穩(wěn)定點 . (2)若 }{ )(kx 為無窮點列，則有 0)( )( ?? kxf 與 0?kd .由式 (315)及一維搜索性質(zhì)可得 0)()( 2)(1)(12)()( ?????? ?? kkTkkkkTk gdggdg ?， kd 是 )(xf 在 )(kx 處的一個下降方向，因而 )()( )()1( kk xfxf ?? ， )}({ )(kxf 是單調(diào)下降序列且點列 Lx k ?}{ )( .由水平集合 L 有界，可知 }{ )(kx 為有界序列且必有極限點存在 . 設(shè)極限點為 ?x ，則存在 }{ )(kx 的子列 }),2,1{(}{ 1)(1 ??Kx Kk，使得 西安石油大學(xué)本科 畢業(yè)設(shè)計（論文） 19 ??? ?xx kk )(lim. 因為 }{}{ )()(1 kKk xx ?，所以 )}({)}({ )()(1 kKk xfxf ?.由 )(xf 的連續(xù)性 ,可知對于1Kk? ，有 ?????? ??? fxfxfxf kkkk )(l i m)l i m()( )()(. 同理， }{ )1( ?kx 也是有界點列，因而有極限點 x 及子列2}{ )1( Kkx ?，當(dāng) 2Kk? 時， xx kk ???? )1(lim， ??????? ??? fxfxfxf kkkk )(l i m)l i m()( )1()1(. 于是，我們得到 ?? ?? fxfxf )()( . (318) 接下來證明 0)( ?? ?xf .用反證法，設(shè) 0)( ?? ?xf ，并令 0)( ???? ?? xfd ，則在 ?x處，對于充分小的 0?? ，有 )()( ??? ?? xfdxf ? 成立 .由一維精確搜索，