優(yōu)化方法的數(shù)學(xué)基礎(chǔ)(存儲(chǔ)版)
【正文】 0 g2(x)＝ 0 起作用約束： ( * ) { | ( * ) 0 ,1 , 2 , }jJ j gjm???xx庫恩 — 塔克條件的幾何意義是 : 在約束極小值點(diǎn) 處，函數(shù) 的負(fù)梯度一定能表示成所有起使用約束在該點(diǎn)梯度（法向量）的非負(fù)線性組合。 1211202( 2) 2()02 xxxfx ?????????? ???? ? ??? ??????x1211022()11i xxxg???????? ??? ? ??? ??????x20()1g? ???? ?????x(1)當(dāng)前點(diǎn) 為可行點(diǎn)，因滿足約束條件 ( 1 ) [1 0 ] T?x(1)1(1)2(1)3( ) 0( ) 0( ) 1 0ggg??? ? ?xxx(3) 各函數(shù)的梯度： （ 2）在 起作用約束為 g1和 g2 , 因 ( 1 ) [1 0 ] T?x (1 )3 ( ) 0g ?x1 1 2 2( ) ( ) ( )f g g??? ? ?? ? ? ? ? ?x x x122 2 00 1 1???? ? ? ? ? ?? ? ?? ? ? ? ? ??? ? ? ? ? ?121010??????（ 4）求拉格朗日乘子 ?由于拉格朗日乘子均為非負(fù)，說明 是一個(gè)局部最優(yōu)點(diǎn)，因?yàn)樗鼭M足 KT條件。 ()H ?x167。 (1)x解：函數(shù)在點(diǎn) 的函數(shù)值、梯度和二階導(dǎo)數(shù)矩陣： 11( 1)221111xxxx?? ? ? ???? ? ? ?? ? ? ??????? ? ? ?xx? 簡(jiǎn)化的線性函數(shù) ( 1) ( 1) ( 1)22( ) ( ) ( ) [ ]3 3 ( 1 ) 3 6Tf f fxx? ? ? ?? ? ? ? ? ?x x x x x? 簡(jiǎn)化的二次函數(shù) ( 1 ) ( 1 ) ( 1 ) ( 1 ) 2 ( 1 ) ( 1 )1( ) ( ) ( ) [ ] [ ] ( ) [ ]2TTf f f x f? ? ? ? ? ? ? ?x x x x x x x x x22121 1 23 6 6( 1 )6 12 3xxx x x? ? ? ?? ? ?二、無約束優(yōu)化問題的極值條件 12( ) [ ] 0TnF F FFx x x ?? ? ? ?? ? ?? ? ? xx(x)在 處取得極值，其必要條件是 : *x即在極值點(diǎn)處函數(shù)的梯度為 n維零向量。因此在最優(yōu)化理論中判定一個(gè)算法好壞的標(biāo)準(zhǔn)之一，是把該算法用于 Q為正定的二次目標(biāo)函數(shù)，如能迅速找到極小點(diǎn)，就是好算法；否則就不是太好的算法。 ? ? 12 Tf X X Q X?? ? 12 TTf X X Q X b X c? ? ? 若 ，且 X≠0，均有 ＜ 0，則稱 Q是 負(fù)定 的。尤其對(duì)一些工程問題，由于其數(shù)學(xué)模型的性態(tài)都比較復(fù)雜，更難實(shí)現(xiàn)。 ? ?凸集的性質(zhì)： 1） 若 D為凸集 ， 是一個(gè)實(shí)數(shù) ， 則集合 D仍是凸集； ? ? 2） 若 D和 F均為凸集 ， 則其和 （ 或并 ） 仍是凸集； 3） 任何一組凸集的積 （ 或交 ） 仍是凸集 。 最優(yōu)化設(shè)計(jì)的目標(biāo)是全域最優(yōu)點(diǎn) 。 由于梯度的模因點(diǎn)而異，即函數(shù)在不同點(diǎn)處的最大變化率是不同的。 24 無約束優(yōu)化問題的極值條件 167。 23 二次函數(shù)及正定矩陣 167。 多元函數(shù)的梯度 0012012()TnnFxFF F FxFx x xFx?????????????? ? ????? ? ?????? ? ???????????????xxx00 001c os ( ) ( ) c os( , )nTii iFF F F F ssx ???? ? ? ? ? ? ??xx x d x012201( ) ( )ni iFFx?????? ?????? xx 函數(shù)的梯度方向與函數(shù)等值面相垂直，也就是和等值面上過 x0的一切曲線相垂直。 若 f（ X*） 為局部可行域中的極小值而不是整個(gè)可行域中的最小值時(shí) ， 則稱 X*為 局部最優(yōu)點(diǎn)或相對(duì)最優(yōu)點(diǎn) 。 圖 23 二維空間的凸集與非凸集 X（ 1） 、 X（ 2） 兩點(diǎn)之間的聯(lián)接直線 ， 可用數(shù)學(xué)式表達(dá)為 : ( 1 ) ( 2 )( 1 )X X X??? ? ?式中 為由 0到 1（ 0≤ ≤1 ）間的任意實(shí)數(shù)。 ()jgX凸規(guī)劃的一些性質(zhì)： 2） 凸規(guī)劃問題中的任何局部最優(yōu)解都是全局最優(yōu)解 ； **( ) ( ) 0TF X X X??? ? ??? 1） 可行域 為凸集； ? ?( ) 0 1 , 2 , ,jD X g X j m? ? ? 3） 若 F（ X） 可微 ， 則 X*為凸 規(guī)劃問題 的 最優(yōu)解的 充分必要條件為： 對(duì)任意 ， 對(duì)滿足 XD? 不論是無約束或有約束的優(yōu)化問題，在實(shí)際應(yīng)用中，要證明一個(gè)優(yōu)化問題是否為凸規(guī)劃，一般比較困難，有時(shí)甚至比求解優(yōu)化問題本身還要麻煩。 對(duì)于二次函數(shù)，我們更關(guān)心的是 Q為正定矩陣的情形。由此可見對(duì)于二次目標(biāo)函數(shù)有效的求極小點(diǎn)的算法，當(dāng)用于一般目標(biāo)函數(shù)時(shí)，至少在極小點(diǎn)附近同樣有效。 解：因?yàn)? 則 又因?yàn)椋? 故 Hesse陣為： ( 1 )12 ( 1)26 6 0 12 0()0 6 6 00xfx?
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1