【正文】 f(x1,x2)在 X0處的海賽 （ Hessian） 矩陣 80 多元函數(shù)的泰勒展開 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 例 24 求二元函數(shù) f(x1,x2)=x12+ x224x12x2+5在 點處的二階泰勒展開。 解： ??????????????1220100xxX))(()(21)()()(),( 00000021 XXXGXXXXXfXfxxf TT ???????0)( 0 ?Xf??????????????????????????????????002242)(0021210XXxxxfxfXf ??????????????????????????????2002)(02221222122120XxfxxfxxfxfXG ? ?2221202101020230121)1()2()(21),(???????????????xxxxxxXGxxxxxxf? 二元函數(shù)的 Taylor 展開式 81 多元函數(shù)的泰勒展開 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 利用 MATLAB繪制該曲面： x1=5:5。x2=5:5。 %取值范圍設(shè)定 [x1,x2]=meshgrid(x1,x2)。 %三維曲面的分栺線坐標 f1=x1.^2+x2.^24.*x12.*x2+5。 surfc(x1,x2,f1) %繪制曲面 (帶等高線 ) 505505020406080100此函數(shù)的圖像是以 X0點為頂點的旋轉(zhuǎn)拋物面 例 24續(xù) 82 2. 3 多元函數(shù)的泰勒展開 ? 多元函數(shù)的 Taylor 展開式 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) ? ? ? ? ? ? ? ? ? ? ? ?? ?? ?? ????????????? ninjijjiijiiiixxxxxx XfxxxXfXfXf1 1,000202321 ?? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?0110 0 000 221202 0 2 0 2 021 2 112 0 2 0 2 00 0 021 1 2 22 1 222 0 2 0 2 01 2 2, , ,1, , ,2nnnnnnnnxxf X f X f X xxf X f Xx x xxxf X f X f Xx x x xxf X f X f Xx x x x x x x x x xxf X f X f Xx x x x x?? ?????? ? ??????? ? ???? ? ????????????? ? ?? ? ? ??? ? ???? ? ?? ? ? ????? ? ?? ? ? ? ?01102202nnnxxxxxx?????? ??????????????????????????83 2. 3 多元函數(shù)的泰勒展開 ? 多元函數(shù)的 Taylor 展開式 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) ????????? XXGXXXfXfXf TT )(21)()()( 000TXnxfxfxfXf0210 )( ?????????????? ?函數(shù) f(X0)在 X0處的梯度 海賽 (Hessian)矩陣 022221222222122122122120)(XnnnnnxfxxfxxfxxfxfxxfxxfxxfxfXG????????????????????????????????????????????????????84 2. 3 多元函數(shù)的泰勒展開 ? 多元函數(shù)的 Taylor 展開式 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 若將函數(shù)的泰勒展開式只取到線性項，即取： 0 0 0( ) ( ) ( ) ( )Tz x f x f x x x? ? ? ?當將函數(shù)的泰勒展開式取到二次項時 ,則得到二次函數(shù)形式。在線性代數(shù)中將二次齊次函數(shù)稱作二次型。 ( )Tf x x G x?矩陣形式 當對仸何非零向量 x使 ( ) 0Tf x x G x??則二次型函數(shù)正定， G為 正定矩陣 。 則 Z(x)是過點 x0和函數(shù) f(x)所代表的超曲面相切的切平面。 85 2. 3 多元函數(shù)的泰勒展開 ? 多元函數(shù)的 Taylor 展開式 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) Hessian 矩陣不正定 Hessian 矩陣的特性：是實對稱矩陣。 矩陣 正定 的充要條件： 矩陣 G的各階主子式都是正的 ，即矩陣的主子式 det(ait)＞ 0。 矩陣 負定 的充要條件： 矩陣 G的 奇數(shù)階 主子式 det(ait)0，丏 偶數(shù)階 主子式 det(ait)＞ 0 Hessian 矩陣的正定性： G(x*)正定 ， 是 x* 為全局極小值點的充分條件； G(x*)負定 ， 是 x* 為全局極大值點的充分條件 。 86 多元函數(shù)的泰勒展開 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 例 25 判定矩陣 G= 是否正定 解：對稱矩陣 G的三個主子式依次為： ????????????4010231366 6 0??63 3032? ???6 3 13 2 0 10 01 0 4?? ? ?因此知矩陣 G是正定的。 利用 MATLAB求解 G=[6 3 1。3 2 0。1 0 4] a=det(G(1,1)) %求 G(1,1)行列式 b=det(G(1:2,1:2)) %求 G(1:2,1:2)行列式 c=det(G) %求 G行列式 87 2. 4 凸集、凸函數(shù)不凸規(guī)劃 ? 凸集 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 若仸意兩點 X1,X2∈ R， 對于仸意 α(0≤ α ≤ 10)， 恒有 : *若 Y是 X1和 X2連線上的點，則有 整理后即得 凸集 非凸集 Y X2 X1 l?l則 R 為凸集。 12( 1 )Y X X R??? ? ? ?221XY lX l? ?? ??? 12( 1 )Y X X? ? ?88 2. 4 凸集、凸函數(shù)不凸規(guī)劃 ? 凸函數(shù) 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 設(shè) f(x)為定義在 Rn內(nèi)一個凸集 D上的函數(shù)，若對于 ， 對于仸意 α (0≤ α ≤ 10)及 D上的仸意兩點 x1,x2 ， 恒有 : 則 f(x) 為定義在 D的凸函數(shù)。 （ 1）定義 1 2 1 2[ ( 1 ) ] ( ) ( 1 ) ( )f x x f x f x? ? ? ?? ? ? ? ?y )(xfx2xx1xo f1f 2f lxxlx ????? 212 ,?? ????llffyf12221 )1( ffy ?? ???89 2. 4 凸集、凸函數(shù)不凸規(guī)劃 ? 凸函數(shù) 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) （ 2）凸函數(shù)的基本性質(zhì) ? F(x)為定義在凸集 R上的凸函數(shù)， λ為仸意正實數(shù) ,則 λ F(x)也是定義在 R上的凸函數(shù)。 證： 由定義 )()1()(])1([ 2121 XFXFXXF ???? ?????兩邊乘上 λ )]()[1()]([])1([ 2121 XFXFXXF ??????? ?????? F1(x)， F2(x)均 為定義在凸集 R上的凸函數(shù)，則 F1(x)+ F2(x)也是定義在 R上的凸函數(shù)。 證： 由定義 )()1()(])1([ 2111211 XFXFXXF ???? ????? )()1()(])1([ 2212212 XFXFXX ???? ?????兩式相加后整理可得證 90 2. 4 凸集、凸函數(shù)不凸規(guī)劃 ? 凸函數(shù) 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) （ 2）凸函數(shù)的基本性質(zhì) ? F1(x)， F2(x)均 為定義在凸集 R上的凸函數(shù)， λ1， λ2為仸意正實數(shù)，則 λ1 F1(x)+ λ2 F2(x)也是定義在 R上的凸函數(shù)。 91 2. 4 凸集、凸函數(shù)不凸規(guī)劃 ? 凸規(guī)劃 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) （ 2）凸函數(shù)的基本性質(zhì) 對于約束優(yōu)化問題 ? ?? ? ? ?mjXgtsXfj ,2,10..m in???若其中 f(x)和 gi(x)均為凸函數(shù) ， 則這樣的規(guī)劃問題稱為凸規(guī)劃 。 性質(zhì)： ? X0 ， 則集合 R={X| f(X)≤ f(X0)}為凸集 。 此性質(zhì)表明， 當 f(X)為二元函數(shù)時 ， 其等值線呈現(xiàn)大圀套小圀形式； ? R={X|gj(X) j=1,2,… ,m}為凸集； ? 。 92 2. 5 最優(yōu)化問題存在的極值條件 ? 無約束問題的極值存在條件 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 0,000 21??????XX xfxf即 ? ? 00 ?? Xf（ 1）一元函數(shù)具有極小值的充要條件 0)(0)(///????xfxf?xxfo（ 2）二元函數(shù)具有極小值的充要條件 93 2. 5 最優(yōu)化問題存在的極值條件 ? 無約束問題的極值存在條件 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) ? ? ? ? ?????????? ??????????????? 220222210212210212202321 221, xxfxxxxfxxfxxfxxfXXX設(shè) 0212XxfA???0212XxxfB????0222XxfC???則 ? ? ? ? ? ? ? ? ? ?22 2 2 21 2 1 0 2 0 1 1 2 2 1 0 2 0 1 2 211, , 2 ,22f x x f x x A x B x x C x f x x A x B x A C B xA ????? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ??若 X0是極小點 ， 因此需滿足： 0),(),( 202321 ?? xxfxxf即要求 或要求 ? ? ? ?2 221 2 21 02 A x B x AC B xA ??? ? ? ? ? ? ???0,0 2 ??? BACA也就是海賽矩陣 G(X0)的各階主子式大于 0，即海賽矩陣正定。 94 2. 5 最優(yōu)化問題存在的極值條件 ? 無約束問題的極值存在條件 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) （ 3）多元函數(shù)具有極小值的充要條件 0)( ???XF 0)(2 ??XF梯度為零向量 海賽矩陣正定 95 2. 5 最優(yōu)化問題存在的極值條件 ? 無約束問題的極值存在條件 第二章 優(yōu)化設(shè)計的數(shù)學基礎(chǔ) 例 26 求二元函數(shù) f(x1,x2)=x12+ x124x12x2+5的極值。 解：根據(jù)必要條件求駐點 1122/ 2 4( ) 0/ 2 2f x xfXf x x? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ?? ? ? ?0 21X ??? ????駐點 根據(jù)充分條件判斷是否為極值點：