【正文】 matlab文件，如 function f = myfun(x)f =exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)。 % Starting guess options = optimset(39。,39。)?；蛘?[x,fval] = fminsearch(myfun,x0,options)。mediumscale: QuasiNewton line search‘v fminsearch結(jié)果：? x =[ ]? fval =? iterations: 46? algorithm: 39。決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 標(biāo)準(zhǔn)型v 其中 f(x)是目標(biāo)函數(shù)， gi(x)和 hj(x)為約束函數(shù) (約束條件 )。v 有約束非線性規(guī)劃問題 (COP)是指 f(x),gi(x),hj(x)至少有一個(gè)是非線性的，且 I或 ??至少有一個(gè)為非空。對(duì)于 gi(x0)?0，或者等號(hào)成立，或者大于號(hào)成立。顯然所有 hj(x0)約束均是積極約束。決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 幾個(gè)概念v 可行方向 。顯然若 d滿足 dT?gi(x)?0， dT?hj(x)=0，則 d一定是可行方向。v 下降方向 。由 f(x0+?d)=f(x0)+?(?f(x0))Td+o(?)可知：若 d滿足dT?f(x0)0，有 f(x0+?d)f(x0)，則 d一定是下降方向。若 x0的某一方向 d既是可行方向又是下降方向則稱其為可行下降方向。x1x2決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 極小值存在條件v 一階必要條件? 幾何特征 ：若 x*是 COP問題的局部極小點(diǎn)且函數(shù) f(x), gi(x), hj(x)在 x*處可微，則 dT?f(x*)?0。f(x*+?d)=f(x*)+?(?f(x*))Td+o(?)? 代數(shù)特征 (KKT定理 )： 若 x*是 COP問題的局部極小點(diǎn)且函數(shù) f(x), gi(x), hj(x)在 x*處可微，則存在實(shí)數(shù) ?i?0(i?I), ?j?R(j??)，使得：?f(x*)=?i?gi(x*)?i+?j?hj(x*)?j；gi(x*)?i=0； ?i?0， ?i?I? 若 x*滿足 KKT條件，則稱 x*為 COP問題的一個(gè) KKT點(diǎn)，?i, ?j稱為 x*處的拉格朗日乘子。? (凸規(guī)劃問題 )設(shè) f(x)為凸函數(shù)， gi(x)為凹函數(shù)， hj(x)為線性函數(shù)。決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 極小值存在條件v 二階必要條件? 設(shè) x*是 COP問題的局部極小點(diǎn)且滿足 KKT條件。v 二階充分條件? 設(shè) x*是 COP問題的 KKT點(diǎn)。決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 極小值存在條件v 例： min f(x)=x12+x22 . x1+x2?4 x1,x2?0v 解： g1(x)=x1+x24?0。g3(x)=x2?0?f(x)=[2x1,2x2]T,?g1(x)=[1,1]T,?g2(x)=[1,0]T,?g3(x)=[0,1]T,得到：? 2x1=?1+?2? 2x2=?1+?3又 (x1+x24)?1=0； x1?2=0； x2?3=0； ?i?0v 若 ?1=0，則 x1=x2=0，與題意不符；v 若 ?10，則 x1+x24=0， x10, x20。v 根據(jù)凸規(guī)劃充分條件知 x*為全局最小點(diǎn)。下面介紹幾種約束優(yōu)化的求解方法：可行方向法、序列無約束化法和 SQP法。v 可行方向法的基本思想 ：當(dāng)某個(gè)可行方向同時(shí)也是目標(biāo)函數(shù)的下降方向時(shí)，沿此方向移動(dòng)一定會(huì)在滿足可行性的情況下改進(jìn)迭代點(diǎn)的目標(biāo)函數(shù)值。v 設(shè) x0是 LCO的一個(gè)可行解，若 d是可行域在 x0點(diǎn)的 下降方向 ，則 d滿足 dT?f(x0)0。Min dT?f(x0). AI(x0)d?0, I(x0)={i|aiTx0=bi,i?I} A?d=0 ||d||∞?1v 可以證明：當(dāng) x0取得 KKT點(diǎn)時(shí)當(dāng)且僅當(dāng) dT?f(x0)的最優(yōu)值為零。v 基本思想： 將約束條件通過某種轉(zhuǎn)換與目標(biāo)函數(shù)合并形成一個(gè)無約束優(yōu)化問題。因此也將此類方法稱為 罰函數(shù)法 ，所形成的無約束優(yōu)化函數(shù)成為 罰函數(shù) 。決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 序列無約束化法v 例 ： min f=x1+x2 . x1x22=0v 解：對(duì)于 ?0，定義二次罰函數(shù)Min Q(x,?)=x1+x2+(2?)1(x1x22)2Q’x1=1+(x1x22)/?=0Q’x2=12x2(x1x22)/?=0解得： x?*=(1/4?,1/2)T, Q*=1/4?/2當(dāng) ?→0 時(shí)得， x*=(1/4,1/2)T, f*=1/4決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 序列無約束化法v 對(duì)數(shù)障礙函數(shù)法 ：? 障礙函數(shù)：? 其中 ?稱為障礙參數(shù)，且當(dāng) ?→0 時(shí)， P(x,?)的極小值趨于f(x)的極小值。即 S0={x|g(x)0}≠?決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — 序列無約束化法v 例 ： min{f=x/2|x?1}v 解：構(gòu)造對(duì)數(shù)障礙函數(shù) P(x,?)=x/2?ln(x1)? P’x=1/2?/(x1)=0，得 x?*=1+2?， P*=1/2+??ln2?? 當(dāng) ?→0 時(shí)得 x*=1， f*=1/2決策理論與方法 優(yōu)化決策理論與方法二次規(guī)劃 — 標(biāo)準(zhǔn)型v 若有約束非線性規(guī)劃的目標(biāo)函數(shù)是決策變量 x的二次函數(shù)且所有約束均為線性約束，稱此類非線性規(guī)劃問題為二次規(guī)劃 (Quadratic Programming, QP)問題。若目標(biāo)函數(shù)的 Hesse矩陣 Q是半正定 (或正定 )的，則 QP問題為 (嚴(yán)格 )凸二次規(guī)劃 (CQP)。決策理論與方法 優(yōu)化決策理論與方法二次規(guī)劃 — 極小點(diǎn)存在條件v 充要條件? 可行點(diǎn) x*是 QP問題的局部極小點(diǎn)當(dāng)且僅當(dāng) x*為一個(gè) KKT點(diǎn)且對(duì)于任意非零可行方向 d，有 dTQd?0。? 二次規(guī)劃的 KKT定理形式為：Qx*+c=AIT?*+A?T?*(AIx*bI)?*=0v 二次規(guī)劃的求解本質(zhì)上就是求解上述 KKT方程。v 基本思想 ：在迭代點(diǎn)處構(gòu)造一個(gè)二次規(guī)劃子問題，近似原來的約束優(yōu)化問題；然后通過求解該二次規(guī)劃子問題獲得約束優(yōu)化問題的一個(gè)改進(jìn)迭代點(diǎn)；不斷重復(fù)此過程，直到求出滿足一定要求的迭代點(diǎn)。v 設(shè) (xk,?k)是第 k次迭代結(jié)果，根據(jù)牛頓法，有：決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — SQP法v 上述迭代過程等價(jià)于如下的二次規(guī)劃的迭代。x?b Aeq決策理論與方法 優(yōu)化決策理論與方法約束非線性規(guī)劃 — Matlab函數(shù)應(yīng)用v 用法? 創(chuàng)建一個(gè) matlab文件，如 function f = myfun(x)f = f(x)。 ceq = ceq(x)。x0=[x1,x2,…,xn]。b。beq。ub。? 創(chuàng)建另一個(gè) matlab文件，如 function [c, ceq] = confun(x)c = [ + x(1)*x(2) x(1) x(2)。ceq = []。 % Starting guessoptions = optimset(39。,39。)。mediumscale: SQP, QuasiNewton, linesearch39。x?b Aeq? 調(diào)用 quadprog并根據(jù)需要指定初始搜索點(diǎn)以及其他向量、矩陣。A。Aeq。lb。[x,fval]=quadprog(H,f,A,b,Aeq,beq,lb,ub,x0)決策理論與方法 優(yōu)化決策理論與方法二次規(guī)劃 — Matlab函數(shù)應(yīng)用v 例 ： min f(x)=1/2x12+x22x1x22x16x2 . x1+x2?2 x1+2x2?2 2x1+x2?3 x1, x2?0v 解 ：? 改寫 f(x)=1/2(x12+2x22x1x2x1x2)2x16x2得： H=[1 1。6], x=[x1。? 表示其它矩陣或向量A=[1 1。2 1]。2。 lb=[0。Aeq=[]。ub=[]。決策理論與方法 優(yōu)化決策理論與方法二次規(guī)劃 — Matlab函數(shù)應(yīng)用? 調(diào)用二次規(guī)劃函數(shù)[x,fval]=quadprog(H,f,A,b,[],[],lb)? 運(yùn)行