【文章內(nèi)容簡(jiǎn)介】 =0，所以x1=x2=?1/2，得 x1=x2=2， x*=[2,2]T為該問(wèn)題的唯一 KKT點(diǎn)。 ? 根據(jù)凸規(guī)劃充分條件知 x*為全局最小點(diǎn)。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 可行方向法 ?上面例題介紹了通過(guò)求解 KKT方程獲得問(wèn)題解的方法，但 KKT方程并不總是很好求解。下面介紹幾種約束優(yōu)化的求解方法：可行方向法、序列無(wú)約束化法和 SQP法。 ?可行方向法的應(yīng)用條件 ：要求所有約束均為線(xiàn)性約束（稱(chēng)為線(xiàn)性約束的優(yōu)化問(wèn)題， LCO）。 ?可行方向法的基本思想 ：當(dāng)某個(gè)可行方向同時(shí)也是目標(biāo)函數(shù)的下降方向時(shí)，沿此方向移動(dòng)一定會(huì)在滿(mǎn)足可行性的情況下改進(jìn)迭代點(diǎn)的目標(biāo)函數(shù)值。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 可行方向法 x1 x2 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 可行方向法 ? LCO問(wèn)題： Min f(x) . aiTx?bi, i?I ajTx=bj, j?? ?設(shè) x0是 LCO的一個(gè)可行解，若 d是可行域在 x0點(diǎn)的 可行方向 ，則 d滿(mǎn)足 AI(x0)d?0(I(x0)={i|aiTx0=bi,i?I})，A?d=0。 ?設(shè) x0是 LCO的一個(gè)可行解，若 d是可行域在 x0點(diǎn)的 下降方向 ，則 d滿(mǎn)足 dT?f(x0)0。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 可行方向法 ? Zoutendijk可行方向法：其核心思想是通過(guò)求解下列線(xiàn)性規(guī)劃問(wèn)題，在可行方向的某個(gè)范圍內(nèi)獲得目標(biāo)函數(shù)的最速下降方向。 Min dT?f(x0) . AI(x0)d?0, I(x0)={i|aiTx0=bi,i?I} A?d=0 ||d||∞?1 ?可以證明：當(dāng) x0取得 KKT點(diǎn)時(shí)當(dāng)且僅當(dāng) dT?f(x0)的最優(yōu)值為零。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 序列無(wú)約束化法 ?求解約束優(yōu)化的一類(lèi)重要方法是用一個(gè)無(wú)約束優(yōu)化問(wèn)題的序列逼近約束優(yōu)化問(wèn)題，通過(guò)無(wú)約束優(yōu)化問(wèn)題的最優(yōu)解序列逼近約束優(yōu)化問(wèn)題的最優(yōu)解。 ?基本思想： 將約束條件通過(guò)某種轉(zhuǎn)換與目標(biāo)函數(shù)合并形成一個(gè)無(wú)約束優(yōu)化問(wèn)題。這種轉(zhuǎn)換隱含著某種懲罰，即 x偏離約束條件越遠(yuǎn)，受到的懲罰越大。因此也將此類(lèi)方法稱(chēng)為 罰函數(shù)法 ，所形成的無(wú)約束優(yōu)化函數(shù)成為 罰函數(shù) 。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 序列無(wú)約束化法 ?二次罰函數(shù)法 ： ? 罰函數(shù)： ? 其中 (gi)=max{0,gi}， ?稱(chēng)為罰參數(shù)，且當(dāng) ?→ 0時(shí)， Q(x,?)的極小值趨于 f(x)的極小值。 )(2 1)())((2 1)(),(||12||12 xQxfhgxfxQjjIii ????????? ?????)(m i n)),((m i nl i m 0 xfxQ ?? ??2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 序列無(wú)約束化法 ?例 ： min f=x1+x2 . x1x22=0 ?解：對(duì)于 ?0，定義二次罰函數(shù) Min Q(x,?)=x1+x2+(2?)1(x1x22)2 Q’x1=1+(x1x22)/?=0 Q’x2=12x2(x1x22)/?=0 解得： x?*=(1/4?,1/2)T, Q*=1/4?/2 當(dāng) ?→ 0時(shí)得， x*=(1/4,1/2)T, f*=1/4 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 序列無(wú)約束化法 ?對(duì)數(shù)障礙函數(shù)法 ： ? 障礙函數(shù)： ? 其中 ?稱(chēng)為障礙參數(shù)，且當(dāng) ?→ 0時(shí)， P(x,?)的極小值趨于f(x)的極小值。 ? 該方法的適用性： COP問(wèn)題僅包含不等式約束函數(shù)，且可行域存在內(nèi)點(diǎn)。即 S0={x|g(x)0}≠? ????Iii xgxfxP )(ln)(),( ??2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — 序列無(wú)約束化法 ?例 ： min{f=x/2|x?1} ?解：構(gòu)造對(duì)數(shù)障礙函數(shù) P(x,?)=x/2?ln(x1) ? P’x=1/2?/(x1)=0，得 x?*=1+2?， P*=1/2+??ln2? ? 當(dāng) ?→ 0時(shí)得 x*=1， f*=1/2 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 二次規(guī)劃 — 標(biāo)準(zhǔn)型 ?若有約束非線(xiàn)性規(guī)劃的目標(biāo)函數(shù)是決策變量 x的二次函數(shù)且所有約束均為線(xiàn)性約束，稱(chēng)此類(lèi)非線(xiàn)性規(guī)劃問(wèn)題為二次規(guī)劃 (Quadratic Programming, QP)問(wèn)題。其標(biāo)準(zhǔn)型為： ????????jbxaIibxatsxcQxxxfQPjTjiTiTTRxn,..21)(m i n)(2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 二次規(guī)劃 — 標(biāo)準(zhǔn)型 ?其中 Q=QT?Rn n（ n階對(duì)稱(chēng)方陣）；以 aiT(i?I)為行向量的矩陣記為 AI?RI n；以 ajT(j??)為行向量的矩陣記為 A??R? n；對(duì)應(yīng)的向量記為 bI, b?。若目標(biāo)函數(shù)的 Hesse矩陣 Q是半正定 (或正定 )的，則 QP問(wèn)題為(嚴(yán)格 )凸二次規(guī)劃 (CQP)。我們僅討論凸二次規(guī)劃問(wèn)題，因?yàn)榉峭苟我?guī)劃的 Q存在負(fù)特征根，求解很困難。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 二次規(guī)劃 — 極小點(diǎn)存在條件 ?充要條件 ? 可行點(diǎn) x*是 QP問(wèn)題的局部極小點(diǎn)當(dāng)且僅當(dāng) x*為一個(gè) KKT點(diǎn)且對(duì)于任意非零可行方向 d，有 dTQd?0。 ? 對(duì)于凸二次規(guī)劃， x*為全局極小點(diǎn)當(dāng)且僅當(dāng) x*為局部極小點(diǎn)，當(dāng)且僅當(dāng) x*為 KKT點(diǎn)。 ? 二次規(guī)劃的 KKT定理形式為： Qx*+c=AIT?*+A?T?* (AIx*bI)?*=0 ?二次規(guī)劃的求解本質(zhì)上就是求解上述 KKT方程。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — SQP法 ?對(duì)于非線(xiàn)性約束優(yōu)化 (COP)問(wèn)題， ?若 x*是 COP問(wèn)題的一個(gè)局部最優(yōu)解，則它對(duì)應(yīng)一個(gè)純等式約束優(yōu)化問(wèn)題 ??????jxhIixgtsxfjiRx n,0)(,0)(..)(m i n????????jxhxgIixIxgtsxfjixIRx n,0)(}0)(|{)(,0)(..)(m i n***)( *2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — SQP法 ?因此如果事先知道積極約束指標(biāo)集，那么帶有不等式約束優(yōu)化問(wèn)題就可以轉(zhuǎn)化為純等式約束優(yōu)化問(wèn)題，并可用準(zhǔn)牛頓法求解，這就是逐次二次規(guī)劃(Sequential Quadratic Programming， SQP)法。 ?基本思想 ：在迭代點(diǎn)處構(gòu)造一個(gè)二次規(guī)劃子問(wèn)題，近似原來(lái)的約束優(yōu)化問(wèn)題；然后通過(guò)求解該二次規(guī)劃子問(wèn)題獲得約束優(yōu)化問(wèn)題的一個(gè)改進(jìn)迭代點(diǎn)；不斷重復(fù)此過(guò)程，直到求出滿(mǎn)足一定要求的迭代點(diǎn)。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — SQP法 ? 對(duì)于等式約束優(yōu)化問(wèn)題 Min f(x) . h(x)=0 ? 拉格朗日函數(shù)記為 L(x,?)=f(x)?Th(x) ? 則 ?L(x,?)=(?f(x)?h(x)?, h(x))T=0，顯然問(wèn)題的最優(yōu)解(x*,?*)滿(mǎn)足此式。 ? 設(shè) (xk,?k)是第 k次迭代結(jié)果，根據(jù)牛頓法，有： ???????? ????????????????????????????????????????????????????)()()(0)()(),()),(()),((121211kkkkTkkkkxxkkkkkkkkkkxhxhxfxhxhxLxxLxLxx???????2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — SQP法 ? 上述迭代過(guò)程等價(jià)于如下的二次規(guī)劃的迭代。設(shè)給定迭代點(diǎn)(xk,?k)，則 0)()(..,)(),(21m i n 2??????kTkTkkkxxTdxhdxhtsdxfdxLd ?2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — Matlab函數(shù)應(yīng)用 ? Optimization ToolBox Min f(x) . c(x)?0 ceq(x)=0 Ax?b Aeqx=beq lb?x?ub ? [x,fval] = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) ? fun定義目標(biāo)函數(shù) ,x0定義初始可行解， nonlcon定義 c(x)和ceq(x)。 2021年 6月 15日 1時(shí) 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線(xiàn)性規(guī)劃 — Matlab函數(shù)應(yīng)用 ? 用法 ? 創(chuàng)建一個(gè) matlab文件，如 function f = myfun(x) f = f(x)。 ? 創(chuàng)建另一個(gè) matlab文件，如 function [c, ceq] = confun(x) c = c(x)。 ceq = ceq(x)。 ? 調(diào)用 fmincon并指定初始搜索點(diǎn)以及其他向量、矩陣。 x0=[x1,x2,…,xn]。A。b。Aeq。beq。lb。ub。 [x