【文章內(nèi)容簡介】 =0，所以x1=x2=?1/2，得 x1=x2=2， x*=[2,2]T為該問題的唯一 KKT點。 ? 根據(jù)凸規(guī)劃充分條件知 x*為全局最小點。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 可行方向法 ?上面例題介紹了通過求解 KKT方程獲得問題解的方法，但 KKT方程并不總是很好求解。下面介紹幾種約束優(yōu)化的求解方法：可行方向法、序列無約束化法和 SQP法。 ?可行方向法的應用條件 ：要求所有約束均為線性約束（稱為線性約束的優(yōu)化問題， LCO）。 ?可行方向法的基本思想 ：當某個可行方向同時也是目標函數(shù)的下降方向時，沿此方向移動一定會在滿足可行性的情況下改進迭代點的目標函數(shù)值。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 可行方向法 x1 x2 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 可行方向法 ? LCO問題： Min f(x) . aiTx?bi, i?I ajTx=bj, j?? ?設 x0是 LCO的一個可行解，若 d是可行域在 x0點的 可行方向 ，則 d滿足 AI(x0)d?0(I(x0)={i|aiTx0=bi,i?I})，A?d=0。 ?設 x0是 LCO的一個可行解，若 d是可行域在 x0點的 下降方向 ，則 d滿足 dT?f(x0)0。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 可行方向法 ? Zoutendijk可行方向法：其核心思想是通過求解下列線性規(guī)劃問題，在可行方向的某個范圍內(nèi)獲得目標函數(shù)的最速下降方向。 Min dT?f(x0) . AI(x0)d?0, I(x0)={i|aiTx0=bi,i?I} A?d=0 ||d||∞?1 ?可以證明：當 x0取得 KKT點時當且僅當 dT?f(x0)的最優(yōu)值為零。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 序列無約束化法 ?求解約束優(yōu)化的一類重要方法是用一個無約束優(yōu)化問題的序列逼近約束優(yōu)化問題，通過無約束優(yōu)化問題的最優(yōu)解序列逼近約束優(yōu)化問題的最優(yōu)解。 ?基本思想： 將約束條件通過某種轉(zhuǎn)換與目標函數(shù)合并形成一個無約束優(yōu)化問題。這種轉(zhuǎn)換隱含著某種懲罰，即 x偏離約束條件越遠，受到的懲罰越大。因此也將此類方法稱為 罰函數(shù)法 ，所形成的無約束優(yōu)化函數(shù)成為 罰函數(shù) 。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 序列無約束化法 ?二次罰函數(shù)法 ： ? 罰函數(shù)： ? 其中 (gi)=max{0,gi}， ?稱為罰參數(shù)，且當 ?→ 0時， Q(x,?)的極小值趨于 f(x)的極小值。 )(2 1)())((2 1)(),(||12||12 xQxfhgxfxQjjIii ????????? ?????)(m i n)),((m i nl i m 0 xfxQ ?? ??2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 序列無約束化法 ?例 ： min f=x1+x2 . x1x22=0 ?解：對于 ?0，定義二次罰函數(shù) Min Q(x,?)=x1+x2+(2?)1(x1x22)2 Q’x1=1+(x1x22)/?=0 Q’x2=12x2(x1x22)/?=0 解得： x?*=(1/4?,1/2)T, Q*=1/4?/2 當 ?→ 0時得， x*=(1/4,1/2)T, f*=1/4 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 序列無約束化法 ?對數(shù)障礙函數(shù)法 ： ? 障礙函數(shù)： ? 其中 ?稱為障礙參數(shù)，且當 ?→ 0時， P(x,?)的極小值趨于f(x)的極小值。 ? 該方法的適用性： COP問題僅包含不等式約束函數(shù)，且可行域存在內(nèi)點。即 S0={x|g(x)0}≠? ????Iii xgxfxP )(ln)(),( ??2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — 序列無約束化法 ?例 ： min{f=x/2|x?1} ?解：構造對數(shù)障礙函數(shù) P(x,?)=x/2?ln(x1) ? P’x=1/2?/(x1)=0，得 x?*=1+2?， P*=1/2+??ln2? ? 當 ?→ 0時得 x*=1， f*=1/2 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 二次規(guī)劃 — 標準型 ?若有約束非線性規(guī)劃的目標函數(shù)是決策變量 x的二次函數(shù)且所有約束均為線性約束，稱此類非線性規(guī)劃問題為二次規(guī)劃 (Quadratic Programming, QP)問題。其標準型為： ????????jbxaIibxatsxcQxxxfQPjTjiTiTTRxn,..21)(m i n)(2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 二次規(guī)劃 — 標準型 ?其中 Q=QT?Rn n（ n階對稱方陣）；以 aiT(i?I)為行向量的矩陣記為 AI?RI n；以 ajT(j??)為行向量的矩陣記為 A??R? n；對應的向量記為 bI, b?。若目標函數(shù)的 Hesse矩陣 Q是半正定 (或正定 )的，則 QP問題為(嚴格 )凸二次規(guī)劃 (CQP)。我們僅討論凸二次規(guī)劃問題，因為非凸二次規(guī)劃的 Q存在負特征根，求解很困難。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 二次規(guī)劃 — 極小點存在條件 ?充要條件 ? 可行點 x*是 QP問題的局部極小點當且僅當 x*為一個 KKT點且對于任意非零可行方向 d，有 dTQd?0。 ? 對于凸二次規(guī)劃， x*為全局極小點當且僅當 x*為局部極小點，當且僅當 x*為 KKT點。 ? 二次規(guī)劃的 KKT定理形式為： Qx*+c=AIT?*+A?T?* (AIx*bI)?*=0 ?二次規(guī)劃的求解本質(zhì)上就是求解上述 KKT方程。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — SQP法 ?對于非線性約束優(yōu)化 (COP)問題， ?若 x*是 COP問題的一個局部最優(yōu)解，則它對應一個純等式約束優(yōu)化問題 ??????jxhIixgtsxfjiRx n,0)(,0)(..)(m i n????????jxhxgIixIxgtsxfjixIRx n,0)(}0)(|{)(,0)(..)(m i n***)( *2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — SQP法 ?因此如果事先知道積極約束指標集，那么帶有不等式約束優(yōu)化問題就可以轉(zhuǎn)化為純等式約束優(yōu)化問題，并可用準牛頓法求解，這就是逐次二次規(guī)劃(Sequential Quadratic Programming， SQP)法。 ?基本思想 ：在迭代點處構造一個二次規(guī)劃子問題，近似原來的約束優(yōu)化問題；然后通過求解該二次規(guī)劃子問題獲得約束優(yōu)化問題的一個改進迭代點；不斷重復此過程，直到求出滿足一定要求的迭代點。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — SQP法 ? 對于等式約束優(yōu)化問題 Min f(x) . h(x)=0 ? 拉格朗日函數(shù)記為 L(x,?)=f(x)?Th(x) ? 則 ?L(x,?)=(?f(x)?h(x)?, h(x))T=0，顯然問題的最優(yōu)解(x*,?*)滿足此式。 ? 設 (xk,?k)是第 k次迭代結果，根據(jù)牛頓法，有： ???????? ????????????????????????????????????????????????????)()()(0)()(),()),(()),((121211kkkkTkkkkxxkkkkkkkkkkxhxhxfxhxhxLxxLxLxx???????2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — SQP法 ? 上述迭代過程等價于如下的二次規(guī)劃的迭代。設給定迭代點(xk,?k)，則 0)()(..,)(),(21m i n 2??????kTkTkkkxxTdxhdxhtsdxfdxLd ?2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — Matlab函數(shù)應用 ? Optimization ToolBox Min f(x) . c(x)?0 ceq(x)=0 Ax?b Aeqx=beq lb?x?ub ? [x,fval] = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) ? fun定義目標函數(shù) ,x0定義初始可行解， nonlcon定義 c(x)和ceq(x)。 2021年 6月 15日 1時 47分 決策理論與方法 優(yōu)化決策理論與方法 約束非線性規(guī)劃 — Matlab函數(shù)應用 ? 用法 ? 創(chuàng)建一個 matlab文件，如 function f = myfun(x) f = f(x)。 ? 創(chuàng)建另一個 matlab文件，如 function [c, ceq] = confun(x) c = c(x)。 ceq = ceq(x)。 ? 調(diào)用 fmincon并指定初始搜索點以及其他向量、矩陣。 x0=[x1,x2,…,xn]。A。b。Aeq。beq。lb。ub。 [x