【正文】 的主要不同點在于構造搜索方向上的差別。多維無約束優(yōu)化方法的分類 和一維問題一樣，若多元函數(shù) F(X)不可微，亦無法求解。 （ 3） 有些實際問題本身是無約束的，或把有些約束問題經過模型變換可以轉化為無約束問題求解。 （ 2） 有些問題在不很接近最優(yōu)解時可先作無約束問題求解，然后采用有約束方法求出最優(yōu)解。 （ 1） 一類功能很強、使用方便的有約束優(yōu)化方法，往往能將有約束問題轉化成無約束問題，易于采用無約束優(yōu)化方法求解。大量實際問題都是有約束的，研究無約束優(yōu)化方法的意義在于：對于一個 n維目標函數(shù)，如果在沒有任何限制條件下尋求它的極小點，稱無約束極小化問題或無約束優(yōu)化問題。研究無約束優(yōu)化方法的意義167。 （ 3） 如 p(x)的相鄰兩個迭代點重合，則產生死循環(huán)。二次插值法特點：（ 1） 二次插值法只要求連續(xù)，不要求其一階可微。 及上述兩種形式實際上是絕對精度和相對精度。時，即： 之間距離小于給定精度 ，以 為新區(qū)間，令 ， x1不變； ，以 ， x3不變； ，以 為新區(qū)間，令 x x2不變； 二次插值區(qū)間縮小的四種情況（ 1） 區(qū)間縮小的原則如圖 118所示。的近似解是達不到預期精度的，需要通過幾次逼近計算來縮小區(qū)間，使構造的 由于初始區(qū)間較大，第一次構造的多項式 將 （ 134） 中的 b、 c代入式 （ 135） 多項式在插值點的函數(shù)值應與目標函數(shù)的函數(shù)值相等，滿足： 上的函數(shù)值分別為 設目標函數(shù) f(x)在三點 二次插值法 二次插值法是多項式逼近法的一種，利用目標函數(shù)在若干點的信息和函數(shù)值，構成一個與目標函數(shù)相接近的低次插值多項式，然后求該多項式的最優(yōu)解作為原函數(shù)的近似最優(yōu)解。解法三計算了 6次目標函數(shù)，取最后區(qū)間的中點作為近似極大點，與精確解比較，尚有較大誤差。方法比較 ：解法一僅需計算一次導數(shù)，即可求得精確解。 因為 ，淘汰 ，留下新區(qū)間 ，此時， 已接近要求精度。 因為，淘汰 [, x3]，留下新區(qū)間 [x第二次計算點為： 1，淘汰 [0,]，留下新區(qū)間[,]。因為 f f (x*)=。計算 x2=(+)/2=， 可淘汰區(qū)間 [0,]，留下區(qū)間 [,1]。 由 解得 故 x*為極大點 ％以內，即 區(qū)間 例 17 值。方法特點：不要求 。令 如圖情況， 為一個小的正值，應使 其中 圖 117兩點對分法 一階可微，且每計算一次 對分法特點：圖 116 直至 求 再取 故淘汰區(qū)間 [a， x1]，留下區(qū)間 [x1， b]，令 中心對分法是利用目標函數(shù)的一階導數(shù)來判別最優(yōu)點的存在區(qū)間，利用目標函數(shù)的一階導數(shù)，取中心對分點 對分法1的效果比 按同樣的方法繼續(xù)下去，直到獲得滿意的試驗效果為止。圖 115這一段，在留下的部分內繼續(xù)找出 到 點的試驗效果好，則舍去 如果 的對稱點 以外的部分。 比較第二次和第一次試驗的結果，如果仍是第一次的試驗效果好，則去掉 圖 114則舍去不包括 好于 兩次試驗效果，若 618處取值做第一試驗點，則該試驗得第一次試驗點為 解 例 16 假設某廠為生產一種含有特殊香味得毛織物，現(xiàn)決定在原毛染色中加入某種香型材料，假設其參考添加量為 ％～ ％，現(xiàn)通過試驗確定其最佳添加量。（ 2） 除了第一次縮小區(qū)間要計算兩個點及其函數(shù)值以外，其余每次只要計算一個點及其函數(shù)值； ； 黃金分割法特點：； ； （ 1） 區(qū)間絕對精度 由于實際問題的需要和函數(shù)形態(tài)的不同，常常需要不同的收斂準則確定最優(yōu)點。為了使最終區(qū)間收斂到給定收斂精度 （ 127）（ 128） 由此可知，黃金分割法的均勻縮短率為 ，即每經過一次函數(shù)值比較，都是淘汰本次區(qū)間的 。（ 126）解方程，得合理的根為 ，則本次區(qū)間縮短率為 由對稱性可知，區(qū)間 經比較后又得新區(qū)間 第二次區(qū)間縮短時，在區(qū)間 設初始區(qū)間長度為 l，第一次區(qū)間縮短率為 可歸納入上面任一種情況處理。 淘汰 比較，如此反復。下一次只需再按一定規(guī)則，在新區(qū)間內找另一個與 經過一次函數(shù)比較，區(qū)間縮小一次為 [a， x2]。圖 113和 并計算 內按一定規(guī)則對稱地取 2個內部點 的單峰區(qū)間為 已知 黃金分割法也稱 ，是通過對黃金分割點函數(shù)值的計算和比較，將初始區(qū)間逐次進行縮小，直到滿足給定的精度要求，即求得一維極小點的近似解 黃金分割法 利用進退法，一般總可找到單峰區(qū)間中的 3個點，即 2個端點和中間某一個點。(a)中有則單峰區(qū)間為 即每跨一步的步長為前一次步長的 2倍，直至函數(shù)值增加為止。(b)進退法確定單峰區(qū)間 圖 112(b) ，以此類推，直至函數(shù)值增加為止。說明 見圖 112 和步長 h，算出和 任意給定初始點 下面介紹初始單峰區(qū)間的確定及算法。內，將搜索區(qū)間縮為 在 （ 2） 內，放棄 必位于 （ 1） 圖 111 和間接法 （ 不需要求導數(shù)的二次插值法和需要求導數(shù)的三次插值法 ） 。一維搜索方法包括分析方法 （ 微分法 ） 和數(shù)值迭代法 方向進行搜索的最優(yōu)步長。 —— 重復這種過程，得到目標函數(shù)值不斷改進的點列： 等點，最后可以達到滿足所規(guī)定的收斂準則或終止準則要求的理論最優(yōu)點的近似最優(yōu)點 。 在設計空間中選定一個初始設計點 ，然后從這一點出發(fā)，按照某一優(yōu)化方法所規(guī)定的原則，確定初始搜索方向 ，沿這個方向尋求最優(yōu)步長 ，得一個目標函數(shù)值有所改進的設 計點 。 就是一維優(yōu)化方法中限制最優(yōu)解問題，稱一維搜索方法。 167。 注意： 對于高階多元目標函數(shù)，很難判斷是否為凸函數(shù)。故 Hessian矩陣為正定，所以 該 Hessian矩陣的各階主子式的值為 利用 Hessian矩陣判別，只要證明其 Hessian矩陣是非負定即可。解 某紡織廠的技術經濟分析簡化而得的目標函數(shù)為判斷此函數(shù)是否為凸函數(shù)。 例 15即此二次型應為半正定，即 Hessian矩陣為半正定。用 Telan二次項展開式近似表達，對任意 的 Hessian矩陣 （二階導矩陣 ） 為半正定。上的凸函數(shù)的充要條件是： 上具有連續(xù)二階導數(shù)，而 在 （ 2） 上凸函數(shù)的充要條件是 不等式 恒成立。為 內部的一個凸集，則 又是 上具有連續(xù)一階導數(shù)，而 在 若函數(shù) ？3(125) 則函數(shù) 就是定義在凸集 上的一個凸函數(shù)。上的任意 是 設 圖 110非凸集 凸集 圖 110(a)是二維空間的一個凸集，而 (b)不是凸集。凸函數(shù)的表達式為 （ 124）2時， 當 時， ； 當 （ 123） 圖 19 若函數(shù)曲線上任意兩點的連線，永遠不在曲線的下面，如圖 19（ a） 所示，則函數(shù) 凸性這個概念在優(yōu)化理論和應用中非常有用。 函數(shù)的凸性以及凸函數(shù)的判別條件即 Hessian矩陣為正定。即駐點 （ 1， 1）2） 再利用 Hessian矩陣判斷駐點是否為極值點。1） 先求解駐點。試求極值點，并判斷性質。正定的充要條件為矩陣 A的順序主子式取全大于零。不定， 為極大；當 為極??；當 正定， 也可以由 Hessian矩陣 （ 由二次型系數(shù) 為鞍點。當當 則點 當 附近，用泰勒公式的二次項近似表示，則有在點 多元目標函數(shù)在駐點 但是還無法確定是極值還是駐點，即使是極值還不能斷定是極大值還是極小值，這時用泰勒展開二次型。對于多元函數(shù)，有極值的必要條件是梯度 ， 根據(jù) 是負定的。 是正定的。正定判別 ：若 A陣左上角的主子行列式全大于零，則 A正定；反之，若 A正定， A陣左上角的主子行列式全大于零。因此二次型矩陣都是對稱矩陣。因為 ，所以 若式中 為常系數(shù)，則稱為二次型函數(shù)或 實二次型 。 二次型函數(shù)及正定矩陣判別多元函數(shù)用泰勒展開式作局部逼近，當取到二次項時，函數(shù)為二次型。多元函數(shù)用泰勒公式展開式作局部逼近，取到二次項時，函數(shù)為二次型。 只能說 是多元函數(shù)的駐點，不知道是否是極值點，更不知道是極大點還是極小點。n元函數(shù)的泰勒展開式為（ 121） 泰勒展開式對討論多元函數(shù)的極值問題很方便。n元函數(shù)的 Hessian矩陣可寫為（ 120）表示。—— 函數(shù)在點 寫成向量矩陣形式（ 118）可簡寫為（ 119）式中， 對二元函數(shù)同樣可以展開成泰勒公式。若取前二項 （ 展開式 ） 即用一直線逼近，若取展開式的前三項則表示用曲線逼近。若函數(shù)在某點有極值，則該點的梯度為 0。表明在 梯度方向是等值線上該點切線的法線方向。梯度的求法在點 作與 的等值線， 點 的梯度為： 在點 和點 的梯度。方向函數(shù)值的變化率最小，即可最速下降；目標函數(shù)等值線上某點的法線方向即為函數(shù)某點的梯度方向。方向函數(shù)值的變化率最大，即可最速上升；沿 梯度的模 （ 115）梯度方向是指函數(shù)值增長最快的方向。那么，哪個方向上的變化率最大？如何找到？下面引入梯度的概念。一般在同點的不同方向函數(shù)的變化率不同。 2求在 點沿 S方向的方向導數(shù)，向量 S的方 向為 解 由于 故 可見，如果 取不同的值而 點不變， 則方向導數(shù)的值不同。例 12點沿 S方向的方向導數(shù)為 ，則函數(shù) 即： （ 111）得 （ 112）式中 ——S 的方向余弦沿 S方向的方向導數(shù)為（ 110） 該二元函數(shù) ，由點沿著與 軸正向夾角 的方向 S變到點 ，如圖 17所示。對于函數(shù)沿任意給定方向的變化率，則需采用方向導數(shù)的概念。 優(yōu)化方法的數(shù)學基礎 方向導數(shù)和梯度1 方向導數(shù)建立最優(yōu)化設計的數(shù)學模型以后，即可選擇合適的最優(yōu)化方法解題，求目標函數(shù)的最優(yōu)解。即可確定。確定后，根據(jù)等式條件， 即設計變量由三個減為兩個，事實上，當 代入目標函數(shù)后原問題的數(shù)學模式可簡化為當然，這時被消去的那個設計變量必需以顯示的形式表達出來。所以其數(shù)學模型為的存放成品的貨箱，由于存放的貨物要求其長度不小于 2數(shù)學模型的建立，既可以用理論推導的方法，也可以用實驗的方法，現(xiàn)舉例說明建立數(shù)學模型的過程。目標函數(shù)的最優(yōu)值一般可用最小值 （ 或最大值） 的形式來表示，因此，最優(yōu)化設計的數(shù)學模型可簡化表示為（ 19）達到最優(yōu)值。 ， 使其目標函數(shù) 達到最優(yōu)值。 維空間中的可行域 選取設計變量，列出目標函數(shù)、給定約束條件后構造最優(yōu)化設計的數(shù)學模型。16(a) (b)(c) (d)優(yōu)化設計過程就是在可行域中沿著目標函數(shù)值不斷改善的方向去搜索出最好的解。在可行域中，任一點都是可行點。在設計空間中，滿足設計要求的一切約束所構成的空間