最優(yōu)化方法-資料下載頁
2025-05-16 01:35本頁面
【導(dǎo)讀】幾個常用的梯度公式：。下面我們來考察多元函數(shù)關(guān)于。根據(jù)前面多元函數(shù)定義，若g在點(diǎn)處可微，因?yàn)橄蛄康臉O限是通過它所有分量的極限來定義的。稱之為向量值函數(shù)g在處的導(dǎo)數(shù)，也稱響亮。值函數(shù)g在點(diǎn)處的Jacoi矩陣。且其中為n元函數(shù)，有。二階連續(xù)偏導(dǎo)數(shù)。從而由上面可得：。陣.這兩個概念在最優(yōu)化中是最常用的。偏導(dǎo)數(shù)連續(xù)時，有j=1，2……因此在這種情況下，Hesse矩陣是對稱的。的梯度和Hesse矩陣。
【正文】 ? 推論：①對于具有對稱正定矩陣的二次函數(shù)： ? ? 是它的唯一極小點(diǎn)。 ? 證明：求此二次函數(shù)的駐點(diǎn)： ? 由 ? 知有唯一駐點(diǎn) ? 而這點(diǎn)處的 Hesse陣 正定。 ? 故由定理又知： 是其唯一極小點(diǎn)。 ? ②若多元函數(shù)在其極小點(diǎn)處的 Hesse陣正定，則它在這個極小點(diǎn)附近的等值面近似地呈現(xiàn)為同心橢球面族。 ? ?** XXX ?*X? ? ? ?.*XfXf ?? ? CXbQXXXf TT ??? 21bQX 1* ???? ? 0???? bQXXfbQX 1* ???bQX 1* ???? ? QXf ?? *2 167。 下降迭代算法及其收斂性 ? 證明：設(shè) 是多元函數(shù) f的極小點(diǎn)。并設(shè) f（ X） =r是充分靠近極小點(diǎn) 的一個等值面，即 充分小。將 f（ X）在 點(diǎn)展開為 Taylor公式。 ? ? 因 為極小值點(diǎn)。 ? 又 是高階無窮小量。省略。則有： ? ? 這是等值面 f=（ X）的一個近似曲面。 ? 由于假設(shè) 正定，則 ? ? 是以 為中心的橢球面方程。 *X*X*X*X*X*XX ?? ? ? ? ? ? ? ? ? ? ? ?? ? ?????? ?????????? 2***2**** 021 XXXXXfXXXXXfXfXf TT? ? 0* ?? Xf)(0 2*XX ?? ? ? ? ? ?? ? ? ? .21 **2** rXfXXXfXXXf T ??????? ?*2 Xf?? ? ? ? ? ?? ? .21 **2** rXXXfXXXf T ?????T ? 我們知道求解最優(yōu)化問題 可以通過求出其全部駐點(diǎn)，即求解非線性方程組： 達(dá)到。 ? 但求解此非線性方程組的難度并不比原最優(yōu)化問題求解難度小。因此一般不采用此法，而利用對原問題的直接迭代法。 ? 一、下降迭代算法： ? 設(shè) 是 f的一個局部極小點(diǎn)。一般的尋找最優(yōu)點(diǎn)的方法是先找到極小點(diǎn)的一個初始估計(jì)點(diǎn) 然后按一定規(guī)則即算法產(chǎn)生一個序列 如果： ? ? 稱算法產(chǎn)生的序列收斂于 ? 最常見的最優(yōu)化算發(fā)是下降算法。即給定初始點(diǎn)之后，如果每迭代一步均使目標(biāo)函數(shù)有所下降，即 ? 在一般算法中，若以迭代到點(diǎn) 那么下一次迭代有下面兩種情形之一發(fā)生： ? 從 出發(fā)沿任何方向移動，目標(biāo)函數(shù)不再下降。 ? 根據(jù)定義知，此點(diǎn) 即為局部極小點(diǎn)。迭代終止。 ? ?XfnRXmin ?? ? 0?? Xf0X? ?kX0*limlim * ?? ?????XXX kXkkk或*X*XkXkX? ? ? ?.1 kk XfXf ??01 ? 如果算法在某步迭代時找到了極小點(diǎn) 則稱算法是有限步終止的。這種情形極少見。 ? 從 出發(fā)至少有一個方向使目標(biāo)函數(shù)有所下降。 ? 這時從中選定一個下降方向 再沿這個方向迭代一步。即在直線 上適當(dāng)找一個新點(diǎn) ? 使 ? 此時我們說完成了一次迭代。其中 稱為步長因子。 ? 一個算法是有效的，如果它所產(chǎn)生的序列 收斂于極小點(diǎn) ? 在利用計(jì)算機(jī)求解是，總只能進(jìn)行有限次迭代，一般難求解精確的極小點(diǎn)，而只得到近似解。如何使計(jì)算機(jī)終止迭代而又得到一定精度的近似解。就需要預(yù)先給出算法終止準(zhǔn)則。 ? 一個自然的想法就是當(dāng) 小于預(yù)先給定的誤差時， 即為所求的近似解。但 未知，因而 ? 無法計(jì)算。然而 很小時， 自然也很小，于是想到用 ①作為算法的一個終 kXkPktkk tPXX ?? kkkk PtXX ??? 1? ? ? ? ? ?kkkkk XPtXfXf ???? 1? ?kX*X*X*XX k ?*XX k ? kk XX ??111 ???? kk XXkX? 止準(zhǔn)則。其中 是預(yù)先給定的一個判別算法終止的界限，稱為 終止限 。但僅用此作為終止準(zhǔn)則是不可靠的。因?yàn)? 很小并不能保證 很小。如圖 （ a）所示的一條一元目標(biāo)函數(shù)曲線。 1?*XX k ?kk XX ??1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1