【導(dǎo)讀】成部分,也是優(yōu)化方法的基礎(chǔ)。搜索方向問題是無約束優(yōu)化方法的關(guān)鍵。方向,使函數(shù)值在該點(diǎn)附近的范圍內(nèi)下降最快。以負(fù)梯度方向為搜索方向,所以稱最速下降法或梯度法。兩個搜索方向互相垂直。在第三章中,我們已經(jīng)討論了一維搜索的牛頓方法。為函數(shù)的極小點(diǎn),根據(jù)極值的必要條件。這是多元函數(shù)求極值的牛頓法迭代公式。一類共軛方向法。1d應(yīng)滿足什么條件?等式兩邊同乘得??0d1d是對G的共軛方向。的負(fù)梯度構(gòu)造出來,所以稱共軛梯度法。從點(diǎn)出發(fā),沿G某一共軛方向作一維搜索,到達(dá)kxkd1kx?得出共軛方向與梯度之間的關(guān)系。此式表明沿方向kd. 般尺度的梯度起到改變尺度的作用,因此H又稱變尺度矩陣。通過尺度變換可以把函數(shù)的偏心程度降低到最低限度。使得函數(shù)偏心度變?yōu)榱恪2蛔?,即沿坐?biāo)方向輪流進(jìn)行搜索的尋優(yōu)方法。因此又稱變量輪換法。