【正文】
向的概念 ? ? 12 TTf x x G x b x c? ? ?共軛方向的概念是在研究二次函數(shù) 時引出的。 為避免鋸齒的發(fā)生,取下一次的迭代搜索方向直接指向極 小點,如果選定這樣的搜索方向,對于二元二次函數(shù)只需 進行兩次直線搜索就可以求到極小點。 三、共軛方向法 選定初始點 ,下降方向 和收斂精度 ε, k=0。 提供新的共軛方向 ,使 1kd ? ? ? 1 0Tjkd G d ???置 ,轉(zhuǎn) 2。 ? ? 12 TTf x x G x b x c? ? ?1k k kkx x a d? ??1k k kkx x a d? ??kkg G x b??從點 出發(fā),沿 G某一共軛方向 作一維搜索 ,到達 kx kd 1kx ?11 kkg Gx b?? ??而在點 、 處的梯度分別為: kx 1kx ?? ?11 k k kk k kg g G x x a G d?? ? ? ? ?? ? 1 0Tjkd G d ??? ? ? 0Tjkd G d ?? ? ? ?1 0Tj kkd G g g? ??得出共軛方向與梯度之間的關(guān)系。 kd jd圖 49 共軛梯度法的幾何說明 第六節(jié)變尺度法 ? ?1k k k kx x H f x?? ? ? ?變尺度法的基本思想: 前面討論的梯度法和牛頓法,它們的迭代公式可以看作下列 公式的特例。并在迭代過程中,使其逐漸逼近 H1 。 一、尺度矩陣的概念 變量的尺度變換是放大或縮小各個坐標。 對于一般二次函數(shù) ? ? 12 TTf x x G x b x c? ? ?如果進行尺度變換 x Qx?則在新的坐標系中,函數(shù)的二次項變?yōu)? 1122T T Tx G x x Q G Q x?選擇這樣變換的目的:降低二次項的偏心程度。 用 Q1 右乘等式兩邊,得 1TQ G Q ??再用 Q左乘等式兩邊,得 TQ Q G I?所以 1TQ Q G ??說明二次函數(shù)矩陣 G的逆矩陣,可以通過尺度變換矩陣 Q 求得。 它把多變量的優(yōu)化問題輪流地轉(zhuǎn)化成單變量的優(yōu)化問題。 其基本原理是將一個多維的無約束最優(yōu)化問題轉(zhuǎn)化為一系列較低維的最優(yōu)化問題來求解,簡單地說,就是先將(n1)個變量固定不動,只對第一個變量進行一維搜索得到最優(yōu)點 x1( 1) 。 圖 4- 12 坐標輪換法原理圖( 動畫演示 ) ??????? )0(2 )0(1XX??