【正文】 現(xiàn)求，設(shè)已求得共軛向量?????? ?? ?? ?? ?? ?? ?TTTTTTTTddedGddGedGddGedddeddedGddGeddededeeedddG?????????????????????????????????????????????????????????????????????????????????????????????1323103201212100110001000121012101202012122002020112121020121220101100101。 共軛方向的選擇有多種， 下面介紹格拉姆 — 斯密特（ GramSchmidt）向量系共軛化方法，它是格拉姆 — 斯密特向量系正交化方法的推廣。置，和收斂精度，下降方向）選定初始點(diǎn)215,2,1,04432011111100???????????????kkkjGdddxxfdxxdkdxkTjkkkkkkkk???? 共軛方向法程序框圖如右圖所示。停機(jī)，否則轉(zhuǎn)，印是否滿足，若滿足則打）判斷。轉(zhuǎn)）置。 0 1 2 1, , , , md d d d ?0x0 1 2 1, , , , md d d d ?性質(zhì) 2 在 n維 空間中互相共軛的非零向量的個(gè)數(shù)不超過 n。 性質(zhì) 3 從任意初始點(diǎn) 出發(fā)，順次沿 n個(gè) G的共軛方向 進(jìn)行一維搜索，最多經(jīng)過 n次迭代可以找到二次函數(shù) 極小點(diǎn) 。由此可見，共軛概念是正交概念的推廣，正交是共軛的特例。 0d 1d? ? bGxxf T ???　?定義 設(shè) G為 n n對稱正定矩陣，若 n維空間中有 m個(gè)非零向量 滿足 0 1 2 1, , , , md d d d ?? ? ? ? ? ?0 , 0 , 1 , 2 , , 1Tijd G d i j m i j? ? ? ?則稱 對 G共軛，或稱是 G的共軛方向。 二元二次函數(shù)：等值線為同心橢圓族、過橢圓中心的直線與諸橢圓交點(diǎn)處的切線相互平行。 ? ?? ? bGxxfcbxGxxxfTT??????21 為了避免搜索鋸齒的出現(xiàn)，我們?nèi)∠乱淮蔚姆较蛑敝笜O小點(diǎn) 。 BFGS迭代公式： kTkkTkkTkkkTkkkTkkkTkkk ysHyssyHssysyHyHH ?????? ?????????? ???? 11最小二乘法（ GaussNewton法） ? ? ? ? nmXfXF mii ?? ??　　　當(dāng)目標(biāo)函數(shù)形如： 21? ? ? ? ? ? njxXfXfxXF mi jiij??????? ??121　　　　?? ?? ?? ?? ?? ?? ?? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ?? ?? ???????????????????????????????????????????????????????????????????????????????????????XfXfXfxXfxXfxXfxXfxXfxXfxXfxXfxXfXfxXfXfxXfXfxXfXFmnmnnmmmiinimiiimiii?????????2121222211121111 21 122　? ? ? ? ? ? ? ?? ? ? ? ? ?jiijnmijTxXfXJXJXJJ ac ob iXfXJ?????? ，矩陣　　其中：　　　 2? ?? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?　　　處泰勒展開：在將??????????? nlklllkikikTkikiikixxxXfXfXXXfXfXfXXf1? ? ? ?? ? ? ? ? ? ? ?jinlklllkrjinlklllkrkrjirxxxxxXfxxxxxXfXfxxXf???????? ????????????? ?????????? ?? ??21221222　　? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?jiknnnkrknnkrknnnkrkkrjikkrknnkrkkrkkrxxxxxXfxxxXfxxxXfxxxXfxxxxxXfxxxXfxxxXfxxxXf?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1111211111111112???　　　? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?krjkrijkrikrjikjjjkrkiiikrXJXJxXfxXfxxxxxXfxxxXf2222????????????????????????? ?? ?? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ?? ?jikijnmkijkkTkmrkrjkrijimrrjixXfXJXJXJXJXJXFXJXJxxXfxxXF????????????????????　　其中　即：　　　22211222? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ? ? ?kTkkTkkkkkTkkTkkkXfXJXJXJXXN e w t o nG a u s sXfXJXJXJXXN e w t o nG a u s s1111???????????　　公式：得修正公式，帶入阻尼牛頓法的迭代　　最小二乘法公式：得，帶入牛頓法的迭代公式? ? ? ? ? ? ? ?? ?? ? ? ?? ? ? ?? ?? ? ? ?? ? ? ? ? ?21654320111*111210，轉(zhuǎn)，則、若，結(jié)束，則、若、進(jìn)行一維搜索，得：、計(jì)算　　其中　　　　　　、計(jì)算：，令、給定初始點(diǎn)迭代步驟：???????????????????????kkXXXXXXSXXXfXJXJXJSxXfXJXJXJXfXfXfXfkxkkkkkkkkkkTkkTkkjiijnmijTkmkkk?????? ? ? ? ? ? ? ?? ? ? ? ? ?? ?? ?? ? ? ? ? ? ? ? ? ?? ?? ? ? ?00100010110000110020020224001001200011020110001100000000110112121212121112120212212????????????????????????????????????? ???????????????????????????????????????????????再進(jìn)行一維搜索，得　　　則　　　　　　　　解：的極小點(diǎn)，例：求SXXSxxxXJXJxxxxxxXfXJxXJxxxXfxxxxXFkTkTkTkTTMarquardt法 ? ?? ?? ? ? ?? ?? ? ? ?控制探索方向及步長程中用它來同時(shí)是一個(gè)參數(shù)，在迭代過　　法迭代公式：　　牛頓法的迭代公式：　　最速下降法迭代公式：kkkkkkkkkkkkkkxfIxfxxM a r q u a r d txfxfxxxfxx????????????????????1211211? ?? ? ? ?? ?? ? ? ?? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?然后再迭代下一步，例如，則取　若，例如，則取　若迭代過程中，逐漸變?yōu)閯t由時(shí)，方向由足夠大逐漸減小至故當(dāng)足夠小時(shí)，當(dāng)足夠大時(shí)，當(dāng)kkkkkkkkkkkkkkkkkkkkkkkkkxfxfxfxfxfxfxfSxfIxfIIIxf???????????????201111111121212112???????????????????????????????????????? ? ? ? ?? ?? ? ? ?? ? ? ?? ? ? ? 重新計(jì)算，轉(zhuǎn)，令、若，轉(zhuǎn)，令、若、計(jì)算、計(jì)算；滿足，結(jié)束、不滿足，轉(zhuǎn)，檢查、計(jì)算，、令迭代步驟：4275443?21001111114kkkkkkkkkkkkkkkkkkXfXfkkXfXfSXXXfIXHSXfXfk