神經(jīng)網(wǎng)絡(luò)配套ch(2)(編輯修改稿)
2025-01-31 16:17 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 1 w21,1 w11,1 w21,1 中間步驟 完整軌跡 12 22 Newton方法 x k 1+ x k A k 1– g k–=A k F x? ?? 2 x x k=? g k F x? ?? x x k=?如果性能指數(shù)是函數(shù)平方的和 : F x? ? v i2 x? ?i 1=N? v T x? ? v x? ?= =則梯度的第 j 個(gè)元素是 : F x? ??? ? j F x? ?? xj? 2 v i x? ? v i x? ?? xj? i 1=N?= =12 23 矩陣形式 F x? ?? 2 J T x? ? v x? ?=梯度能寫成矩陣形式 : 其中 J是 Jacobian矩陣 : J x ? ? v 1 x ? ? ? x 1 ? v 1 x ? ? ? x 2 ? ? v 1 x ? ? ? x n ? v 2 x ? ? ? x 1 ? v 2 x ? ? ? x 2 ? ? v 2 x ? ? ? x n ? ? ? ? v N x ? ? ? x 1 ? v N x ? ? ? x 2 ? ? v N x ? ? ? x n ? = 12 24 Hessian矩陣 F x? ?? 2? ? k j? ?2 F x? ?x k? x j? 2v i x? ??x k? v i x? ??x j? v i x? ?? 2 v i x? ?x k? x j? +? ?? ?? ?i 1=N?= =F x? ?? 2 2 J T x? ? J x? ? 2 S x? ?+=S x? ? v i x? ? v i x? ?? 2i 1=N?=12 25 GaussNewton方法 F x? ?? 2 2 J T x? ?J x? ??x k 1+ x k 2 J T x k? ? J x k? ?? ? 1– 2 J T x k? ? v x k? ?–=x k J T x k ? ? J x k ? ? ? ? 1 – J T x k ? ? v x k ? ? – = 設(shè) S(x)很小， Hessian矩陣近似表示為 : Newton方法成為 : 12 26 LevenbergMarquardt(LM)算法 H JTJ=G H ?I+=? 1 ? 2 ? ? n? ? ?? ? z 1 z 2 ? z n? ? ?? ?G z i H ? I+? ? z i H z i ? z i+ ? iz i ? z i+ ? i ?+? ? z i= = = =GaussNewton方法近似表示 Hessian矩陣如下： 這個(gè)矩陣可能奇異 , 但是可進(jìn)行如下轉(zhuǎn)換： 如果 H的特征值和特征向量是： 那么 G的特征值 x k 1+ x k J T x k? ?J x k? ? ? k I+? ? 1– J T x
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1