哈工大模式識別課件—第6章多層神經(jīng)網(wǎng)絡-文庫吧在線文庫
【正文】 k k jkf ne t w????? ?,jijiJ xw ?? ???模式識別 – 多層神經(jīng)網(wǎng)絡 迭代公式 ? 輸出層： ? 隱含層： ,kjkjJ yw?? ??? ? ? ? ?k k k kt z f n e t? ???,jijiJ xw ?? ??? ? ? 1cj j k k jkf ne t w????? ?模式識別 – 多層神經(jīng)網(wǎng)絡 誤差反向傳播 模式識別 – 多層神經(jīng)網(wǎng)絡 BP算法 —批量修改 1. begin initialize nH， w， θ ， η ， r?0 2. do r?r+1 3. m?0。 模式識別 – 多層神經(jīng)網(wǎng)絡 MLP的訓練 誤差反向傳播算法 （ BP， Backpropagation algorithm） ? BP算法的實質是一個均方誤差最小算法 (LMS) ? 符號定義：訓練樣本 x，期望輸出 t=(t1,…, t c)，網(wǎng)絡實際輸出 z=(z1,…, z c)，隱層輸出 y=(y1,…, y nH)，第 k個神經(jīng)元的凈輸出 k。 模式識別 – 多層神經(jīng)網(wǎng)絡 梯度下降法 ? 目標函數(shù)的一階泰勒級數(shù)展開： ? ? ? ? ? ? ? ?1ktk k k k kJJ J J???????? ? ? ? ? ????wwww w w w ww? ?ktkJ??????? ? ????wwwww? ? ? ? 0ktkkJJ??????? ? ? ???? www目標函數(shù)增量： 使目標函數(shù)下降最大： 模式識別 – 多層神經(jīng)網(wǎng)絡 牛頓法 ? 目標函數(shù)的二階泰勒級數(shù)展開： ? ? ? ? 12kttk k k kJJ??????? ? ? ? ? ????wwww w w H ww? ? ? ? 0kkkkdJ Jd???? ???? ? ? ??? ??www wHwww ? ?1kkJ???????? ? ????wwwwHwH是 Hessian矩陣，求取目標函數(shù)增量的極大值： 模式識別 – 多層神經(jīng)網(wǎng)絡 Quickprop算法 ? 分別對每個參數(shù)進行優(yōu)化，權值增量由上一步的增量迭代計算： ? ? ? ?11 mmmdJdww m w mdJ dJdw dw?? ? ? ??模式識別 – 多層神經(jīng)網(wǎng)絡 共軛梯度法 ? 滿足如下條件的兩個方向 α 和 β 稱為關于矩陣 H互為共軛方向： 0t ?α H β? 對于二次優(yōu)化函數(shù)，權值沿著任意一個初始方向移動到最小點，然后再沿著該方向關于 H的共軛方向移動到最小點即可達到全局最小點。 w31,w32, w33} 模式識別 – 多層神經(jīng)網(wǎng)絡 遺傳算子定義 ? 交叉： 1. 位置交叉： 2. 線性插值交叉： ? ?, , 。 , ,a b c u v w x y z? ?, , 。 , , 。 , ,r s t u v w x y z?2 2 2 2 2, , 。 , ,r s t u
醫(yī)療健康相關推薦
鄂ICP備17016276號-1