【正文】 ； ? 學習率的選擇 ：太大容易發(fā)散，太小則收斂較慢； ? 沖量項 ：有助于提高收斂速度。Δ wkj?Δ wkj+ηδ kyj 7. until m = n 8. wji? wji+Δ wji。 , ,r s t u v w x y z?? ?, , 。 , , 。 w31,w32, w33} 模式識別 – 多層神經(jīng)網(wǎng)絡 遺傳算子定義 ? 交叉： 1. 位置交叉： 2. 線性插值交叉： ? ?, , 。 模式識別 – 多層神經(jīng)網(wǎng)絡 MLP的訓練 誤差反向傳播算法 （ BP， Backpropagation algorithm） ? BP算法的實質(zhì)是一個均方誤差最小算法 (LMS) ? 符號定義：訓練樣本 x，期望輸出 t=(t1,…, t c)，網(wǎng)絡實際輸出 z=(z1,…, z c)，隱層輸出 y=(y1,…, y nH)，第 k個神經(jīng)元的凈輸出 k。 模式識別 – 多層神經(jīng)網(wǎng)絡 共軛梯度法 1. 在第一個梯度方向上移動，尋找到這個方向上的局部極小點； 2. 在共軛方向上計算第二個搜索方向： ? ? ? ?? ? ? ?1mm J m m?? ? ? ? ? ? ?w w w3. 如算法未收斂，則繼續(xù)在共軛方向上計算下一個搜索方向。 , , 。 , , 。 ? ?? ?2e xpP E w T??模式識別 – 多層神經(jīng)網(wǎng)絡 模擬退火算法應用于 MLP的訓練 1. 初始化溫度 T(0)， t?0，隨機初始化權(quán)值 w0； 2. 應用 BP算法搜索局部最優(yōu)解 w(t)，計算局部最優(yōu)解目標函數(shù)值 E(t)； 3. 隨機修正權(quán)值 w’(t) = w(t) + △ w，計算修正后的目標函數(shù)值E’(t)； 4. 若 E’(t) E(t)，則確認修改， w(t)=w’(t)， E(t)=E’(t)； 5. 否則依據(jù)概率 P = exp(E’(t)/T(t))確認修改； 6. 溫度下降： T(t) = T(0)/[1+ln(t+100)]，如 4， 5步確認修改，轉(zhuǎn)移到 2，否則轉(zhuǎn)移到 3，直到溫度下降到一定閾值為止； 模式識別 – 多層神經(jīng)網(wǎng)絡 模擬退火算法示例 E w 模式識別 – 多層神經(jīng)網(wǎng)絡 模擬退火算法示例 模式識別 – 多層神經(jīng)網(wǎng)絡 遺傳算法 （ GA， Geic Algorithm） ?遺傳算法是由 Holland于 1975年提出的，它主要模擬自然界生物“適者生存，優(yōu)勝劣汰”的進化規(guī)則； ?遺傳算法主要是應用于各種組合最優(yōu)問題的求解，經(jīng)過一定的改進之后，也可以應用于 MLP的權(quán)值學習。 模式識別 – 多層神經(jīng)網(wǎng)絡 激活函數(shù) —閾值函數(shù) ? ? 1 , 01 , 0xfx x ??? ? ???xf ( x )模式識別 – 多層神經(jīng)網(wǎng)絡 激活函數(shù) —線性函數(shù) xf ( x )? ?f x x?模式識別 – 多層神經(jīng)網(wǎng)絡 激活函數(shù) —對數(shù) Sigmoid函數(shù) xf ( x )? ? 11 xfx e ?? ?模式識別 – 多層神經(jīng)網(wǎng)絡 激活函數(shù) —雙曲正切 Sigmoid函數(shù) xf ( x )? ? ta n h ( )xxxxeef x xee??????模式識別 – 多層神經(jīng)網(wǎng)絡 標準的三層感知器網(wǎng)絡 模式識別 – 多層神經(jīng)網(wǎng)絡 多層感