哈工大模式識別課件—第6章多層神經(jīng)網(wǎng)絡(luò)(參考版)
2025-05-29 05:41本頁面
【正文】 , , , , 。 ? ? ? ?, , 。 , ,3 3 3 3 3a r b s c t d u i z? ? ? ? ???????2 2 2 2 2, , 。 , , 。 , , 。 , , 。 , , 。 , , 。 , , 。 w21,w22, w23。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) GA應(yīng)用于 MLP權(quán)值學(xué)習(xí) ? 染色體表達(dá)： 直接采用神經(jīng)元的權(quán)值作為基因片段，而不轉(zhuǎn)化為二進(jìn)制串。 ? ?? ?2e xpP E w T??模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 模擬退火算法應(yīng)用于 MLP的訓(xùn)練 1. 初始化溫度 T(0)， t?0，隨機(jī)初始化權(quán)值 w0； 2. 應(yīng)用 BP算法搜索局部最優(yōu)解 w(t)，計(jì)算局部最優(yōu)解目標(biāo)函數(shù)值 E(t)； 3. 隨機(jī)修正權(quán)值 w’(t) = w(t) + △ w，計(jì)算修正后的目標(biāo)函數(shù)值E’(t)； 4. 若 E’(t) E(t)，則確認(rèn)修改， w(t)=w’(t)， E(t)=E’(t)； 5. 否則依據(jù)概率 P = exp(E’(t)/T(t))確認(rèn)修改； 6. 溫度下降： T(t) = T(0)/[1+ln(t+100)]，如 4， 5步確認(rèn)修改，轉(zhuǎn)移到 2，否則轉(zhuǎn)移到 3，直到溫度下降到一定閾值為止； 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 模擬退火算法示例 E w 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 模擬退火算法示例 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 遺傳算法 （ GA， Geic Algorithm） ?遺傳算法是由 Holland于 1975年提出的，它主要模擬自然界生物“適者生存，優(yōu)勝劣汰”的進(jìn)化規(guī)則； ?遺傳算法主要是應(yīng)用于各種組合最優(yōu)問題的求解，經(jīng)過一定的改進(jìn)之后，也可以應(yīng)用于 MLP的權(quán)值學(xué)習(xí)。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 共軛梯度法 1. 在第一個梯度方向上移動，尋找到這個方向上的局部極小點(diǎn)； 2. 在共軛方向上計(jì)算第二個搜索方向： ? ? ? ?? ? ? ?1mm J m m?? ? ? ? ? ? ?w w w3. 如算法未收斂，則繼續(xù)在共軛方向上計(jì)算下一個搜索方向。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 提高收斂速度的方法 ?一個比較直觀的想法是通過增大學(xué)習(xí)率來提高收斂速度，但這樣有可能造成算法發(fā)散。 wkj? wkj+Δ wkj 9. until ||▽ J(w)||θ 10. return w 11. end 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) BP算法的一些實(shí)用技術(shù) ? 激活函數(shù)的選擇 ：一般可以選擇雙曲型的 Sigmoid函數(shù)； ? 目標(biāo)值 ：期望輸出一般選擇 (1,+1)或 (0,1)； ? 規(guī)格化 ：訓(xùn)練樣本每個特征一般要規(guī)格化為 0均值和標(biāo)準(zhǔn)差； ? 權(quán)值初始化 ：期望每個神經(jīng)元的 1+1，因此權(quán)值一般初始化為 ； ? 學(xué)習(xí)率的選擇 ：太大容易發(fā)散，太小則收斂較慢； ? 沖量項(xiàng) ：有助于提高收斂速度。Δ wkj?0 4. do m?m+1 5. xm?select pattern 6. Δ wji?Δ wji+ηδ jxi。 ? 目標(biāo)函數(shù)： ? ? ? ?2211122ciiiJ t z?? ? ??w t z? ? ? ? ? ? ? ?1 Jm
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1