哈工大模式識(shí)別課件—第6章多層神經(jīng)網(wǎng)絡(luò)-全文預(yù)覽
【正文】 w(t) + △ w，計(jì)算修正后的目標(biāo)函數(shù)值E’(t)； 4. 若 E’(t) E(t)，則確認(rèn)修改， w(t)=w’(t)， E(t)=E’(t)； 5. 否則依據(jù)概率 P = exp(E’(t)/T(t))確認(rèn)修改； 6. 溫度下降： T(t) = T(0)/[1+ln(t+100)]，如 4， 5步確認(rèn)修改，轉(zhuǎn)移到 2，否則轉(zhuǎn)移到 3，直到溫度下降到一定閾值為止； 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 模擬退火算法示例 E w 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 模擬退火算法示例 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 遺傳算法 （ GA， Geic Algorithm） ?遺傳算法是由 Holland于 1975年提出的，它主要模擬自然界生物“適者生存，優(yōu)勝劣汰”的進(jìn)化規(guī)則； ?遺傳算法主要是應(yīng)用于各種組合最優(yōu)問題的求解，經(jīng)過一定的改進(jìn)之后，也可以應(yīng)用于 MLP的權(quán)值學(xué)習(xí)。 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 提高收斂速度的方法 ?一個(gè)比較直觀的想法是通過增大學(xué)習(xí)率來提高收斂速度，但這樣有可能造成算法發(fā)散。Δ wkj?0 4. do m?m+1 5. xm?select pattern 6. Δ wji?Δ wji+ηδ jxi。 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 三層網(wǎng)絡(luò)的判別函數(shù)形式 ? ? 2 1 0 011Hn dk k j ji i j kjig f w f w x w w???? ??? ? ??? ????????x第 k個(gè)輸出層神經(jīng)元的輸出，其中 d為特征維數(shù)， nH為隱層節(jié)點(diǎn)數(shù)。 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —閾值函數(shù) ? ? 1 , 01 , 0xfx x ??? ? ???xf ( x )模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —線性函數(shù) xf ( x )? ?f x x?模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —對(duì)數(shù) Sigmoid函數(shù) xf ( x )? ? 11 xfx e ?? ?模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —雙曲正切 Sigmoid函數(shù) xf ( x )? ? ta n h ( )xxxxeef x xee??????模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)的三層感知器網(wǎng)絡(luò) 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)的設(shè)計(jì) ? 選定層數(shù) ：通常采用三層網(wǎng)絡(luò)，增加網(wǎng)絡(luò)層數(shù)并不能提高網(wǎng)絡(luò)的分類能力； ? 輸入層 ：輸入層節(jié)點(diǎn)數(shù)為輸入特征的維數(shù) d，映射函數(shù)采用線性函數(shù)； ? 隱含層 ：隱含層節(jié)點(diǎn)數(shù)需要設(shè)定，一般來說，隱層節(jié)點(diǎn)數(shù)越多，網(wǎng)絡(luò)的分類能力越強(qiáng)，映射函數(shù)一般采用 Sigmoid函數(shù)； ? 輸出層 ：輸出層節(jié)點(diǎn)數(shù)可以等于類別數(shù) c，也可以采用編碼輸出的方式，少于類別數(shù) c，輸出函數(shù)可以采用線性函數(shù)或Sigmoid函數(shù)。Δ wji?0。 11d w d? ? ?? ? ? ? ? ? ? ? ? ?1 1 1bpm m m m??? ? ? ? ? ? ? ?w w w w模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 1. BP算法的 收斂速度 一般來說比較慢； 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 2. BP算法只能收斂于 局部最優(yōu)解 ，不能保證收斂于全
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1