哈工大模式識(shí)別課件—第6章多層神經(jīng)網(wǎng)絡(luò)(已修改)
2025-06-07 05:41 本頁面
【正文】 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 第六章 多層神經(jīng)網(wǎng)絡(luò) 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) （ MLP， Multilayer Perceptron） ?神經(jīng)元模型 yx1x2xd...w1w2wdf? ?1,dtiiiy f f w x??????????wxf稱為激活函數(shù) 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 解決異或問題的多層感知器 x1x2y11110 . 5 1 . 5 10 . 7 0 . 41 輸入層 隱含層 輸出層 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器的分類原理 ? 隱含層實(shí)現(xiàn)對(duì)輸入空間的非線性映射，輸出層實(shí)現(xiàn)線性分類； ? 非線性映射方式和線性判別函數(shù)可以同時(shí)學(xué)習(xí)。 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —閾值函數(shù) ? ? 1 , 01 , 0xfx x ??? ? ???xf ( x )模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —線性函數(shù) xf ( x )? ?f x x?模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —對(duì)數(shù) Sigmoid函數(shù) xf ( x )? ? 11 xfx e ?? ?模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 激活函數(shù) —雙曲正切 Sigmoid函數(shù) xf ( x )? ? ta n h ( )xxxxeef x xee??????模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)的三層感知器網(wǎng)絡(luò) 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)的設(shè)計(jì) ? 選定層數(shù) ：通常采用三層網(wǎng)絡(luò)，增加網(wǎng)絡(luò)層數(shù)并不能提高網(wǎng)絡(luò)的分類能力； ? 輸入層 ：輸入層節(jié)點(diǎn)數(shù)為輸入特征的維數(shù) d，映射函數(shù)采用線性函數(shù)； ? 隱含層 ：隱含層節(jié)點(diǎn)數(shù)需要設(shè)定，一般來說，隱層節(jié)點(diǎn)數(shù)越多，網(wǎng)絡(luò)的分類能力越強(qiáng)，映射函數(shù)一般采用 Sigmoid函數(shù)； ? 輸出層 ：輸出層節(jié)點(diǎn)數(shù)可以等于類別數(shù) c，也可以采用編碼輸出的方式，少于類別數(shù) c，輸出函數(shù)可以采用線性函數(shù)或Sigmoid函數(shù)。 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 三層網(wǎng)絡(luò)的判別函數(shù)形式 ? ? 2 1 0 011Hn dk k j ji i j kjig f w f w x w w???? ??? ? ??? ????????x第 k個(gè)輸出層神經(jīng)元的輸出，其中 d為特征維數(shù)， nH為隱層節(jié)點(diǎn)數(shù)。 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) MLP的訓(xùn)練 誤差反向傳播算法 （ BP， Backpropagation algorithm） ? BP算法的實(shí)質(zhì)是一個(gè)均方誤差最小算法 (LMS) ? 符號(hào)定義：訓(xùn)練樣本 x，期望輸出 t=(t1,…, t c)，網(wǎng)絡(luò)實(shí)際輸出 z=(z1,…, z c)，隱層輸出 y=(y1,…, y nH)，第 k個(gè)神經(jīng)元的凈輸出 k。 ? 目標(biāo)函數(shù)： ? ? ? ?2211122ciiiJ t z?? ? ??w t z? ? ? ? ? ? ? ?1 Jm m m m ? ?? ? ? ? ? ? ?w w w w w迭代公式： 模式識(shí)別 – 多層神經(jīng)網(wǎng)絡(luò) 輸出層 ...zky1y2yn
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1