神經(jīng)網(wǎng)絡(luò)模式識(shí)別法介紹(編輯修改稿)
2025-01-25 14:43 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 … … … 輸入層 第一隱層 第二隱層 輸出層 中間層為一層或多層處理單元； 前饋網(wǎng)絡(luò)； 結(jié)構(gòu)： 只允許一層連接權(quán)可調(diào)。 2． BP算法 兩個(gè) 階段 正向傳播階段：逐層狀態(tài)更新 反向傳播階段：誤差 BP算法的學(xué)習(xí)過(guò)程 設(shè)：某層任一神經(jīng)元 j的 輸入為 j，輸出為 yj； 相鄰低一層中任一 神經(jīng)元 i的輸出為 yi。 … yM y1 … x1 x2 x n … … … … j i ??iiijj yw )(jj f?wij：神經(jīng)元 i與 j之間的連接權(quán)； f(?)：神經(jīng)元的輸出函數(shù)。 )( jj fy ? 0)(11hjjn ete ?????S型輸出函數(shù)： θj：神經(jīng)元閾值； h0：修改輸出函數(shù)形狀的參數(shù)。 1 0 y j j θ j 設(shè)：輸出層中第 k個(gè)神經(jīng)元的實(shí)際輸出為 yk，輸入為 k； 與輸出層相鄰的隱層中任一神經(jīng)元 j的輸出為 yj。 ??jjjkk yw )(kk fy ? 對(duì)輸入模式 Xp，若輸出層中第 k個(gè)神經(jīng)元的期望輸出為 dpk，實(shí)際輸出為 ypk。輸出層的輸出方差 ： ? ??kpkpkp ydE2)(21若輸入 N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)均方差為： ? ? ??p kpkpk ydNE2)(21??ppEN1當(dāng)輸入 Xp時(shí)， wjk的修正增量： jkpjkp wEw???? ?ΔjkkkpjkpwEwE??????????其中， ??jjjkk yw由 式得到： pjpjjjkjkjkk yywww ?????? ? 令 ，可得 kppk E ?????輸出單元的誤差： 輸出單元的修正增量： )1()( pkpkpkpkpk yyyd ???? pjpkjkp y??? ?? 對(duì)于與輸出層相鄰的隱層中的神經(jīng)元 j和該隱層前低一層 中的神經(jīng)元 i ： ???kjkpkpjpjpj wyy ?? )1(pjpjijp yw ???Δ 輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各 層之間的權(quán)值進(jìn)行修正。 BP算法步驟： 第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化： (0， 1)上分布的隨機(jī)數(shù)。 第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。 ????????jjjd ??XX,1,1Mj ,2,1 ??第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層。 第四步：從輸出層開(kāi)始修正每個(gè)權(quán)值，直到第一隱層。 ijijijytwtw ????? )()1(10 ???若 j是輸出層神經(jīng)元，則： ))(1( jjjjj ydyy ????若 j是隱層神經(jīng)元，則： ???kjkkjjj wyy ?? )1(第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。 改進(jìn)的權(quán)值修正： )]1()([)()1( ?????? twtwytwtw ijijijijij ???—— 收斂快、權(quán)值平滑變化 α：平滑因子， 0α1。 BP算法存在問(wèn)題： * 存在局部極小值問(wèn)題； * 算法收斂速度慢； * 隱層單元數(shù)目的選取無(wú)一般指導(dǎo)原則； * 新加入的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。 * 輸出層各單元之間相互用較大的負(fù)權(quán)值輸入對(duì)方， 構(gòu)成正反饋。 競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 1．競(jìng)爭(zhēng)學(xué)習(xí) 典型的非監(jiān)督學(xué)習(xí)策略。 與二層前饋網(wǎng)絡(luò)類似； 結(jié)構(gòu)特點(diǎn)： 輸出層具有側(cè)抑制。 競(jìng)爭(zhēng)層： 競(jìng)爭(zhēng)學(xué)習(xí) 網(wǎng)絡(luò)的核心 側(cè)抑制： 加強(qiáng)自身 * 具有最高輸入總和的單元的輸出狀態(tài)為 1，其他單 元為 0。 2．漢明 (Hamming)網(wǎng)分類器 ε … 最
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1