人工神經(jīng)網(wǎng)絡(luò)講ppt課件-閱讀頁
2025-01-20 05:06本頁面
【正文】 Perceptron）學(xué)習(xí)規(guī)則 這一規(guī)則是有監(jiān)督學(xué)習(xí)，學(xué)習(xí)信號是期望值與神經(jīng)元實(shí)際響應(yīng)之差學(xué)習(xí)規(guī)則如下圖所示。 感知機(jī)（ Perceptron）學(xué)習(xí)規(guī)則 在這一規(guī)則下， Oi僅當(dāng)不正確的情況下才進(jìn)行權(quán)調(diào)整，誤差是學(xué)習(xí)的必要條件。初始權(quán)可為任意值。 學(xué)習(xí)信號為： [ ( ) ] 39。( ) ( )TTiif W X f ne t ne t W X?是 激 活 函 數(shù) 對 的 導(dǎo) 數(shù)221 ()21 [ ( ) ]2iiTiiE d OE d f W X??21 ( ) 39。 方差： Delta學(xué)習(xí)規(guī)則 這個規(guī)則是與離散感知器學(xué)習(xí)規(guī)則是并行的，可以稱為連續(xù)感知器訓(xùn)練規(guī)則，它可以進(jìn)一步推廣到多層。 ( ) 39。( )i i i iW c d O f ne t X? ? ?Tii W X?2( ) 39。 神經(jīng)元網(wǎng)絡(luò)的工作過程： 這里主要介紹兩種最常用的形式： 第一種：回想（ recall） —— 自動聯(lián)想 —— 異聯(lián)想 第二種：分類（ classification） —— 異聯(lián)想的一種特殊情況 —— 識別 自動聯(lián)想過程 異聯(lián)想過程 分類過程 識別過程 5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒? ?誤差逆?zhèn)鞑バＵ椒ㄊ抢脤?shí)際輸出與期望輸出之差對網(wǎng)絡(luò)的各層連接權(quán)由后向前進(jìn)行校正的一種計(jì)算方法。 5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒? ?為計(jì)算方便，我們首先把網(wǎng)絡(luò)的變量設(shè)置如下： ?輸入模式向量： ?希望輸出向量： ?中間層各單元輸入激活值向量： ?中間層各單元輸出向量： ?輸出層各單元輸入激活值向量： ?輸出實(shí)際值向量： ?輸入層至中間層的連接權(quán)： ?中間層至輸出層的連接權(quán)： ?中間層各單元的閾值： ?輸出層各單元的閾值： ?其中 12[ , , , ]k k kknA a a a?12[ , , , ]k k kkqY y y y?12[ , , , ]k k kkpS s s s?12[ , , , ]k k kkpB b b b?12[ , , , ]k k kkqL l l l?12[ , , , ]k k kkqC c c c?ijWjtVj?t?1 , 2 , , 。 1 , 2 , , 。利用Delta學(xué)習(xí)規(guī)則，應(yīng)該先求出誤差函數(shù)的梯度，因此有以下推導(dǎo)過程： ?對第 k個學(xué)習(xí)模式，網(wǎng)絡(luò)的希望輸出與實(shí)際輸出的偏差設(shè)為： ? ? 1 (1 )1 xfx e ?? ?? ? ? ? ? ?39。( ) ( 1 ) ( 10)t t tf l c c??5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒? ?所以： ?因此，由式（ 6）（ 7）和（ 11）可得： 39。 1 , 2 , , 。 1 , 2 , ,kkki j j iijEW e a i n j pW? ? ??? ? ? ? ? ? ? ? ? ??同樣也可求出閾值的調(diào)整量： 為中間層各單元的校正誤差 kje( 1 , 2 , , )ktt d t q??? ? ? ?( 1 , 2 , , )kjj e j p??? ? ? ?以上的推導(dǎo)僅是針對某一組學(xué)習(xí)模式進(jìn)行的，其誤差也是某一組的誤差。 ?循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠?jì)算過程反復(fù)交替循環(huán)進(jìn)行） ?學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。 BP網(wǎng)絡(luò)的應(yīng)用舉例 ? “異或”（ XOR）問題：例如有一個 BP網(wǎng)絡(luò)，它由輸入、中間和輸出層這三層構(gòu)成，如圖所示。先要求訓(xùn)練這一網(wǎng)絡(luò)，使其具有解決“異或”問題的能力。在初始狀態(tài)下的輸入、輸出結(jié)果如下表所示 X1 X2 希望輸出 實(shí)際輸出 全局誤差 0 0 0 0 1 1 1 0 1 1 1 0 X2 X1 X1 1 ? ?＝2 ? ?＝BP網(wǎng)絡(luò)的應(yīng)用舉例 X1 X2 希望輸出 實(shí)際輸出 全局誤差 0 0 0 0 1 1 1 0 1 1 1 0 這時的平方和誤差可用下式計(jì)算： 2411 ()2 jjjE y c????由于對應(yīng)四個輸入模式的實(shí)際輸出均為 ，所以全局誤差為 。當(dāng)進(jìn)行 8000次學(xué)習(xí)后得到下圖所示的網(wǎng)絡(luò)參數(shù)。若輸出小于 0，大于 1，則可認(rèn)為此時網(wǎng)絡(luò)已經(jīng)完成了模式記憶，已有正確的分類能力。若輸出小于 0，大于 1，則可認(rèn)為該網(wǎng)絡(luò)完全學(xué)會了解決“異或”問題。 BP網(wǎng)絡(luò)的缺點(diǎn)： 改進(jìn)： ?累積誤差校正法 ?S函數(shù)輸出限幅法 ?慣性校正法 LOGO ?感知器學(xué)習(xí)算法相當(dāng)簡單，并且當(dāng)函數(shù)線性可分時保證收斂。為了克服存在的問題，所以人們提出另一種算法 —— 梯度算法 (也即是 LMS
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1