神經網(wǎng)絡應用ppt課件(編輯修改稿)
2025-02-04 05:15 本頁面
【文章內容簡介】 優(yōu)化問題 由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可得 其中 為學習步長 21( ) ( )2nkkJ e n? ? ?21( ) ( )2nk kJ e n?? ? ?min?)()( nxne jkkj ?? ?? 神經學家 Hebb提出的學習規(guī)則：當某一連接兩端的神經元同步激活（或同為抑制）時，該連接的強度應增強，反之應減弱，數(shù)學描述如下： 其中 分別為 兩端神經元的狀態(tài) 最常用的一種情況是： ( ) , ( )kjh n h nij?))(),(( nhnhF jkkj ?? ?)()( nhnh jkkj ?? ??3. Hebb學習規(guī)則 對于多層網(wǎng)絡，由于有隱層后學習比較困難，限制了多層網(wǎng)絡的發(fā)展， BP算法的出現(xiàn)解決了這一困難。 六、 BP算法（向后傳播算法） 對于多層前饋型網(wǎng)絡，網(wǎng)絡中有兩種信號在流通， （ 1）工作信號，施加的輸入信號向前傳播直到在輸出層產生實際的輸出信號，是輸入信號和權值的函數(shù) （ 2）誤差信號，網(wǎng)絡實際輸出與應有輸出間的差值，它由輸出層開始逐層向后傳播 1. BP算法的原理 下面推導用于多層前饋型網(wǎng)絡學習的 BP算法 下面就逐個樣本學習的情況來推導 BP算法 如右圖，令單元 j 的凈輸入為 則 求 對 的梯度 該單元的誤差信號為 ，定義單元 j 的平方誤差為 ，則輸出層總的平方誤差的瞬時值為 : 設在第 n 次迭代中某一層的第 j 個單元的輸出為 )(ny j)()()( nyndne jjj ????jj nen )(21)( 2?)(21 2 nej)(nyi()jvn()j? ?()jyn()jdn()jen()ji n?( ) ( ) ( )j j i iiv n n y n?? ?( ) ( ( ) )j j jy n v n??()n? ji?2. BP算法 ? 當 j 單元所在層為輸出層時 其中 稱為 局部梯度 權值 的修正量為 ( ) ( ) ( )( ) ( )( ) ( ) ( ) ( )j j jj i j j j j ie n y n v nnne n y n v n n????? ? ??? ? ? ? ?? ? ? ? ?( ) ( 1 ) ( ( ) ) ( )j j j ie n v n y n? ?? ? ? ? ?( ) ( ( ) ) ( )j j j ie n v n y n? ???ji?( ) ( )()( ) ( ) ( ( ) )( ) ( ) ( )jjj j j jj j je n y nnn e n v ne n y n v n??? ??? ?? ? ? ? ?? ? ?)()()( )( nynnn ijjiji ?????? ??????)(nyi()jvn()j? ?()jyn()kdn()ken()ji n? ()kj n? ()kvn()kyn)(?k?? 當 j 單元所在層為隱層時 權值 的修正量為 ji?( ) ( ) ( ( ) )k k k kn e n v n?? ??( ) ( ( ) ) ( ) ( )j j j k k jkn v n n n? ? ? ??? ?? ?? ? ? ? ? ?nynnnijjiji ?????? ?????其中 第二部分 神經網(wǎng)絡工具箱 1x2xnx1y2ymy輸入層 隱層 輸出層
教學課件相關推薦
鄂ICP備17016276號-1