人工神經(jīng)網(wǎng)絡課程ppt課件(編輯修改稿)
2025-02-04 04:10 本頁面
【文章內(nèi)容簡介】 梯度并進行修正，其它不變。 ?2022/2/2 馬盡文 17 非線性連續(xù)變換單元組成的網(wǎng)絡 3. BP網(wǎng)絡誤差曲面的特性 BP網(wǎng)絡的誤差公式為： 是一種非線性函數(shù)，而多層的 BP網(wǎng)絡中 又是上一層神經(jīng)元狀態(tài)的非線性函數(shù)，用 表示其中一個樣本對應的誤差，則有： 可見， 與 有關，同時也與所有 樣本對 有關，即與 有關。 21 1)(21 ???lN mll ytE ?? ? ?? ?)( ll ufy ?lu?E????????NlmllxtEExtEytE121),(),()(21????????WW)},(,),(),{( 2211 NN yxyxyxS ??E W2022/2/2 馬盡文 18 非線性連續(xù)變換單元組成的網(wǎng)絡 假定樣本集 給定，那么 是 的函數(shù)。在前面考慮的 4層網(wǎng)絡中，權值參數(shù)的總個數(shù)為： 那么在加上 這一維數(shù)，在 維空間中， 是一個具有極其復雜形狀的曲面。如果在考慮樣本，其形狀就更為復雜，難于想象。從實踐和理論上，人們得出了下面三個性質(zhì)： (i). 平滑區(qū)域 誤差廣義誤差 ???? )1()( ?????? lllll yyyt 平滑區(qū)域S E W)1()1()1( 2211 ?????? mnnnnnn WE 1?Wn E2022/2/2 馬盡文 19 非線性連續(xù)變換單元組成的網(wǎng)絡 (ii). 全局最優(yōu)解 不唯一 中的某些元素進行置換依然是全局最優(yōu)解，這從右邊的簡單模型可以看出。 (iii). 局部極小 一般情況下， BP算法會 收斂到一個局部極小解，即： 當 ，算法以希望誤差收斂； 當 ，算法不以希望誤差收斂，但可按梯度絕對值小于預定值結(jié)束。 *W*W1x 2x139。x 239。x),39。,39。( 21 Wxxfy ?00 )( WW ?n??)( 0WE??)( 0WE2022/2/2 馬盡文 20 非線性連續(xù)變換單元組成的網(wǎng)絡 4. 算法的改進 (i). 變步長算法（ 是由一維搜索求得） Step 1. 賦予初始權值 和允許誤差 ； Step 2. 在時刻 ，計算誤差 的負梯度（方向）： Step 3. 若 ，結(jié)束；否則從 出發(fā)，沿 做一維搜索，求出最優(yōu)步長 ： Step 4. ， 轉(zhuǎn) Step 2。 ?)0(W 0??0n ))(( 0nE W)()( 00 |)( nn Ed WWW ??????|||| )( 0nd )(0nW)( 0nd )(0n?))((m i na r g)( )(00 0ndnEn ?? ? ?? W)(000 0)()()1( ndnnn ???? WW2022/2/2 馬盡文 21 非線性連續(xù)變換單元組成的網(wǎng)絡 步長（學習率） 的確定方法： (a). 求最優(yōu)解：對 求導數(shù)，并令其為零，直接求解： (b). 迭代修正法：令 0))(()(0 0 ?????? ndnWE)( 0n??))(())(( 0)(0 0 nEdnEE n WW ???? ?0110,0,?????????????????????????，其中EifEifo l do l dn e w2022/2/2 馬盡文 22 非線性連續(xù)變換單元組成的網(wǎng)絡 (ii). 加動量項 為了防止震蕩并加速收斂，可采用下述規(guī)則： 注意 ：上式類似于共軛梯度法的算式，但是這里 不共軛。因此可能出現(xiàn)誤差增加的現(xiàn)象，即 ，這時可令 ，即退回到原來的梯度算法。 000()0 0 0 0( ) ( 1)00000 0 0 0( 1 ) ( ) ( ) ( )( 1 )( ) ( ) )()( ) ( ) ( ) ( 1 ) , 0 1 )nnnn n n d nnn n d dnn n n n?????????? ? ? ? ??? ? ?? ? ? ? ? ? ?W W WWW W W W（其 中 為 動 量 項 （)1()( 00 , ?nn dd0??E 0??2022/2/2 馬盡文 23 非線性連續(xù)變換單元組成的網(wǎng)絡 (iii). 加入 因子 當算法進入平坦區(qū)，即 ，則 。 為了消除或減弱這種現(xiàn)象，引入 因子，使得： (iv). 模擬退火方法 在所有權上加一個噪聲，改變誤差曲面的形狀，使用模擬退火的機制，使算法逃離局部極小點，達到全局最優(yōu)而結(jié)束。 ?0)1( ?? ?? ll yy ???|39。39。| ?lu?201 , 39。39。 39。39。 39。39。 / , 11 ex p ( 39。39。 )nl l l k k l lkly u w xu? ? ? ? ?? ???? ? ??? ?2022/2/2 馬盡文 24 非線性連續(xù)變換單元組成的網(wǎng)絡 (i).輸入輸出層的設計 BP網(wǎng)絡輸入、輸出層單元個數(shù)是完全根據(jù)實際問題來設計的，我們分三種情況討論： 這時輸入單元個數(shù)為 ； 輸入單元個數(shù)為 。 X Ymn RRXFy ?? :)(Fn m 2022/2/2 馬盡文 25 非線性連續(xù)變換單元組成的網(wǎng)絡 (a).若 ，則令 ，這樣輸出層僅需要一個單元。 (b).若 ，則令 : 這樣輸出層則需要 個單元。 (c).二進制編碼方法 對 進行二進制編碼，編碼位數(shù)為 },{) } ,(,),(),{( 212211 miNN CCCttxtxtxS ?? ??ji Ct ? )0( ?? ?? jt iji Ct ?），其余分量為個分量為第 01()0,0,1,0,0( jt Ti ???mmCCC , 21 ?2022/2/2 馬盡文 26 非線性連續(xù)變換單元組成的網(wǎng)絡 ， 這樣輸出層僅需 個單元。 (ii). 隱單元數(shù)與映射定理 1989年， R. Hecht
教學課件相關推薦
鄂ICP備17016276號-1