人工神經(jīng)網(wǎng)絡(luò)課程ppt課件-wenkub.com
2025-01-05 04:10 本頁面
【正文】 根據(jù)該學(xué)習(xí)問題，可選取三種不同的 m值，并觀察所得網(wǎng)絡(luò)在檢測樣本上的誤差變化。 ???）壓縮率（的編碼對nnnnxxGunnuuuuuFymnxyTn211121l o g/)(,],[),(,1????????????1x1x 2x nxnx2x1u 2u 1nu1n2022/2/2 馬盡文 43 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 作業(yè)： k層前饋網(wǎng)絡(luò)的 BP算法，并且考慮跨層連接的權(quán)值。但我們可 634l og17~844211????????naanmn141 ?n1? 2??2022/2/2 馬盡文 41 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 采 用 BP網(wǎng)絡(luò)對一些樣本的學(xué)習(xí)得到這些非線性曲線的擬合，根本無須知道機(jī)械臂的動力學(xué)模型。通過對 1000個(gè)樣本的學(xué)習(xí)所得到的網(wǎng)絡(luò)對 6000個(gè)手寫數(shù)字的正確識別率達(dá)到 95%。（可提?。┨卣魅纾? 1， 2， 3， 7 ：具有兩個(gè)端點(diǎn)； 0， 6， 8， 9：具有圈； 2：兩個(gè)端點(diǎn)前后； 2022/2/2 馬盡文 39 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 對于一個(gè)樣本，若具有那個(gè)特征，所對應(yīng)的特征輸入單元取值為 1，否則為 0。 2022/2/2 馬盡文 38 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) (iii). 數(shù)據(jù)壓縮。 6. BP網(wǎng)絡(luò)的應(yīng)用 (i). 模式識別、分類。()( c o s ()),()( s i n (||)()(||)()(||)()(||)()()()(||)()(|),(),(21),(),(nKNNNNKKKKKKKKKKKNNNNKKKKFjFFjFFjjxbauWSubuWSuaxhxhxyxhxhxhxyxhxhxhxyxh????????????????????????????????????????2022/2/2 馬盡文 36 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) (iii). 隱單元數(shù)的選擇 隱單元數(shù)：小，結(jié)構(gòu)簡單，逼近能力差，不收斂；大，結(jié)構(gòu)復(fù)雜，逼近能力強(qiáng)，收斂慢。,39。]),[22()s i n ()2s i n (111jjjjjknkjknlllTTuuxwedxkxKuuxK????????????????????))(( jj uf ?? ? ???j?))(( jj uf ?? ?1))((),( 11jjnjj ufwuWS ???? ?? ??1nj ? u 2022/2/2 馬盡文 33 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 大時(shí)，我們可將區(qū)間 充分的細(xì)分，選取 和 ， 使得 ，或 即得： 對于 ，我們有下面的展開： ],[ ed)0(|)s i n (),(| 2 ??? ??? uuWSj?j?211|)2s i n()(| 1 ??? ???????xKxwfw Tjknkjknjj)2s i n()(111 xKxwfw Tjknkjknjj ?? ??????)(xhj2022/2/2 馬盡文 34 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) )2c o s (39。 dxexgcnTnxiKkk ? ??]1,0[2)(1??)(),( xggNxg F ???N),( gxg F ? )(xgmn Rxh ?]1,0[:)()]1,0([)()],(,),([)( 1 njn cxhxhxhxh ?? ?n ] 1 , 0 [ ) ( x h 2022/2/2 馬盡文 30 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 映射定理 (HechtNielsen)：給定任意精度 ，對于一個(gè)連續(xù)影射 ，其中： 那么必存在一個(gè)三層 BP神經(jīng)網(wǎng)絡(luò)來逼近函數(shù)，使得在每點(diǎn)上的誤差不超過 。 m2log m2log),( baCg ?0?? )(xp??? |)()(| xpxg ],[ bax??2Cg ??20??)(xT ??? |)()(| xTxg Rx??2022/2/2 馬盡文 27 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 在 維空間中，任一向量 都可表示為 其中 為 的一個(gè)正交基。 (c).二進(jìn)制編碼方法 對 進(jìn)行二進(jìn)制編碼，編碼位數(shù)為 },{) } ,(,),(),{( 212211 miNN CCCttxtxtxS ?? ??ji Ct ? )0( ?? ?? jt iji Ct ?），其余分量為個(gè)分量為第 01()0,0,1,0,0( jt Ti ???mmCCC , 21 ?2022/2/2 馬盡文 26 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) ， 這樣輸出層僅需 個(gè)單元。39。39。39。因此可能出現(xiàn)誤差增加的現(xiàn)象，即 ，這時(shí)可令 ，即退回到原來的梯度算法。x),39。從實(shí)踐和理論上，人們得出了下面三個(gè)性質(zhì)： (i). 平滑區(qū)域 誤差廣義誤差 ???? )1()( ?????? lllll yyyt 平滑區(qū)域S E W)1()1()1( 2211 ?????? mnnnnnn WE 1?Wn E2022/2/2 馬盡文 19 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) (ii). 全局最優(yōu)解 不唯一 中的某些元素進(jìn)行置換依然是全局最優(yōu)解，這從右邊的簡單模型可以看出。 ?2022/2/2 馬盡文 17 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 3. BP網(wǎng)絡(luò)誤差曲面的特性 BP網(wǎng)絡(luò)的誤差公式為： 是一種非線性函數(shù)，而多層的 BP網(wǎng)絡(luò)中 又是上一層神經(jīng)元狀態(tài)的非線性函數(shù)，用 表示其中一個(gè)樣本對應(yīng)的誤差，則有： 可見， 與 有關(guān)，同時(shí)也與所有 樣本對 有關(guān)，即與 有關(guān)。???),),1(()1( 010??? ?xtnEnE N ??? ??W??? ?????? ||,0()1( 0sgwEnE 或預(yù)先給定）2022/2/2 馬盡文 16 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) BP算法的討論 ： a). 這里的梯度是對于全部樣本求的，因此是一種批處理算法，即 Batchway，它符合梯度算法，穩(wěn)定地收斂到總誤差的一個(gè)極小點(diǎn)而結(jié)束。)(39。)(39。12 ,2,1,。,39。1(39。100 ????? ????????
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1