神經(jīng)網(wǎng)絡(luò)基本理論(1)(編輯修改稿)
2025-06-22 18:04 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 元的輸入和輸出，則各層的輸入輸出關(guān)系可描述為： 第一層（輸入層）：將輸入引入網(wǎng)絡(luò) iii xInO u t ?? )1()1( ni ,2,1 ??第二層（隱層） ????niiijj O u twIn1)1()1()2()( )2()2( jj InfOu t ?lj ,2,1 ??第三層（輸出層） ??????ljjj O u twInO u ty1)2()2()3()3(Beijing University of Posts and Telemunications. 31 多層前向 BP神經(jīng)網(wǎng)絡(luò) ?網(wǎng)絡(luò)的學(xué)習(xí) 學(xué)習(xí)的基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)的實(shí)際輸出盡可能接近期望的輸出。 MkyX kk ?,2,1),( ?Tknkkk xxxX ],[ 21 ??假設(shè)有 M個(gè)樣本 : 將第 k個(gè)樣本 Xk輸入網(wǎng)絡(luò)，得到的網(wǎng)絡(luò)輸出為 ky?定義學(xué)習(xí)的目標(biāo)函數(shù)為 ： ????? Mkkk yyJ12)(21Beijing University of Posts and Telemunications. 32 多層前向 BP神經(jīng)網(wǎng)絡(luò) 為使目標(biāo)函數(shù)最小，訓(xùn)練算法是： )()()1( twJtwtw????? ?)()()1( )2(1)2()2(twJtwtwjjj ????? ?)()()1( )1(2)1()1(twJtwtwijijij ? ???? ?令 2)(21 kkk yyJ ??? 則 ?? ????? MkkwJwJ1)2()2()2( )?(?? jkkjkkkjk O u tyywyyJwJ ????????????)1()2()1()2()2()2()2()1( )?(?? ijkkijjjjjkkkijk O u tfwyywininoutoutyyJwJ ?????????????????????Beijing University of Posts and Telemunications. 33 多層前向 BP神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)的步驟： （ 1）依次取第 k組樣本 MkyX kk ?,2,1),( ?，將 Xk輸入網(wǎng)絡(luò)。 （ 2）依次計(jì)算 ????? Mk kkyyJ12)(21 ，如果 ??J ，退出。 （ 3）計(jì)算 wJk??（ 4）計(jì)算 ?? ????? MkkwJwJ1（ 5） )()()1( twJtwtw????? ? ，修正權(quán)值，返回（ 1） 如果樣本數(shù)少，則學(xué)習(xí)知識(shí)不夠；如果樣本多，則需計(jì)算更多的 dJk/dw, ，訓(xùn)練時(shí)間長(zhǎng)?？刹捎秒S機(jī)學(xué)習(xí)法每次以樣本中隨機(jī)選取幾個(gè)樣本，計(jì)算 dJk/dw, ，調(diào)整權(quán)值。 Beijing University of Posts and Telemunications. 34 例 多層前向 BP網(wǎng)絡(luò)訓(xùn)練 訓(xùn)練樣本 SISO： SampleInput=[0 ]。 SampleOutput=[4 2 2 2 2]。 網(wǎng)絡(luò)結(jié)構(gòu)： Beijing University of Posts and Telemunications. 35 網(wǎng)絡(luò)輸入輸出關(guān)系： )(2 iiii zfwy ? ??)ex p (11)(iiii zzf ????iii xwz ???? 1需訓(xùn)練的量： iiii ww ?? , 21Beijing University of Posts and Telemunications. 36 訓(xùn)練算法： ??? ??? ?????????????? 5 15 1 25 1 22 )()(k iikikkkk ikizfkewyyJwJwJ??? ??? ?????????????? ?????????? 5 1 2215 15 1 11 )()ex p ()()()( k iiiiiiiiiiik iikkkk ikixzfzwkewzz zfzf yyJwJwJ ????? ??? ??????????? ?????????? 5 1 225 15 1 )()ex p ()()()( k iiiiiii iik ii kkkk iki zfzzwkezfzf yyJJJ ??????? ??? ????????????? ?????????? 5 1 225 15 1 )()ex p ()()()( k iiiiiiiiiiik iikkkk ikizfzwkezz zfzf yyJJJ ?????25151251))()(?(2121 kykyeJJkk kk k???? ??????Beijing University of Posts and Telemunications. 37 1111iii wJww???? ?2222iii wJww???? ?iiiJ???? ????3iiiJ???? ????4訓(xùn)練初始參數(shù)： W1=rand(1,5)。 W2=rand(1,5)。 theta=rand(1,5)。 beta=rand(1,5)。 LearningRate1=。 LearningRate2=。 LearningRate3=。 LearningRate4=。 Beijing University of Posts and Telemunications. 38 訓(xùn)練后參數(shù)： W1＝ [ ]。 W2=[ ]。 Beta=[ ]。 Theta=[ ]。 Beijing University of Posts and Telemunications. 39 訓(xùn)練 1000次目標(biāo)函數(shù)的變化曲線： Beijing University of Posts and Telemunications. 40 訓(xùn)練結(jié)束后神經(jīng)網(wǎng)絡(luò)的輸出與樣本的擬和情況 Beijing University of Posts and Telemunications. 41 多層前向 BP神經(jīng)網(wǎng)絡(luò) ?前向網(wǎng)絡(luò)進(jìn)一步需研究的問題 ① 局部最優(yōu)問題，（網(wǎng)絡(luò)初值選取不恰當(dāng)）。 ② 學(xué)習(xí)算法收斂速度慢， Sigmaid函數(shù)本身存在無窮多閃導(dǎo)數(shù)，而 BP算法只用了一次導(dǎo)數(shù)，致使收斂速度慢。 ③ 網(wǎng)絡(luò)的運(yùn)行是單向傳播，沒有反饋，是一個(gè)非淺性映射，而不是非淺性動(dòng)力系統(tǒng)。 ④ 網(wǎng)絡(luò)隱層節(jié)點(diǎn)個(gè)數(shù)和初始權(quán)值的選取，尚無理論指導(dǎo)。 Beijin
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1