bp神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)介紹(參考版)
2025-05-28 22:34本頁面
【正文】 [1988年， Wasserman] 2022/6/22 73 。 2022/6/22 71 網(wǎng)絡(luò)癱瘓問題 在訓練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導函數(shù)在此點上的取值很小。 NM do N=N+1； E=0； 對每一個樣本 (X,Y)，執(zhí)行 如下操作 2022/6/22 54 1 計算： O1=F1(XV)； O2=F2(O1W)； 2 計算輸出層的權(quán)修改量 for i=1 to m [i]= O2 [i]*(1 O2 [i])*(Y[i]O2 [i])； 計算輸出誤差： for i=1 to m E=E+(Y[i]O2 [i])2； 2022/6/22 55 隱藏層的神經(jīng)元的個數(shù) H作為一個輸入?yún)?shù) 同時將 ε 、循環(huán)最大次數(shù) M等，作為算法的輸入?yún)?shù) 在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測網(wǎng)絡(luò)是否陷入了局部極小點 2022/6/22 56 基本假設(shè) 網(wǎng)絡(luò)含有 L層 聯(lián)接矩陣： W(1) ， W(2) ， … ， W(L) 第 k層的神經(jīng)元： Hk個 自變量數(shù)： n*H1+H1*H2+H2*H3+…+H L*m 樣本集： S={ (X1,Y1),(X2,Y2),… ,(Xs,Ys)} 誤差測度 : 2022/6/22 57 ???sppEE1用 E代表 EP， 用 （ X， Y） 代表 （ XP， YP） X=(x1， x2， ， xn) Y=(y1， y2， ， ym) 該樣本對應(yīng)的實際輸出為 O=（ o1， o2， ， om） 2022/6/22 58 ??? sp pEE 1誤差測度 用理想輸出與實際輸出的方差作為相應(yīng)的誤差測度 2022/6/22 59 ? ???m1k2kk )oy(21E???sppEE12022/6/22 60 ijij wEw?????wij ijwE??E 0，此時 Δwij0 取 ijwE??E 0, 此時 Δwij0 wij 2022/6/22 61 ijjjij wne tne tEwE??????????而其中的 ??k kkjjown e t所以， iijkkkjijjowowwn e t?????????????2022/6/22 62 ijijkkkjjijjjijon e tEwown e tEwn e tn e tEwE?????????????????????????????令 jj n e tE?????所以 Δ wij=αδjoi α為學習率 oj=f(j) 容易得到 2022/6/22 63 )n et(fn etojjj ???? )n e t(foEn e tooEn e tEjjjjjjj??????????????????從而 2022/6/22 64 ? ?? ?)())(22()21(21212jjjjjjjjmkkkjoyoyooyooyoE???????????????????????????2022/6/22 65 所以， )n e t(f)oy( jjjj ????故，當 ANj為輸出層的神經(jīng)元時，它對應(yīng)的聯(lián)接權(quán) wij應(yīng)該按照下列公式進行調(diào)整： ijjjijijijijo)oy)(n et(fwoww?????????2022/6/22 66 jjjjjn e tooEn e tE????????????)n et(fn etojjj ????)n e t(foEjjj ???????? ???m1k2kk )oy(21E函數(shù) 2022/6/22 67 k= ??hH1iiik ow??????????hH1k jkkj)on e tn e tE(oEjkjH1
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1