bp算法介紹ppt課件-資料下載頁
2025-05-01 18:14本頁面
【正文】 所以， iijkkkjijjowowwn e t?????????????2022/5/29 62 ijijkkkjjijjjijone tEwowne tEwne tne tEwE?????????????????????????????令 jj n e tE?????所以 Δ wij=αδjoi α為學習率 oj=f(j) 容易得到 2022/5/29 63 )n e t(fn e tojjj ???? )n e t(foEn e tooEn e tEjjjjjjj??????????????????從而 2022/5/29 64 ? ?? ?)())(22()21(21212jjjjjjjjmkkkjoyoyooyooyoE???????????????????????????2022/5/29 65 所以， )n e t(f)oy( jjjj ????故，當 ANj為輸出層的神經(jīng)元時，它對應的聯(lián)接權 wij應該按照下列公式進行調(diào)整： ijjjijijijijo)oy)(n e t(fwoww?????????2022/5/29 66 jjjjjn e tooEn e tE????????????)n e t(fn e tojjj ????)n e t(foEjjj ???????? ???m1k2kk )oy(21E函數(shù) 2022/5/29 67 k= ??hH1iiik ow??????????hH1k jkkj)on e tn e tE(oEjkjH1iiikjk woowon e th????????????? ?oj … o2 o1 oHh k是 oj下一級的神經(jīng)元的網(wǎng)絡輸入 2022/5/29 68 ????????????????????????????????hhH1kjkkH1kjkkjwn e tEon e tn e tEoE? ??????hH1kjkkjwoEkk E?????2022/5/29 69 )n e t(fw)n e t(foEjH1kjkkjjjh????????? ????????????)n e t(fw jH1kjkkjh????????? ????2022/5/29 70 ijH1kjkkij o)n e t(fwwh???????? ? ?????ijH1kjkkijij o)n e t(fh???????? ? ?????收斂速度問題 局部極小點問題 逃離 /避開局部極小點 ： 修改 W、 V的初值并不是總有效 。 逃離 統(tǒng)計方法； [Wasserman， 1986]將 Cauchy訓練與 BP算法結合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。 2022/5/29 71 網(wǎng)絡癱瘓問題 在訓練中，權可能變得很大，這會使神經(jīng)元的網(wǎng)絡輸入變得很大，從而又使得其激活函數(shù)的導函數(shù)在此點上的取值很小。根據(jù)相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網(wǎng)絡停止收斂 穩(wěn)定性問題 用修改量的綜合實施權的修改 連續(xù)變化的環(huán)境，它將變成無效的 2022/5/29 72 步長問題 BP網(wǎng)絡的收斂是基于無窮小的權修改量 步長太小，收斂就非常慢 步長太大，可能會導致網(wǎng)絡的癱瘓和不穩(wěn)定 自適應步長，使得權修改量能隨著網(wǎng)絡的訓練而不斷變化。[1988年， Wasserman] 2022/5/29 73
教學課件相關推薦
鄂ICP備17016276號-1