人工神經(jīng)網(wǎng)絡(luò)講稿ch4-資料下載頁
2025-09-21 18:59本頁面
【正文】 ???m1k2kk )oy(21E函數(shù) 3/10/2024 36 第三十六頁，共四十四頁。 ANj為隱藏層神經(jīng)元 k= ??hHlllk ow1??????????hH1k jkkj)on e tn e tE(oEjkjHlllkjkwoowon e th???????????????? 1oi … o2 o1 oHh k是 oj下一級(jí)的神經(jīng)元的網(wǎng)絡(luò)輸入 oj 3/10/2024 37 第三十七頁，共四十四頁。 ANj為隱藏層神經(jīng)元 ????????????????????????????????hhH1kjkkH1kjkkjwn e tEon e tn e tEoE? ??????hH1kjkkjwoEkk n e tE?????3/10/2024 38 第三十八頁，共四十四頁。 ANj為隱藏層神經(jīng)元 )n e t(fw)n e t(foEjH1kjkkjjjh????????? ????????????)(fw jH1kjkkjh????????? ????3/10/2024 39 第三十九頁，共四十四頁。 ANj為隱藏層神經(jīng)元 ijH1kjkkij o)n e t(fwwh??????????????ijH1kjkkijij o)n e t(fh??????????????3/10/2024 40 第四十頁，共四十四頁。 幾個(gè)問題的討論 ? 收斂速度問題 ? 局部極小點(diǎn)問題 – 逃離 /避開局部極小點(diǎn) ： 修改 W、 V的初值 ——并不是總有效 。 – 逃離 —— 統(tǒng)計(jì)方法； [Wasserman， 1986]將Cauchy訓(xùn)練與 BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點(diǎn)。 3/10/2024 41 第四十一頁，共四十四頁。 幾個(gè)問題的討論 ? 網(wǎng)絡(luò)癱瘓問題 – 在訓(xùn)練中，權(quán)可能變得很大，這會(huì)使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點(diǎn)上的取值很小。根據(jù)相應(yīng)式子，此時(shí)的訓(xùn)練步長會(huì)變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂 ? 穩(wěn)定性問題 – 用修改量的綜合實(shí)施權(quán)的修改 – 連續(xù)變化的環(huán)境，它將變成無效的 3/10/2024 42 第四十二頁，共四十四頁。 幾個(gè)問題的討論 ? 步長問題 – BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量 – 步長太小，收斂就非常慢 – 步長太大，可能會(huì)導(dǎo)致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定 – 自適應(yīng)步長，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。 [1988年， Wasserman] 3/10/2024 43 第四十三頁，共四十四頁。 內(nèi)容總結(jié) 第 4章 BP網(wǎng)絡(luò)。樣本： (輸入向量，理想輸出向量 )。 向后傳播階段 ——誤差傳播階段：。 vhp=vhp+?vhp。算法 41 根本 BP算法。算法 42 消除樣本順序影響的 BP算法。偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來加快收斂速度。算法 42 分析 ——沖量設(shè)置。 W[H， m]——輸出層的權(quán)矩陣。 V[n， H]——輸入〔隱藏〕層的權(quán)矩陣。 O1——隱藏層的輸出向量。 (X， Y)——一個(gè)樣本。 N=N+1。 43 第四十四頁，共四十四頁。
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1