人工神經(jīng)網(wǎng)絡講稿ch4-資料下載頁
2025-09-21 18:59本頁面
【正文】 ???m1k2kk )oy(21E函數(shù) 3/10/2024 36 第三十六頁，共四十四頁。 ANj為隱藏層神經(jīng)元 k= ??hHlllk ow1??????????hH1k jkkj)on e tn e tE(oEjkjHlllkjkwoowon e th???????????????? 1oi … o2 o1 oHh k是 oj下一級的神經(jīng)元的網(wǎng)絡輸入 oj 3/10/2024 37 第三十七頁，共四十四頁。 ANj為隱藏層神經(jīng)元 ????????????????????????????????hhH1kjkkH1kjkkjwn e tEon e tn e tEoE? ??????hH1kjkkjwoEkk n e tE?????3/10/2024 38 第三十八頁，共四十四頁。 ANj為隱藏層神經(jīng)元 )n e t(fw)n e t(foEjH1kjkkjjjh????????? ????????????)(fw jH1kjkkjh????????? ????3/10/2024 39 第三十九頁，共四十四頁。 ANj為隱藏層神經(jīng)元 ijH1kjkkij o)n e t(fwwh??????????????ijH1kjkkijij o)n e t(fh??????????????3/10/2024 40 第四十頁，共四十四頁。 幾個問題的討論 ? 收斂速度問題 ? 局部極小點問題 – 逃離 /避開局部極小點 ： 修改 W、 V的初值 ——并不是總有效 。 – 逃離 —— 統(tǒng)計方法； [Wasserman， 1986]將Cauchy訓練與 BP算法結合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。 3/10/2024 41 第四十一頁，共四十四頁。 幾個問題的討論 ? 網(wǎng)絡癱瘓問題 – 在訓練中，權可能變得很大，這會使神經(jīng)元的網(wǎng)絡輸入變得很大，從而又使得其激活函數(shù)的導函數(shù)在此點上的取值很小。根據(jù)相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網(wǎng)絡停止收斂 ? 穩(wěn)定性問題 – 用修改量的綜合實施權的修改 – 連續(xù)變化的環(huán)境，它將變成無效的 3/10/2024 42 第四十二頁，共四十四頁。 幾個問題的討論 ? 步長問題 – BP網(wǎng)絡的收斂是基于無窮小的權修改量 – 步長太小，收斂就非常慢 – 步長太大，可能會導致網(wǎng)絡的癱瘓和不穩(wěn)定 – 自適應步長，使得權修改量能隨著網(wǎng)絡的訓練而不斷變化。 [1988年， Wasserman] 3/10/2024 43 第四十三頁，共四十四頁。 內(nèi)容總結 第 4章 BP網(wǎng)絡。樣本： (輸入向量，理想輸出向量 )。 向后傳播階段 ——誤差傳播階段：。 vhp=vhp+?vhp。算法 41 根本 BP算法。算法 42 消除樣本順序影響的 BP算法。偏移量：給每一個神經(jīng)元增加一個偏移量來加快收斂速度。算法 42 分析 ——沖量設置。 W[H， m]——輸出層的權矩陣。 V[n， H]——輸入〔隱藏〕層的權矩陣。 O1——隱藏層的輸出向量。 (X， Y)——一個樣本。 N=N+1。 43 第四十四頁，共四十四頁。
環(huán)評公示相關推薦
鄂ICP備17016276號-1