典型人工神經網絡b-在線瀏覽
2025-02-22 22:11本頁面
【正文】 kmllklkNe tfwJ ??? ????????????? ??學習算法（續(xù)） 版權所有 復制必究 2022 25 第三步：計算梯度 :,11 JJw ???學習算法（續(xù)） 111 1 1 1 121212 2 1 11()()i i iij i ij i i ijqkijk kiqk k i i j i jkN e t y N e tJ J Jw N e t w y N e t wN e tJf N e t xN e t yw f N e t x x????? ? ?? ? ???? ? ? ? ? ??? ?????????????? ? ? ???????11 iiJ ??? ???版權所有 復制必究 2022 26 選定初始加權矩陣 。 對每個樣本重復下述過程，直到收斂： 學習算法描述 1 2 3, , , , , , 。,),(,),(,),(111122223333iijiikkikkllkllJwJN e tfJwJN e tfJwJN e tf?????????????????????反向過程計算 .3,2,1, ?? ???? rW JW rrr ?? ? ? ? rrrr W JtWtW ? ???? ?1修正權值 版權所有 復制必究 2022 27 ikkiywJ 22 ????? 22 kkJ ?? ????第二隱層與第一隱層連接權值及閾值更新： ? ?213322kmllklkk Ne tfwNe tJ ???????????? ??? ??jiijxwJ 11 ????? 11 iiJ ?? ????第一隱層與輸入層連接權值及閾值更新： )( 112211iqkkikii Ne tfwNe tJ ?????????????? ??? ??kllkzwJ 33 ????? 33 llJ ?? ????輸出層與第二隱層連接權值及閾值更新： )()( 333 lllll Ne tfodNe tJ ?????????.3,2,1, ?? ???? rW JW rrr ? ? ? ? ? rrrr W JtWtW ? ???? ?1學習算法描述（續(xù)） 版權所有 復制必究 2022 28 初始化 加輸入和期望輸出 計算隱層和輸出層的輸出 迭代次數加 1 調節(jié)輸出層和隱層的連接權值 wJtwtw ????? ?)()1( 改變訓練樣本 訓練樣本終止？ 迭代終止？ No No y y 算法基本流程 版權所有 復制必究 2022 29 權系數的初值： 隨機選較小的值，盡量均勻覆蓋權值空間，避免出現初始權值相同的情況。 激勵函數： 非減可微函數。 學習速率： 學習速率小，訓練速度慢；學習速率大，訓練速度快，可能出現振蕩現象。 BP學習算法的局限性 版權所有 復制必究 2022 31 選用不同的作用函數、性能指標； 解決局部極小問題 選用不同的初值迭代；激勵函數加入斜率因子；模擬退火方法；分解子網。 BP學習算法的改進 版權所有 復制必究 2022 32 準則： 檢查權值的修正值是否真正降低了誤差函數，如果確實如此，則說明所選取的學習速率值小了，可以對其增加一個量； 若不是這樣，而產生了過調，那么就應該減小學習速率的值。利用附加動量的作用則有可能滑過局部極小值。 )1()( ???????? kwwJkw ijijij ??權值調節(jié)公式： 動量因子，一般取 附加動量法 版權所有 復制必究 2022 34 網絡的層數 隱含層的神經元數 初始權值的選取 學習速率的選取 期望誤差的選取 BP網絡的設計 版權所有 復制必究 2022 35 理論上已經證明 ：至少一個 S型隱含層加上一個線性輸出層的網絡，能夠逼近任何有理函數。 一般情況下，應優(yōu)先考慮增加隱含層中的神經元數。 BP網絡的層數 版權所有 復制必究 2022 36 網絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經元數的方法來獲得。
教學課件相關推薦
鄂ICP備17016276號-1