神經(jīng)網(wǎng)絡之bp神網(wǎng)絡-閱讀頁
2024-08-09 23:39本頁面
【正文】 ? Demo3：動量因子對振蕩的影響（學習率） 21 有自適應學習率的梯度下降法 ? 根據(jù)誤差調(diào)大或調(diào)小學習率 – 學習率增長比： – 學習率下降比： ? 同時保證收斂速度和精度 ? 例四： traingda訓練函數(shù)，速度顯著提高 ? 有動量和自適應學習率的梯度下降法： － traingdx ? Demo4：學習率和變化率的影響 22 彈性（能復位的）梯度下降法 ? 為了克服 S函數(shù)的壓縮效果，防止出現(xiàn)由于梯度減小，沒有達到目的訓練停止的現(xiàn)象 ? 根據(jù)兩次訓練間符號是否變化調(diào)整修正 – 權值增加量： – 權值減小量： ? 例五： trainrp訓練函數(shù)，精度高 23 共軛梯度法 不同種類選取的方法不同而分為共軛梯度算法根據(jù)網(wǎng)絡訓練用空間少，適用于復雜共軛梯度法速度快，占是這一步的共軛系數(shù)其中，方向方向確定這一步的搜索度方向和上一步的搜索每一步都根據(jù)當前負梯是這一步的學習率其中，索方向進行搜索每一步都沿著該步的搜作為初始搜索方向首先，采用負梯度方向步驟：索方向共軛的方向作為新的搜度方向和上次搜索方向基本思路：尋找與負梯kkkkkkkkkkpgppxxgp?????10100?????????24 FletcherReeves共軛梯度法 14t r a in c g fm a t la b11例六：訓練步驟平均中的對應函數(shù)：修正系數(shù)定義：???kkkkkgggg???25 PolakRibi233。 ? Y = sin(X) + *randn(1,length(X)) ? plot(X,Y,’+’) ? 測試集： ? X2 = 2*pi*rand(1,300)。 隱含： 7 tanh元 。 – c) 比較 20個隱含元的神經(jīng)網(wǎng)絡建模精度，初始權值的影響，得出你的結(jié)論。0 1 0 1]。 方法不限 35 應用 BP網(wǎng)絡進行函數(shù)逼近 ? 例十三：逼近頻率可變的正弦函數(shù)，觀察函數(shù)非線性程度與BP網(wǎng)絡隱藏層神經(jīng)元數(shù)目的關系，以及訓練時間和誤差等的變化 ? 實現(xiàn)步驟 – 構(gòu)建待模擬函數(shù)（頻率可調(diào)） – 構(gòu)建 BP神經(jīng)網(wǎng)絡（隱藏神經(jīng)元個數(shù)可調(diào)） – 對網(wǎng)絡進行訓練（采用 lm方法） 36 應用 BP網(wǎng)絡進行函數(shù)逼近 ? 討論：誤差量、訓練速度 – 提高待模擬函數(shù)頻率，隱藏層神經(jīng)元數(shù)量不變 – 待模擬函數(shù)頻率不變，減少隱藏層神經(jīng)元數(shù)量 – 同步提高待模擬函數(shù)頻率和神經(jīng)元個數(shù) 37 應用 BP網(wǎng)絡進行系統(tǒng)辨識 ? 例十四：已知大量輸入輸出樣本，用神經(jīng)網(wǎng)絡描述輸入輸出之間
環(huán)評公示相關推薦
鄂ICP備17016276號-1