【文章內(nèi)容簡介】 訓(xùn)練時間設(shè)置為 50 訓(xùn) 練精度設(shè)置為 001 其余參數(shù)使用缺省值訓(xùn)練后得到的誤差變化過程如圖 10 所示 圖 33 將未訓(xùn)練網(wǎng)絡(luò)進行訓(xùn)練的訓(xùn)練過程 hs 50 網(wǎng)絡(luò)訓(xùn)練時間設(shè)置為 50 001 網(wǎng)絡(luò)訓(xùn)練精度設(shè)置為 001 train pt 開始訓(xùn)練網(wǎng)絡(luò) TRAINLMcalcjx Epoch 050 MSE 927774001 Gradient 1331221e010 TRAINLMcalcjxEpoch350MSE000127047001Gradient003375551e010 TRAINLM Performance goal met 從以上結(jié)果可以看出網(wǎng)絡(luò)訓(xùn)練速度很快經(jīng)過一次循環(huán)跌送過程就達到了要求的精度 001 步驟 4 網(wǎng)絡(luò)測試 對于訓(xùn)練好的網(wǎng)絡(luò)進行仿真 y2 sim p figure plot ptpy1py2 title 訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 xlabel 時間 ylabel 仿真輸出 繪制網(wǎng)絡(luò)輸出曲線并與原始非線性函數(shù)曲線以及未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果曲線相比較比較出來的結(jié)果如圖 11 所示 圖 34 訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 其中 代表要逼近的非線性函數(shù)曲線 168。168。168。 代表未經(jīng)訓(xùn)練的函數(shù)曲線 ――― 代表經(jīng)過訓(xùn)練的函數(shù)曲線 從圖中可以看出得到的曲線和原始的非線性函數(shù)曲線很接近這說明經(jīng)過訓(xùn)練后 BP 網(wǎng)絡(luò)對非線性函數(shù)的逼近效果比較好 不同頻率下的逼近效果 改變非線性函數(shù)的頻率和 BP 函數(shù)隱層神經(jīng)元的數(shù)目對于函數(shù)逼近的效果有一定的影響網(wǎng)絡(luò)非線性程度越高對于 BP 網(wǎng)絡(luò)的要求越高則相同的網(wǎng)絡(luò)逼近效果要差一些隱層神經(jīng)元的數(shù)目對于網(wǎng)絡(luò)逼近效果也有一定影響一般來說隱層神經(jīng)元數(shù)目越多則 BP 網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強 下面通過改變頻率參數(shù)和非線性函數(shù)的隱層神經(jīng)元數(shù)目來加以比較證明 1 頻 率參數(shù)設(shè)為 k 2 當(dāng)隱層神經(jīng)元數(shù)目分別取 n 3n 6 時得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖 1213 所示 圖 35 當(dāng) n 3 時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 圖 36 當(dāng) n 6 時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 其中 代表要逼近的非線性函數(shù)曲線 168。168。168。 代表未經(jīng)訓(xùn)練的函數(shù)曲線 ――― 代表經(jīng)過訓(xùn)練的函數(shù)曲線 2 頻率參數(shù)設(shè)為 k 4 當(dāng)隱層神經(jīng)元數(shù)目分別取 n 6n 8 時得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖 1415 所示 圖 37 當(dāng) n 6 時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 圖 38 當(dāng) n 8 時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 其中 代表要逼近的非線性函數(shù)曲線 168。168。168。 代表未經(jīng)訓(xùn)練的函數(shù)曲線 ――― 代表經(jīng)過訓(xùn)練的函數(shù)曲線 3 頻率參數(shù)設(shè)為 k 8 當(dāng)隱層神經(jīng)元數(shù)目分別取 n 10n 15 時得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖 1617 所示 圖 39 當(dāng) n 10 時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 圖 310 當(dāng) n 15 時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 其中 代表要逼近的非線性函數(shù)曲線 168。168。168。 代表未 經(jīng)訓(xùn)練的函數(shù)曲線 ――― 代表經(jīng)過訓(xùn)練的函數(shù)曲線 討論 通過上述仿真結(jié)果可知當(dāng) k 1n 3 時 k 2n 6 時 k 4n 8 時 k 8n 15 時 BP 神經(jīng)網(wǎng)絡(luò)分別對函數(shù)取得了較好的逼近效果由此可見 n 取不同的值對函數(shù)逼近的效果有很大的影響改變 BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目可以改變 BP神經(jīng)網(wǎng)絡(luò)對于函數(shù)的逼近效果隱層神經(jīng)元數(shù)目越多則 BP 網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強 33 仿真實驗 BP 神經(jīng)網(wǎng)絡(luò) MATLAB 設(shè)計 由于在隱含層的神經(jīng)元個數(shù)可以隨意調(diào)整的前提下單隱含 層的 BP 神經(jīng)網(wǎng)絡(luò)可以逼近任意的非線性映射輸入層和輸出層神經(jīng)元個數(shù)為 1 只有一個隱含層其個數(shù)根據(jù)上述的設(shè)計經(jīng)驗公式和本例的實際情況選取 916 之間下面的隱含層神經(jīng)元個數(shù)可變的 BP 神經(jīng)網(wǎng)絡(luò)通過誤差和訓(xùn)練步數(shù)對比確定隱含層個數(shù)并檢驗隱含層神經(jīng)元個數(shù)對網(wǎng)絡(luò)性能的影響下面是相關(guān) MATLAB 程序段 選取輸入變量 x 取值范圍 x 40014 輸入目標函數(shù) y1 sin 12 pix sin pix 隱含層的神經(jīng)元數(shù)目范圍 s 916 歐氏距離 res 18 選取不同的隱含層神經(jīng)元個數(shù)進行網(wǎng)絡(luò)測試 for i 18 建立前向型 BP 神經(jīng)網(wǎng)絡(luò)輸入層和隱含層激勵函數(shù)為 tansig 輸出層為purelin 訓(xùn)練函數(shù)為 trainlm 也是默認函數(shù) newff min x [1s i 1] tansigtansigpurelin trainlm 訓(xùn)練步數(shù)最大為 2020 hs 2020 設(shè)定目標誤差為 000001 000001 進行函數(shù)訓(xùn)練 train xy1 對訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)進行仿真 y2 sim x 求歐式距離判定隱含層神經(jīng)元個數(shù)及網(wǎng)絡(luò)性能 err y2y1 res i norm err end 用該同一程序在三個不同時刻運行結(jié)果及分析如下 表 31 隱含層不同神經(jīng)元個數(shù)網(wǎng)絡(luò)訓(xùn)練誤差及學(xué)習(xí)步長 某時刻一 神經(jīng)元個數(shù) 9 10 11 12 13 14 15 16 網(wǎng)絡(luò)誤差 01432 31806 48624 00880 00867 00884 00859 00841 學(xué)習(xí)步長 2020 2020 2020 275 640 241 66 25 某時刻二 神經(jīng)元個數(shù) 9 10 11 12 13 14 15 16 網(wǎng)絡(luò)誤差 00895 01068 00895 01016 00894 00889 00881 48423 學(xué)習(xí)步長 1156 2020 1146 2020 287 102 79 2020 某時刻三 神經(jīng)元個數(shù) 9 10 11 12 13 14 15 16 網(wǎng)絡(luò)誤差 00895 00867 00878 10734 00895 00890 00895 00886 學(xué)習(xí)步長 449 66 60 2020 1512 567 42 53 由此可見選擇隱含層神經(jīng)元數(shù)目為 15 是最佳選擇不僅誤差小學(xué)習(xí)步長短而且性能穩(wěn)定也可以看出并非隱含層 神經(jīng)元的數(shù)目越多網(wǎng)絡(luò)的性能就越好 各種 BP 學(xué)習(xí)算法 MATLAB 仿真 根據(jù)上面一節(jié)對 BP 神經(jīng)網(wǎng)絡(luò)的 MATLAB 設(shè)計可以得出下面的通用的 MATLAB程序段由于各種 BP 學(xué)習(xí)算法采用了不同的學(xué)習(xí)函數(shù)所以只需要更改學(xué)習(xí)函數(shù)即可 MATLAB 程序段如下 x 40014 y1 sin 12 pix sin pix trainlm 函數(shù)可以選擇替換 newff min x [1151] tansigtansigpurelin trainlm hs 2020 000001 train xy1 y2 sim x err y2y1 res norm err 暫停按任意鍵繼續(xù) Pause 繪圖原圖藍色光滑線和仿真效果圖紅色號點線 plot xy1 hold on plot xy2r 注意由于各種不確定因素可能對網(wǎng)絡(luò)訓(xùn)練有不同程度的影響產(chǎn)生不同的效果 標準 BP 算法 traingd 圖 311 標準 BP 算法的訓(xùn)練過程以及結(jié)果原圖藍色線仿真圖紅色號線 增加動量法 traingdm 圖 312 增加動量法的訓(xùn)練過程以及結(jié)果原圖藍色線仿真圖紅色號線 彈性 BP 算法 trainrp 圖 313 彈性 BP 算法的訓(xùn)練過程以及結(jié)果原圖藍色線仿真圖紅色號線 動量及自適應(yīng)學(xué)習(xí)速率法 traingdx 圖 314 動量及自適應(yīng)學(xué)習(xí)速率法的訓(xùn)練過程以及結(jié)果原圖藍色線仿真圖紅色號線 共軛梯度法 traincgf traingd 2020 0134968 增加動量法traingdm 2020 0108883 彈性 BP 算法 trainrp 2020 00135652 動量及自適應(yīng)學(xué)習(xí)速率法 trangdx 2020 00761264 共軛梯度法 traincgf 769 000499915 LevenbergMarquardt 法 trainlm 61 00000098727 結(jié)論與分析 從仿真結(jié)果可以看出標準 BP算法增加動量發(fā)彈性 BP算法動量及自適應(yīng)學(xué)習(xí)速率法的收斂速度都不如共軛梯度法和 LevenbergMarquardt法 LM算法收斂速度明顯的快從仿真結(jié)果和均方誤差綜合來看只有 LM 算法達到了目標誤差可見對高要求的誤差來說 LM 算法的優(yōu)勢要明顯的多其余均未達到目標誤差從均方誤差的效果來看所仿真的 BP 算法的優(yōu)劣從優(yōu)到劣順序依次為 LM 算法共軛梯度法彈性 BP 算法動量及自適應(yīng)學(xué)習(xí)速率法增加動量 法標準 BP 算法 從仿真效果圖可以看出 LM 算法的效果最好其次是共軛梯度法其余均有不同范圍內(nèi)的失真從誤差曲線來看 LM 算法達到了目標誤差較高的誤差標準 BP 算法的誤差曲線較粗是因為較小范圍振蕩產(chǎn)生鋸齒在圖形中由于間距加大圖形不斷重疊而成收斂速度很慢增加動量法彈性 BP 算法動量及自適應(yīng)學(xué)習(xí)速率法的誤差曲線較為平滑在剛開始收斂較快在訓(xùn)練步數(shù)增加的時候曲線趨于水平收斂速度比較慢共軛梯度法和 LM 算法的誤差曲線變化較大且產(chǎn)生局部鋸齒狀說明不是最優(yōu)仍需要進行優(yōu)化其中 LM 算法達到了目標誤差共軛梯度法在相鄰迭代的正交方向搜索 綜合誤差曲線可知當(dāng)接近極值時會產(chǎn)生鋸齒形振蕩 再根據(jù)前面對各種 BP改進算法的描述可知彈性 BP算法不需要進行搜索需要內(nèi)存比較小因此在一些大型網(wǎng)絡(luò)中比較適用但是需要很長的訓(xùn)練時間對收斂速度要求不高時也可使用動量及自適應(yīng)學(xué)習(xí)速率法在小型網(wǎng)絡(luò)中共軛梯度法僅次于 LM算法但是 LM算法需要更大的內(nèi)存做臨時存儲對于較大復(fù)雜的網(wǎng)絡(luò)和內(nèi)存受限的設(shè)備來說不是很好的選擇但是對于小型網(wǎng)絡(luò)來說卻是首要選擇對訓(xùn)練時間允許的條件下共軛梯度法和彈性 BP 算法是對復(fù)雜大型網(wǎng)絡(luò)較好的選擇 其中共軛梯度法在訓(xùn)練的時候訓(xùn)練次數(shù)為 769次均方誤差為 000499915均未達到所設(shè)定的要求產(chǎn)生了 Minimum step size reached performance goal was not met 的結(jié)果可能意味著子區(qū)間的長度與計算機舍入誤差相當(dāng)無法繼續(xù)計算了原因可能是有奇點無限小且不實際存在另外也存在是初值問題理論上得知共軛梯度法最大局限是依賴于初值在有限的迭代次數(shù)內(nèi)可能既不能搜索到全局極值也不能搜索到局部極值因此該算法適用于精度要求比較低的高維網(wǎng)絡(luò)之中 調(diào)整初始權(quán)值和閾值的仿真 初始權(quán)值設(shè)置影響因素對 BP神經(jīng)網(wǎng)絡(luò)的影響下面首先通過 MATLAB程序段一通過隨機設(shè)置權(quán)值初始化網(wǎng)絡(luò)方式獲取訓(xùn)練好的閾值和權(quán)值作為 MATLAB 程序段二的初始化值由此進行仿真分析 ① MATLAB 程序段一 x 40014 y1 sin 12 pix sin pix newff min x [1151] tansigtansigpurelin trainlm hs 2020 000001 初始化網(wǎng)絡(luò)用 newff 創(chuàng)建網(wǎng)絡(luò)其權(quán)值和閾值初始化函數(shù)的默認值是 initnw initnw 據(jù) NguyenWidrow 規(guī)則初始化算法對網(wǎng)絡(luò)層的權(quán)值和閾值進 行初始 化該算法的初始化值可以使網(wǎng)絡(luò)層中每個神經(jīng)元的作用范圍近似地在 網(wǎng)絡(luò)層的輸入空間均勻分布 與純隨機初始化權(quán)值和閾值的方法比較