【正文】 鋸齒，在圖形中由于間距加大，圖形不斷重疊而成，收斂速度很慢；增加動量法、彈性BP算法、動量及自適應學習速率法的誤差曲線較為平滑，在剛開始收斂較快，在訓練步數(shù)增加的時候，曲線趨于水平，收斂速度比較慢；共軛梯度法和LM算法的誤差曲線變化較大且產(chǎn)生局部鋸齒狀，說明不是最優(yōu)，仍需要進行優(yōu)化，其中LM算法達到了目標誤差。再根據(jù)前面對各種BP改進算法的描述可知，彈性BP算法不需要進行搜索，需要內(nèi)存比較小，因此在一些大型網(wǎng)絡中比較適用，但是需要很長的訓練時間。在小型網(wǎng)絡中，共軛梯度法僅次于LM算法，但是LM算法需要更大的內(nèi)存做臨時存儲，對于較大復雜的網(wǎng)絡和內(nèi)存受限的設備來說不是很好的選擇，但是對于小型網(wǎng)絡來說卻是首要選擇。其中共軛梯度法在訓練的時候，訓練次數(shù)為769次，均未達到所設定的要求，產(chǎn)生了“Minimum step size reached, performance goal was not met”的結(jié)果。因此該算法適用于精度要求比較低的高維網(wǎng)絡之中。由此進行仿真分析。① MATLAB程序段一：x=4::4。net=newff(minmax(x),[1,15,1],{39。,39。,39。},39。)。=。%initnw據(jù)NguyenWidrow規(guī)則初始化算法對網(wǎng)絡層的權(quán)值和閾值進行初始%化，該算法的初始化值，可以使網(wǎng)絡層中每個神經(jīng)元的作用范圍近似地在%網(wǎng)絡層的輸入空間均勻分布。{1}.initF=39。{2}.initF=39。{1,1}.initF=39。{2,1}.initF=39。{1,1}.initF=39。{2,1}.initF=39。net=init(net)。%得出訓練好的權(quán)值和閾值供MATLAB程序段二使用{1,1}{1}{2,1}{2}y2=sim(net,x)。res=norm(err)。hold onplot(x,y2,39。)。y1=sin((1/2)*pi*x)+sin(pi*x)。tansig39。tansig39。purelin39。trainlm39。=2000。%從程序段一得出的數(shù)據(jù){1,1}=。 {2,1}=[。]。net=train(net,x,y1)。err=y2y1。pauseplot(x,y1)。r+39。 (a) 隨機設置權(quán)值誤差曲線圖 （b）獲取訓練好的閾值和權(quán)值誤差曲線圖圖314 兩程序段運行后誤差曲線圖 從上面的仿真結(jié)果看，第一個程序用隨機的初始權(quán)值和閾值達到目標誤差完成訓練需要264個回合，而選用已訓練好的權(quán)值和閾值僅用167個回合就完成了訓練，因此選擇合適的初始化權(quán)值和閾值將加速網(wǎng)絡的訓練，大大提高了學習的收斂速度。 其他影響因素仿真在算法選擇上，在下面的仿真中將使用LM算法測試其他影響因素，比如通過選擇不同的激活函數(shù)、修改學習步長和目標誤差等觀察對仿真曲線的影響程度。如果將輸入層激活函數(shù)設為tansig，則學習很快收斂且達到目標誤差，仿真效果很好，且多次仿真結(jié)果比較穩(wěn)定，明顯要比輸入層激活函數(shù)設為purelin要好。 BP神經(jīng)網(wǎng)絡在樣本分類中的應用這是一個用BP神經(jīng)網(wǎng)絡來將不同的混合在一起的數(shù)據(jù)或者樣本進行分類的例子。我們先自己隨機的輸入兩個樣本：%產(chǎn)生訓練樣本與測試樣本，每一列為一個樣本P1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]。0。1。0。P2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]。0。1。0。%然后再將樣本歸一化處理，這樣有利于我們簡便、準確、定量結(jié)果。PN2 = tramnmx(P2,minp,maxp)。 % 隱層節(jié)點數(shù) TypeNum = 3。tansig39。purelin39。tansig39。logsig39。logsig39。purelin39。tansig39。tansig39。logsig39。logsig39。purelin39。purelin39。指定訓練參數(shù)，我們可以選擇不同的算法來進行測試做比較：% = 39。 % 梯度下降算法% = 39。 % 動量梯度下降算法 % = 39。 % 變學習率梯度下降算法% = 39。 % 變學習率動量梯度下降算法 % (大型網(wǎng)絡的首選算法 模式識別)% = 39。 % RPROP(彈性BP)算法,內(nèi)存需求最小 % 共軛梯度算法 % = 39。 % FletcherReeves修正算法% = 39。 % PolakRibiere修正算法,內(nèi)存需求比FletcherReeves修正算法略大% = 39。 % PowellBeal復位算法,內(nèi)存需求比PolakRibiere修正算法略大% (大型網(wǎng)絡的首選算法 函數(shù)擬合,模式識別)% = 39。 % Scaled Conjugate Gradient算法,內(nèi)存需求與FletcherReeves修正算法相同,計算量比上面三種算法都小很多 % = 39。 % QuasiNewton Algorithms BFGS Algorithm,計算量和內(nèi)存需求均比共軛梯度算法大,但收斂比較快% = 39。 % One Step Secant Algorithm,計算量和內(nèi)存需求均比BFGS算法小,比共軛梯度算法略大% (中小型網(wǎng)絡的首選算法 函數(shù)擬合,模式識別) = 39。 % LevenbergMarquardt算法,內(nèi)存需求最大,收斂速度最快% = 39。 % 貝葉斯正則化算法% 有代表性的五種算法為:39。,39。,39。,39。, 39。 = 1。 % 學習步長 traingd,traingdm = 。 % 分塊計算Hessian矩陣(僅對LevenbergMarquardt算法有效) = 1000。 % 最小均方誤差 = 1e20。 % 最大訓練時間%訓練與測試net = train(net,PN1,T1)。 % 訓練樣本實際輸出Y2 = sim(net,PN2)。指定訓練參數(shù)，我們可以選擇不同的算法來進行測試做比較：% = 39。 % 梯度下降算法% = 39。 % 動量梯度下降算法 % = 39。 % 變學習率梯度下降算法% = 39。 % 變學習率動量梯度下降算法 % (大型網(wǎng)絡的首選算法 模式識別)% = 39。 % RPROP(彈性BP)算法,內(nèi)存需求最小 % 共軛梯度算法 % = 39。 % FletcherReeves修正算法% = 39。 % PolakRibiere修正算法,內(nèi)存需求比FletcherReeves修正算法略大% = 39。 % PowellBeal復位算法,內(nèi)存需求比PolakRibiere修正算法略大% (大型網(wǎng)絡的首選算法 函數(shù)擬合,模式識別)% = 39。 % Scaled Conjugate Gradient算法,內(nèi)存需求與FletcherReeves修正算法相同,計算量比上面三種算法都小很多 % = 39。 % QuasiNewton Algorithms BFGS Algorithm,計算量和內(nèi)存需求均比共軛梯度算法大,但收斂比較快% = 39。 % One Step Secant Algorithm,計算量和內(nèi)存需求均比BFGS算法小,比共軛梯度算法略大% (中小型網(wǎng)絡的首選算法 函數(shù)擬合,模式識別) = 39。 % LevenbergMarquardt算法,內(nèi)存需求最大,收斂速度最快% = 39。 % 貝葉斯正則化算法% 有代表性的五種算法為:39。,39。,39。,39。, 39。 = 1。 % 學習步長 traingd,traingdm = 。 % 分塊計算Hessian矩陣(僅對LevenbergMarquardt算法有效) = 1000。 % 最小均方誤差 = 1e20。 % 最大訓練時間%訓練與測試net = train(net,PN1,T1)。 % 訓練樣本實際輸出Y2 = sim(net,PN2)。 Y2 = full(pet(Y2))。 圖315 訓練樣本競爭輸出結(jié)果 圖316 測試樣本競爭輸出結(jié)果步驟5： 結(jié)果統(tǒng)計Result = ~sum(abs(T1Y1)) % 正確分類顯示為1Percent1 = sum(Result)/length(Result) % 訓練樣本正確分類率Result = ~sum(abs(T2Y2)) % 正確分類顯示為1Percent2 = sum(Result)/length(Result) % 測試樣本正確分類率參考文獻[1] [J].計算機仿真，2002，(05)：22—60.[2] [J] .北京理工大學學報,2002，(03)：10—27.[3]郝昕玉，[J].江西農(nóng)業(yè)學報，2008，(9)：12—29.[4]孫帆，[J].計算機與數(shù)學工程，2007，35(8)：55—70.[5]張葛祥，[M].北京：清華大學出版社，2003：19.[6]余華，吳文全，[J].電腦知識與技術(shù)，2009，5（19）：52565258.[7]蘇高利，[J].科技通報，2003,19（2）：130135.[8]馮蓉，[J].榆林學院學報，2007， (3):2022.[9][M]．北京：化工工業(yè)社，2002：515.[10]蔣良孝，[J].微型機與應用,2004，1：5253.[11]鄭君里,[M]. 北京: 高等教育出版社,1992,5:1530.[12] P神經(jīng)網(wǎng)絡的非線性思想[J].洛陽師范學院報,2008,3(4):2357.[13] 巨軍讓， P神經(jīng)網(wǎng)絡在Matlab中的方便實現(xiàn)[J].新疆石油學院學 報,2008,2(1):113221.[14] [M]. 高等教育出版社，2001:1590.[15] 聞新,周露,王丹力,[M].科學出版社， 2001,5:1050.[16] 葛哲學,[M].北京：電子工業(yè)出版社， 2007,9:15.[17] 董長虹,編著 .Matlab神經(jīng)網(wǎng)絡與應用[M].北京:國防工業(yè)出版社，2007,9:113.[18] 胡守仁，[M].長沙：國防科技大學出版社，1993:2345.[19] 張玲，[M].浙江：浙江科技大學出版社,1997,5:2062.[20]Luis F. Chaparro. Signals and systems using MATLAB, Burlington, MA : Academic Press, c2010.:4651[21]Karl F. Warnick. Numerical methods for engineering : an introduction using MATLAB andputational electromagnetics examples，Raleigh, NC : SciTech Pub.,2011[22]Martin R，Heinrich Direct Adaptive Method for Faster Backpropagetion Learning:The RPROP Algorithm [A].Ruspini H. Proceedings of the IEEE International conference on Neural Network(ICNN)[C].IEEE. Press。x=[0::1]。%要逼近的函數(shù)plot(x,y)。x39。ylabel(39。)。要逼近的非線性函數(shù)39。%網(wǎng)絡仿真n=14。tansig39。tansig39。purelin39。traingdx39。%創(chuàng)建神經(jīng)網(wǎng)絡y1=sim(net,x)。plot(x,y,39。,x,y1,39。)。仿真結(jié)果與非線性函數(shù)39。xlabel(39。)。y39。%網(wǎng)絡訓練=100。%神經(jīng)網(wǎng)絡訓練的目標誤差=。%兩次顯示之間的訓練步數(shù)net=train(net,x,y)。次數(shù)39。ylabel(39。)。%仿真figure。39。r39。*g39。title(39。)。x39。ylabel(39。)。原函數(shù)y39。text(,3,39。)。訓練后網(wǎng)絡的仿真輸出y239。%泛化能力err=yy2。plot(x,y2,39。,x,err,39。)。xlabel(39。)。y39。 40