【正文】 的效果。如圖 38。 標(biāo)準(zhǔn) BP 算法（ traingd） 圖 38 標(biāo)準(zhǔn) BP 算法 的訓(xùn)練過程以及結(jié)果（原圖藍(lán)色線，仿真圖 +號(hào)線） 26 增加動(dòng)量法 (traingdm) 如圖 39。 圖 39 增加動(dòng)量法 的訓(xùn)練過程以及 結(jié)果（原圖藍(lán)色線，仿真圖 +號(hào)線） 彈性 BP 算法（ trainrp）如圖 310 圖 310 彈性 BP 算法的訓(xùn)練過程以及結(jié)果（原圖藍(lán)色線，仿真圖 +號(hào)線） 動(dòng)量及自適應(yīng)學(xué)習(xí)速率法（ traingdx）如圖 311。 圖 311 動(dòng)量及自適應(yīng)學(xué)習(xí)速率法的 訓(xùn)練過程以及結(jié)果（原圖藍(lán)色線，仿真圖 +號(hào)線） 27 共軛梯度法 (traincgf)如圖 312。 圖 312 共軛梯度法 的 訓(xùn)練過程以及結(jié)果（原圖藍(lán)色線，仿真圖 +號(hào)線） LevenbergMarquardt 算法（ trainlm）如圖 313。 圖 313 LevenbergMarquardt 算法的 訓(xùn)練過程以及結(jié)果（原圖藍(lán)色線，仿真圖 +號(hào)線） 各種算法仿真結(jié)果比較與分析 由上面的仿真結(jié)果可以得到下表的比較和下面的結(jié)論與分析：表 32 表 32 各種 BP 學(xué)習(xí)算法 MATLAB 仿真結(jié)果比較 BP 算法 訓(xùn)練函數(shù) 訓(xùn)練次數(shù) 均方誤差 標(biāo)準(zhǔn) BP 算法 traingd 2021 增 加動(dòng)量法 traingdm 2021 彈性 BP 算法 trainrp 2021 動(dòng)量及 自適 應(yīng)學(xué)習(xí)速率法 trangdx 2021 共軛梯度法 traincgf 769 LevenbergMarquardt 法 trainlm 61 28 結(jié)論與分析： 從仿真結(jié)果可以看出，標(biāo)準(zhǔn) BP 算法、增加動(dòng)量發(fā)、彈性 BP 算法、動(dòng)量及自適應(yīng)學(xué)習(xí)速率法的收斂速度都不如共軛梯度法和 LevenbergMarquardt 法 （ LM 算法）收斂速度明顯的快。從仿真結(jié)果和均方誤差綜合來看，只有 LM 算法達(dá)到了目標(biāo)誤差，可見對(duì)高要求的誤差來說， LM 算法的 優(yōu)勢(shì)要明顯的多，其余均未達(dá)到目標(biāo)誤差；從均方誤差的效果來看，所仿真的 BP 算法的優(yōu)劣（從優(yōu)到劣）順序依次為 LM 算法、共軛梯度法、彈性 BP 算法、動(dòng)量及自適應(yīng)學(xué)習(xí)速率法、增加動(dòng)量法、標(biāo)準(zhǔn) BP 算法。 從仿真效果圖可以看出， LM 算法的效果最好，其次是共軛梯度法，其余均有不同范圍內(nèi)的失真。從誤差曲線來看 ， LM 算法達(dá)到了目標(biāo)誤差（較高的誤差），標(biāo)準(zhǔn) BP 算法的誤差曲線較粗，是因?yàn)檩^小范圍振蕩產(chǎn)生鋸齒，在圖形中由于間距加大，圖形不斷重疊而成，收斂速度很慢；增加動(dòng)量法、彈性 BP 算法、動(dòng)量及自適應(yīng)學(xué)習(xí)速率法的誤差曲線較為平 滑，在剛開始收斂較快，在訓(xùn)練步數(shù)增加的時(shí)候，曲線趨于水平，收斂速度比較慢；共軛梯度法和 LM 算法的誤差曲線變化較大且產(chǎn)生局部鋸齒狀，說明不是最優(yōu)，仍需要進(jìn)行優(yōu)化，其中 LM 算法達(dá)到了目標(biāo)誤差。共軛梯度法在相鄰迭代的正交方向搜索，綜合誤差曲線可知當(dāng)接近極值時(shí)會(huì)產(chǎn)生鋸齒形振蕩。 再根據(jù)前面對(duì)各種 BP 改進(jìn)算法的描述可知，彈性 BP 算法不需要進(jìn)行搜索，需要內(nèi)存比較小，因此在一些大型網(wǎng)絡(luò)中比較適用，但是需要很長(zhǎng)的訓(xùn)練時(shí)間。對(duì)收斂速度要求不高時(shí)也可使用動(dòng)量及自適應(yīng)學(xué)習(xí)速率法。在小型網(wǎng)絡(luò)中，共軛梯度法僅次于 LM 算法，但是 LM 算法需要更大的內(nèi)存做臨時(shí)存儲(chǔ)，對(duì)于較大復(fù)雜的網(wǎng)絡(luò)和內(nèi)存受限的設(shè)備來說不是很好的選擇，但是對(duì)于小型網(wǎng)絡(luò)來說卻是首要選擇。對(duì)訓(xùn)練時(shí)間允許的條件下，共軛梯度法和彈性 BP 算法是對(duì)復(fù)雜大型網(wǎng)絡(luò)較好的選擇。 其中共軛梯度法在訓(xùn)練的時(shí)候，訓(xùn)練次數(shù)為 769 次，均方誤差為 ，均未達(dá)到所設(shè)定的要求，產(chǎn)生了“ Minimum step size reached, performance goal was not met”的結(jié)果?？赡芤馕吨訁^(qū)間的長(zhǎng)度與計(jì)算機(jī)舍入誤差相當(dāng)，無法繼續(xù)計(jì)算了，原因可能是有奇點(diǎn)（無 限小且不實(shí)際存在），另外也存在是初值問題，理論上得知：共軛梯度法最大局限是依賴于初值，在有限的迭代次數(shù)內(nèi)可能既不能搜索到全局極值也不能搜索到局部極值。因此該算法適用于精度要求比較低的高維網(wǎng)絡(luò)之中。 調(diào)整初始權(quán)值和閾值的仿真 在分析了初始權(quán)值設(shè)置影響因素對(duì) BP 神經(jīng)網(wǎng)絡(luò)的影響，下面首先通過 29 MATLAB 程序段一，通過隨機(jī)設(shè)置權(quán)值初始化網(wǎng)絡(luò)方式獲取訓(xùn)練好的閾值和權(quán)值，作為 MATLAB 程序段二的初始化值。由此進(jìn)行仿真分析。如圖 314。 ① MATLAB 程序段一： x=4::4。 y1=sin((1/2)*pi*x)+sin(pi*x)。 =newff(minmax(x),[1,15,1],{39。tansig39。,39。tansig39。,39。purelin39。},39。trainlm39。)。 =2021。 =。 %初始化網(wǎng)絡(luò)，用 newff 創(chuàng)建網(wǎng)絡(luò)，其權(quán)值和閾值初始化函數(shù)的默認(rèn)值是initnw。 %initnw 據(jù) NguyenWidrow 規(guī)則初始化算法對(duì)網(wǎng)絡(luò)層的權(quán)值和閾值進(jìn)行初始 %化，該算法的初始化值，可以使網(wǎng)絡(luò)層中每 個(gè)神經(jīng)元的作用范圍近似地在 %網(wǎng)絡(luò)層的輸入空間均勻分布。 與純隨機(jī)初始化權(quán)值和閾值的方法比較， %初始化算法有以下優(yōu)點(diǎn)： 神經(jīng)元的浪費(fèi)少（因?yàn)樗猩窠?jīng)元都分布在輸 %入空間內(nèi)）；網(wǎng)絡(luò)的訓(xùn)練速度快（因?yàn)檩斎肟臻g的每一個(gè)區(qū)域都有神經(jīng) %元）；這里是用 rands 重新設(shè)置權(quán)值和閾值。 {1}.initF=39。initnw39。 {2}.initF=39。initnw39。 {1,1}.initF=39。rands39。 {2,1}.initF=39。rands39。 {1,1}.initF=39。rands39。 {2,1}.initF=39。rands39。 =init()。 %查看初始化后的權(quán)值和閾值 {1,1} {1} {2,1} {2} =train(,x,y1)。 %得出訓(xùn)練好的權(quán)值和閾值供 MATLAB 程序段二使用 {1,1} {1} {2,1} {2} y2=sim(,x)。 err=y2y1。 30 res=norm(err)。 pause plot(x,y1)。 hold on plot(x,y2,39。r+39。)。 ② MATLAB 程序段二： x=4::4。 y1=sin((1/2)*pi*x)+sin(pi*x)。 =newff(minmax(x),[1,15,1],{39。tansig39。,39。tansig39。,39。purelin39。},39。trainlm39。)。 =2021。 =。 %從程序段一得出的數(shù)據(jù) {1,1}=。 {1}=。 {2,1}=[。。]。 {2}=[。658。]。 =train(,x,y1)。 y2=sim(,x)。 err=y2y1。 res=norm(err)。 pause plot(x,y1)。 hold on plot(x,y2,39。r+39。)。 31 (a) 隨機(jī)設(shè)置權(quán)值 誤差曲線圖 （ b）獲取訓(xùn)練好的閾值和權(quán)值 誤差曲線圖 圖 314 兩程序段運(yùn)行后誤差 曲線圖 從上面的仿真結(jié)果看，第一個(gè)程序用隨機(jī)的初始權(quán)值和閾值達(dá)到目標(biāo)誤差完成訓(xùn)練需要 264 個(gè)回合，而選用已訓(xùn)練好的權(quán)值和閾值僅用 167 個(gè)回合就完成了訓(xùn)練，因此選擇合適的初始化權(quán)值和閾值將加速網(wǎng)絡(luò)的訓(xùn)練，大大提高了學(xué)習(xí)的收斂速度。因此關(guān)于設(shè)置網(wǎng)絡(luò)初始權(quán)值和閾值的優(yōu)化方法是一個(gè)值得研究的問題 。 其他影響因素仿真 在算法選擇上，在下面的仿真中將使用 LM 算法測(cè)試其他影響因素，比如通過選擇不同的激活函數(shù)、修改學(xué)習(xí)步長(zhǎng)和目標(biāo)誤差等觀察對(duì)仿真曲線的影響程度。 如果將輸入層激活函數(shù)設(shè)置為 purelin， x=4::4， epochs=1000， goal=，其余不變則會(huì)產(chǎn)生如下結(jié)果：經(jīng)過多次反復(fù)實(shí)驗(yàn)，有時(shí)不能達(dá)到目標(biāo)誤差，有時(shí)又很快達(dá)到目標(biāo)誤差，且仿真效果會(huì)產(chǎn)生不同程度的失真或有時(shí)效果很好。如果將輸入層激活函數(shù)設(shè)為 tansig，則學(xué)習(xí)很快收斂且達(dá)到目標(biāo)誤差，仿真效果很好，且多次仿真結(jié)果比較穩(wěn)定，明顯要比輸入層激活函數(shù)設(shè)為 purelin 要好。如果將這三層神經(jīng)元的激活函數(shù)都設(shè)置為 tansig 的話，在多次試驗(yàn)中，訓(xùn)練回合數(shù)為 1000，均未達(dá)到目標(biāo)誤差 的要求。 BP 神經(jīng)網(wǎng)絡(luò)在樣本分類中 的應(yīng)用 問題的提出 這是一個(gè)用 BP 神經(jīng)網(wǎng)絡(luò)來將不同的混合在一起的數(shù)據(jù)或者樣本進(jìn)行分類的例子。利用上述研究的結(jié)果，采用 15 個(gè)隱層節(jié)點(diǎn)。我們先自己隨機(jī)的輸入兩個(gè)樣本： %產(chǎn)生訓(xùn)練樣本與測(cè)試樣本，每一列為一個(gè)樣本 P1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]。 T1 = [repmat([1。0。0],1,5),repmat([0。1。0],1,5),repmat([0。0。1],1,5)]。 32 P2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]。 T2 = [repmat([1。0。0],1,5),repmat([0。1。0],1,5),repmat([0。0。1],1,5)]。 %然后再將樣本歸一化處理，這樣有利于我們簡(jiǎn)便、準(zhǔn)確、定量結(jié)果。 [PN1,minp,maxp] = premnmx(P1)。 PN2 = tramnmx(P2,minp,maxp)。 %第三部則是設(shè)置網(wǎng)絡(luò)參數(shù) NodeNum = 15。 % 隱層節(jié)點(diǎn)數(shù) TypeNum = 3。 % 輸出維數(shù) TF1 = 39。tansig39。TF2 = 39。purelin39。 % 判 別函數(shù) (缺省值 ) %TF1 = 39。tansig39。TF2 = 39。logsig39。 %TF1 = 39。logsig39。TF2 = 39。purelin39。 %TF1 = 39。tansig39。TF2 = 39。tansig39。 %TF1 = 39。logsig39。TF2 = 39。logsig39。 %TF1 = 39。purelin39。TF2 = 39。purelin39。 基于 BP 神經(jīng)網(wǎng)絡(luò)的樣本分類 %一切工作準(zhǔn)備就緒后我們就可以開始訓(xùn)練網(wǎng)絡(luò)了： = newff(minmax(PN1),[NodeNum TypeNum],{TF1 TF2})。 指定訓(xùn)練參數(shù)，我們可以選擇不同的算法來進(jìn)行測(cè)試做比較： % = 39。traingd39。 % 梯度下降算法 % = 39。traingdm39。 % 動(dòng)量梯度下降算法 % = 39。traingda39。 % 變學(xué)習(xí)率梯度下降算法 % = 39。traingdx39。 % 變學(xué)習(xí)率動(dòng)量梯度下降算法 % (大型網(wǎng)絡(luò)的首選算法 模式識(shí)別 ) % = 39。trainrp39。 % RPROP(彈性 BP)算法 ,內(nèi)存需求最小 % 共軛梯度算法 % = 39。traincgf39。 % FletcherReeves 修正算法 % = 39。traincgp39。 % PolakRibiere 修正算法 ,內(nèi)存需求比 FletcherReeves 修正算法略大 % = 39。traincgb39。 % PowellBeal 復(fù)位算法 ,內(nèi)存需求比 PolakRibiere修正算法略大 % (大型網(wǎng)絡(luò)的首選算法 函數(shù)擬合 ,模式 識(shí)別 ) % = 39。trainscg39。 % Scaled Conjugate Gradient 算法 ,內(nèi)存需求與FletcherReeves 修正算法相同 ,計(jì)算量比上面三種算法都小很多 % = 39。trainbfg39。 % QuasiNewton Algorithms BFGS Algorithm,計(jì)算量和內(nèi)存需求均比共軛梯度算法大 ,但收斂比較快 33 % = 39。trainoss39。 % One Step Secant Algorithm,計(jì)算量和內(nèi)存需求均比BFGS 算法小 ,比共軛梯度算法略大 % (中小型網(wǎng)絡(luò)的首選算法 函數(shù)擬合 ,模式識(shí)別 ) = 39。trainlm39。 % LevenbergMarquardt 算法 ,內(nèi)存需求最大 ,收斂速度最快 % = 39。trainbr39。 % 貝葉斯正則化算法 % 有代表性的五種算法為 :39。traingdx39。,39。trainrp39。,39。trainscg39。,39。trainoss39。, 39。trainlm39。 = 1。 % 訓(xùn)練顯示間隔 = 。 % 學(xué)習(xí)步長(zhǎng) traingd,traingdm = 。 % 動(dòng)量項(xiàng)系數(shù) traingdm,traingdx = 10。 % 分塊計(jì)算 Hessian 矩陣 (僅對(duì)LevenbergMarquardt 算法有效 ) = 100