【正文】 ? dir(n)g(0)dir(n+1)圖 共軛梯度向量示意圖 )1()(1)2( 0)0()(wijgdir gdirwiij ?????????)()()(()1neJInJnwjTTij ?????25 / 44和梯度下降法之間自適應來優(yōu)化網(wǎng)絡權值，使網(wǎng)絡能夠有效的收斂，大大提高了網(wǎng)絡的收斂速度和泛化能力。具體迭代步驟如下：① 將所有輸入送到網(wǎng)絡并計算出網(wǎng)絡輸出，用誤差函數(shù)計算出所有的誤差平方和② 計算出誤差對權值偏導的雅可比矩陣：③④ 用w+Δw重復計算誤差平方和（如果新的和小于①中計算的和，則用μ除以θ（θ1） ，并有w+Δw轉①；否則用μ乘以θ，轉③；當誤差平方和減小到某一目標誤差時，算法即被認為收斂）注：，由于參考的文獻眾多，在這里就不一一指明，但大都附在論文后面的參考文獻中，在此對參考文獻的作者表示感謝和歉意。??????????????mmwnenewweewmnJ )()()( )2()2()( 11)( 2111? ????????niilmE2)()()()()()( JInJnwjTTij ?????26 / 44 神經(jīng)網(wǎng)絡仿真 仿真平臺 MATLAB3．1．1 MATLAB 簡介MATLAB 是 Matrit Laboratory 的英文縮寫，中文意思是矩陣實驗室，是美國MathWorks 公司出品的商業(yè)數(shù)學軟件，它的內核是采用 C 語言編寫，是一種以矩陣為基本數(shù)據(jù)元素，面向科學計算與工程計算的可視化軟件。MATLAB 可以進行矩陣運算、繪制函數(shù)和數(shù)據(jù)、實現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語言的程序等，主要應用于工程計算、控制設計、信號處理與通訊、圖像處理、魯棒控制、信號檢測、金融建模設計與分析等領域。在新的版本中也加入了對 C，F(xiàn)ORTRAN，C++ ，JAVA 的支持。可以直接調用,用戶也可以將自己編寫的實用程序導入到 MATLAB 函數(shù)庫中方便自己以后調用，此外許多的 MATLAB 愛好者都編寫了一些經(jīng)典的程序，用戶可以直接進行下載就可以用。3．1．2 仿真平臺的構建和策略由于 MATLAB 的諸多優(yōu)點，BP 神經(jīng)網(wǎng)絡的仿真采用 MATLAB 數(shù)學軟件，安裝在單機 Windows XP 系統(tǒng)中，所使用的 MATLAB 版本為 R2022b。應用 MATLAB 中神經(jīng)網(wǎng)絡工具箱函數(shù)使用 MATLAB 自身語言進行編程。仿真的具體步驟為：①確定信息的表達方式：將實際問題抽象成神經(jīng)網(wǎng)絡所能接受的數(shù)據(jù)形式；②確定網(wǎng)絡結構模型，本仿真將選取輸入層，一個隱含層和輸出層的 BP 網(wǎng)絡模型；③選擇網(wǎng)絡參數(shù)：如神經(jīng)元數(shù)，隱含層數(shù)等；④確定訓練模式，選擇訓練算法，確定訓練步數(shù)，指定訓練目標誤差等；⑤網(wǎng)絡測試：選擇合適的樣本進行網(wǎng)絡測試。本仿真需要使用到的訓練算法并進行比較的 MATLAB 神經(jīng)網(wǎng)絡工具箱函數(shù)為增加動量法(traingdm)、彈性 BP 算法（trainrp） ，自適應學習速率法(traingda，注意traingdx 是動量及自適應學習速率法，本仿真實驗將使用 traingdx)、共軛梯度法 (traincgf)以及 LevenbergMarquardt 算法（trainlm） 。其中 LevenbergMarquardt 算法（trainlm）是 MATLAB 中 BP 算法的默認訓練函數(shù)。此外，在后續(xù)的實驗中，通過調整隱含層數(shù)及其神經(jīng)元個數(shù)、調整學習率大小、調整初始權值、選擇不同的激活函數(shù)、修改學習步長和目標誤差等觀察對仿真曲線的影響程度，記錄相關數(shù)據(jù)，得出相關結論。所采用的數(shù)據(jù)和編程來自或參考于參考文獻 2，該網(wǎng)絡的輸入層和輸出層的神經(jīng)元個數(shù)均為 1，隱含層設計可以根據(jù)下面的經(jīng)驗，這里采用的是設計一個隱含層神經(jīng)元數(shù)目可變的 BP 神經(jīng)網(wǎng)絡，通過誤差對比，確定最佳的隱含層神經(jīng)元個數(shù)，并檢驗隱含層神經(jīng)元個數(shù)對網(wǎng)絡性能的影響。下面有三個參考公式（來自參考文獻 2）可以參考確定隱含層神經(jīng)元個數(shù)：① ，其中， k 為樣本數(shù)，n 1為隱含層神經(jīng)元個數(shù)， n 為輸入單元數(shù)；如???niikC0127 / 44果 in1則 ；② ,其中 m 為輸出神經(jīng)元數(shù)，n 為輸入單元數(shù)，a 為[1,10]之間常數(shù)。a??③ ，其中 n 為輸入單元數(shù)。21log 仿真實驗3．2．1 BP 神經(jīng)網(wǎng)絡 MATLAB 設計 由于在隱含層的神經(jīng)元個數(shù)可以隨意調整的前提下，單隱含層的 BP 神經(jīng)網(wǎng)絡可以逼近任意的非線性映射。輸入層和輸出層神經(jīng)元個數(shù)為 1，只有一個隱含層，其個數(shù)根據(jù)上述的設計經(jīng)驗公式和本例的實際情況，選取 916 之間。下面的隱含層神經(jīng)元個數(shù)可變的 BP 神經(jīng)網(wǎng)絡，通過誤差和訓練步數(shù)對比確定隱含層個數(shù)，并檢驗隱含層神經(jīng)元個數(shù)對網(wǎng)絡性能的影響。下面是相關 MATLAB 程序段：%選取輸入變量 x 取值范圍x=4::4。%輸入目標函數(shù)y1=sin((1/2)*pi*x)+sin(pi*x)。%隱含層的神經(jīng)元數(shù)目范圍s=9:16。%歐氏距離res=1:8。%選取不同的隱含層神經(jīng)元個數(shù)，進行網(wǎng)絡測試for i=1:8 %建立前向型BP神經(jīng)網(wǎng)絡，輸入層和隱含層激勵函數(shù)為tansig，輸出層為purelin%訓練函數(shù)為trainlm，也是默認函數(shù) =newff(minmax(x),[1,s(i),1],{39。tansig39。,39。tansig39。,39。purelin39。},39。trainlm39。)。%訓練步數(shù)最大為2022=2022。%=。%進行函數(shù)訓練=train(,x,y1)。%對訓練后的神經(jīng)網(wǎng)絡進行仿真y2=sim(,x)。%求歐式距離，判定隱含層神經(jīng)元個數(shù)及網(wǎng)絡性能 err=y2y1。 res(i)=norm(err)。end0iC28 / 44用該同一程序在三個不同時刻，運行結果及分析如下：表 隱含層不同神經(jīng)元個數(shù)網(wǎng)絡訓練誤差及學習步長某時刻一神經(jīng)元個數(shù)9 10 11 12 13 14 15 16網(wǎng)絡誤差 學習步長 2022 2022 2022 275 640 241 66 25某時刻二神經(jīng)元個數(shù)9 10 11 12 13 14 15 16網(wǎng)絡誤差 學習步長 1156 2022 1146 2022 287 102 79 2022某時刻三神經(jīng)元個數(shù)9 10 11 12 13 14 15 16網(wǎng)絡誤差 學習步長 449 66 60 2022 1512 567 42 53由此可見，選擇隱含層神經(jīng)元數(shù)目為 15 是最佳選擇，不僅誤差小、學習步長短，而且性能穩(wěn)定。也可以看出并非隱含層神經(jīng)元的數(shù)目越多，網(wǎng)絡的性能就越好。3．2．2 各種 BP 學習算法 MATLAB 仿真根據(jù)上面一節(jié)對 BP 神經(jīng)網(wǎng)絡的 MATLAB 設計，可以得出下面的通用的 MATLAB 程序段，由于各種 BP 學習算法采用了不同的學習函數(shù)，所以只需要更改學習函數(shù)即可。MATLAB 程序段如下：x=4::4。y1=sin((1/2)*pi*x)+sin(pi*x)。%trainlm函數(shù)可以選擇替換=newff(minmax(x),[1,15,1],{39。tansig39。,39。tansig39。,39。purelin39。},39。trainlm39。)。=2022。=。=train(,x,y1)。y2=sim(,x)。err=y2y1。res=norm(err)。%暫停，按任意鍵繼續(xù)Pause%繪圖，原圖（藍色光滑線）和仿真效果圖（紅色+號點線）plot(x,y1)。hold onplot(x,y2,39。r+39。)。29 / 44注意：由于各種不確定因素，可能對網(wǎng)絡訓練有不同程度的影響，產(chǎn)生不同的效果。 ① 標準 BP 算法（traingd）圖 (a)② 增加動量法(traingdm) 圖 (b)③ 彈性 BP 算法（trainrp）圖 (c)④ 動量及自適應學習速率法（traingdx）30 / 44圖 (d)⑤ 共軛梯度法 (traincgf)圖 (e)⑥ LevenbergMarquardt 算法（trainlm）圖 (f)圖 各種 BP 算法 MATLAB 仿真誤差曲線（左）和仿真效果（右）圖3．2．3 各種算法仿真結果比較與分析由上面的仿真結果可以得到下表的比較和下面的結論與分析：表 各種 BP 學習算法 MATLAB 仿真結果比較31 / 44BP 算法 訓練函數(shù) 訓練次數(shù) 均方誤差標準 BP 算法 traingd 2022 增加動量法 traingdm 2022 彈性 BP 算法 trainrp 2022 動量及自適應學習速率法 trangdx 2022 共軛梯度法 traincgf 299 LevenbergMarquardt 法 trainlm 123 結論與分析：從仿真結果可以看出，標準 BP 算法、增加動量發(fā)、彈性 BP 算法、動量及自適應學習速率法的收斂速度都不如共軛梯度法和 LevenbergMarquardt 法（LM 算法）收斂速度明顯的快。從仿真結果和均方誤差綜合來看，只有 LM 算法達到了目標誤差，可見對高要求的誤差來說，LM 算法的優(yōu)勢要明顯的多，其余均未達到目標誤差；從均方誤差的效果來看，所仿真的 BP 算法的優(yōu)劣（從優(yōu)到劣）順序依次為 LM算法、共軛梯度法、彈性 BP 算法、動量及自適應學習速率法、增加動量法、標準BP 算法。從仿真效果圖可以看出，LM 算法的效果最好，其次是共軛梯度法，其余均有不同范圍內的失真。從誤差曲線來看，LM 算法達到了目標誤差（較高的誤差） ，標準BP 算法的誤差曲線較粗，是因為較小范圍振蕩產(chǎn)生鋸齒，在圖形中由于間距加大，圖形不斷重疊而成，收斂速度很慢；增加動量法、彈性 BP 算法、動量及自適應學習速率法的誤差曲線較為平滑，在剛開始收斂較快，在訓練步數(shù)增加的時候，曲線趨于水平，收斂速度比較慢；共軛梯度法和 LM 算法的誤差曲線變化較大且產(chǎn)生局部鋸齒狀，說明不是最優(yōu)，仍需要進行優(yōu)化，其中 LM 算法達到了目標誤差。共軛梯度法在相鄰迭代的正交方向搜索，綜合誤差曲線可知當接近極值時會產(chǎn)生鋸齒形振蕩。再根據(jù)前面對各種 BP 改進算法的描述可知，彈性 BP 算法不需要進行搜索，需要內存比較小，因此在一些大型網(wǎng)絡中比較適用，但是需要很長的訓練時間。對收斂速度要求不高時也可使用動量及自適應學習速率法。在小型網(wǎng)絡中，共軛梯度法僅次于 LM 算法，但是 LM 算法需要更大的內存做臨時存儲，對于較大復雜的網(wǎng)絡和內存受限的設備來說不是很好的選擇，但是對于小型網(wǎng)絡來說卻是首要選擇。對訓練時間允許的條件下，共軛梯度法和彈性 BP 算法是對復雜大型網(wǎng)絡較好的選擇。其中共軛梯度法在訓練的時候，訓練次數(shù)為 299 次，均方誤差為 ，均未達到所設定的要求，產(chǎn)生了“Minimum step size reached, performance goal was not met”的結果?？赡芤馕吨訁^(qū)間的長度與計算機舍入誤差相當，無法繼續(xù)計算了，原因可能是有奇點（無限小且不實際存在） ，另外也存在是初值問題，理論上得知：共軛梯度法最大局限是依賴于初值，在有限的迭代次數(shù)內可能既不能搜索到全局極值也不能搜索到局部極值。因此該算法適用于精度要求比較低的高維網(wǎng)絡之中。3．2．4 調整初始權值和閾值的仿真32 / 44在 分析了初始權值設置影響因素對 BP 神經(jīng)網(wǎng)絡的影響，下面首先通過MATLAB 程序段一，通過隨機設置權值初始化網(wǎng)絡方式獲取訓練好的閾值和權值，作為 MATLAB 程序段二的初始化值。由此進行仿真分析。① MATLAB 程序段一：x=4::4。y1=sin((1/2)*pi*x)+sin(pi*x)。=newff(minmax(x),[1,15,1],{39。tansig39。,39。tansig39。,39。purelin39。},39。trainlm39。)。=2022。=。%初始化網(wǎng)絡，用newff創(chuàng)建網(wǎng)絡，其權值和閾值初始化函數(shù)的默認值是initnw。%initnw據(jù)NguyenWidrow規(guī)則初始化算法對網(wǎng)絡層的權值和閾值進行初始化，該算法%的初始化值，可以使網(wǎng)絡層中每個神經(jīng)元的作用范圍近似地在網(wǎng)絡層的輸入空間均%勻分布。 與純隨機初始化權值和閾值的方法比較，初始化算法有以下優(yōu)點： 神經(jīng) %元的浪費少（因為所有神經(jīng)元都分布在輸入空間內） ；網(wǎng)絡的訓練速度快（因為輸入%空間的每一個區(qū)域都有神經(jīng)元） ；這里是用rands重新設置權值和閾值。{1}.initF=39。initnw39。{2}.initF=39。initnw39。{1,1}.initF=39。rands39。{2,1}.initF=39。rands39。{1,1}.initF=39。rands39。{2,1}.initF=39。rands39。=init()。%查看初始化后的權值和閾值{1,1}{1}{2,1}{2}=train(,x,y1)。%得出訓練好的權值和閾值供MATLAB程序段二使用{1,1}{1}{2,1}{2}y2=sim(,x)。err=y2y1。res=norm(err)。pauseplot(x,y1)。33 / 44hold onplot(x,y2,39。r+39。)。② MATLAB 程序段二：x=4::4。