【正文】 ）和仿真效果圖（紅色+號點線）plot(x,y1)。注意：由于各種不確定因素，可能對網(wǎng)絡訓練有不同程度的影響，產(chǎn)生不同的效果。 圖311 動量及自適應學習速率法的訓練過程以及結果（原圖藍色線，仿真圖+號線）共軛梯度法 (traincgf)如圖312。從仿真效果圖可以看出，LM算法的效果最好，其次是共軛梯度法，其余均有不同范圍內的失真。對收斂速度要求不高時也可使用動量及自適應學習速率法?？赡芤馕吨訁^(qū)間的長度與計算機舍入誤差相當，無法繼續(xù)計算了，原因可能是有奇點（無限小且不實際存在），另外也存在是初值問題，理論上得知：共軛梯度法最大局限是依賴于初值，在有限的迭代次數(shù)內可能既不能搜索到全局極值也不能搜索到局部極值。如圖314。tansig39。purelin39。=2000。 與純隨機初始化權值和閾值的方法比較， %初始化算法有以下優(yōu)點： 神經(jīng)元的浪費少（因為所有神經(jīng)元都分布在輸%入空間內）；網(wǎng)絡的訓練速度快（因為輸入空間的每一個區(qū)域都有神經(jīng)%元）；這里是用rands重新設置權值和閾值。initnw39。rands39。rands39。err=y2y1。r+39。net=newff(minmax(x),[1,15,1],{39。,39。)。{1}=。]。res=norm(err)。)。如果將輸入層激活函數(shù)設置為purelin，x=4::4，epochs=1000，goal=，其余不變則會產(chǎn)生如下結果：經(jīng)過多次反復實驗，有時不能達到目標誤差，有時又很快達到目標誤差，且仿真效果會產(chǎn)生不同程度的失真或有時效果很好。利用上述研究的結果，采用15個隱層節(jié)點。0],1,5),repmat([0。1],1,5)]。0],1,5),repmat([0。1],1,5)]。%第三部則是設置網(wǎng)絡參數(shù)NodeNum = 15。TF2 = 39。TF2 = 39。TF2 = 39。TF2 = 39。TF2 = 39。TF2 = 39。traingd39。traingda39。trainrp39。traincgp39。trainscg39。trainoss39。trainbr39。trainrp39。trainoss39。 % 訓練顯示間隔 = 。 % 最大訓練次數(shù) = 1e8。 % 訓練% 測試Y1 = sim(net,PN1)。traingd39。traingda39。trainrp39。traincgp39。trainscg39。trainoss39。trainbr39。trainrp39。trainoss39。 % 訓練顯示間隔 = 。 % 最大訓練次數(shù) = 1e8。 % 訓練% 測試Y1 = sim(net,PN1)。 % 競爭輸出測試結果（LevenbergMarquardt算法）：訓練輸出結果如圖315，測試輸出結果如圖316。y=1+sin(k*pi/4*x)。)。title(39。net=newff(minmax(x),[1,n,1],{39。,39。)。b39。title(39。x39。)。%學習率=25。)。y2=sim(net,x)。,x,y1,39。)。xlabel(39。y39。)。text(,39。figure。+g39。x39。)。ylabel(39。res=norm(err)。*b39。)。訓練前網(wǎng)絡的仿真輸出y139。text(,39。)。原函數(shù)與網(wǎng)絡訓練前后的仿真結果比較39。,x,y2,39。plot(x,y,39。藍色訓練，黑色目標 誤差39。xlabel(39。%最大迭代次數(shù)=。ylabel(39。)。r39。figure。},39。,39。)。y39。xlabel(39。New York,1993.[23] HAGAN M T,DEMUTH H B. Neural network design[M] .PWS Publishing Company,A division of Thomson Learning,United States of America, 1996.[24]Neural Network Tolbox User’s, The MathWorks. Inc,2003:1627.[25]Matlab user’s Guide. The ,2003:2327.[26]Neural Network Toolbox. Mathworks,2007:113.[27]Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，1989:156.附錄A%樣本選取k=8。 % 測試樣本實際輸出Y1 = full(pet(Y1))。 % 最小梯度 = inf。 % 動量項系數(shù) traingdm,traingdx = 10。trainlm39。trainscg39。traingdx39。trainlm39。trainbfg39。traincgb39。traincgf39。traingdx39。traingdm39。 %一切工作準備就緒后我們就可以開始訓練網(wǎng)絡了：net = newff(minmax(PN1),[NodeNum TypeNum],{TF1 TF2})。 % 最小梯度 = inf。 % 動量項系數(shù) traingdm,traingdx = 10。trainlm39。trainscg39。traingdx39。trainlm39。trainbfg39。traincgb39。traincgf39。traingdx39。traingdm39。 基于BP神經(jīng)網(wǎng)絡的樣本分類%一切工作準備就緒后我們就可以開始訓練網(wǎng)絡了：net = newff(minmax(PN1),[NodeNum TypeNum],{TF1 TF2})。%TF1 = 39。%TF1 = 39。%TF1 = 39。%TF1 = 39。 % 判別函數(shù)(缺省值)%TF1 = 39。 % 輸出維數(shù)TF1 = 39。[PN1,minp,maxp] = premnmx(P1)。0],1,5),repmat([0。T2 = [repmat([1。0],1,5),repmat([0。T1 = [repmat([1。如果將這三層神經(jīng)元的激活函數(shù)都設置為tansig的話，在多次試驗中，訓練回合數(shù)為1000。因此關于設置網(wǎng)絡初始權值和閾值的優(yōu)化方法是一個值得研究的問題。hold onplot(x,y2,39。y2=sim(net,x)。{2}=[。=。},39。,39。② MATLAB程序段二：x=4::4。pauseplot(x,y1)。%查看初始化后的權值和閾值{1,1}{1}{2,1}{2}net=train(net,x,y1)。rands39。rands39。initnw39。%初始化網(wǎng)絡，用newff創(chuàng)建網(wǎng)絡，其權值和閾值初始化函數(shù)的默認值是initnw。trainlm39。tansig39。y1=sin((1/2)*pi*x)+sin(pi*x)。 調整初始權值和閾值的仿真在分析了初始權值設置影響因素對BP神經(jīng)網(wǎng)絡的影響，下面首先通過MATLAB程序段一，通過隨機設置權值初始化網(wǎng)絡方式獲取訓練好的閾值和權值，作為MATLAB程序段二的初始化值。對訓練時間允許的條件下，共軛梯度法和彈性BP算法是對復雜大型網(wǎng)絡較好的選擇。共軛梯度法在相鄰迭代的正交方向搜索，綜合誤差曲線可知當接近極值時會產(chǎn)生鋸齒形振蕩。 圖313 LevenbergMarquardt算法的訓練過程以及結果（原圖藍色線，仿真圖+號線） 各種算法仿真結果比較與分析由上面的仿真結果可以得到下表的比較和下面的結論與分析：表32表32各種BP學習算法MATLAB仿真結果比較BP算法訓練函數(shù)訓練次數(shù)均方誤差標準BP算法traingd2000增加動量法traingdm2000彈性BP算法trainrp2000動量及自適應學習速率法trangdx2000共軛梯度法traincgf769LevenbergMarquardt法trainlm61結論與分析：從仿真結果可以看出，標準BP算法、增加動量發(fā)、彈性BP算法、動量及自適應學習速率法的收斂速度都不如共軛梯度法和LevenbergMarquardt法（LM算法）收斂速度明顯的快。 標準BP算法（traingd） 圖38 標準BP算法的訓練過程以及結果（原圖藍色線，仿真圖+號線）增加動量法(traingdm) 如圖39。r+39。err=y2y1。=2000。purelin39。tansig39。 各種BP學習算法MATLAB仿真根據(jù)上面一節(jié)對BP神經(jīng)網(wǎng)絡的MATLAB設計，可以得出下面的通用的MATLAB程序段，由于各種BP學習算法采用了不同的學習函數(shù)，所以只需要更改學習函數(shù)即可。%求歐式距離，判定隱含層神經(jīng)元個數(shù)及網(wǎng)絡性能 err=y2y1。%訓練步數(shù)最大為2000=2000。purelin39。tansig39。%輸入目標函數(shù)y1=sin((1/2)*pi*x)+sin(pi*x)。 BP神經(jīng)網(wǎng)絡MATLAB設計由于在隱含層的神經(jīng)元個數(shù)可以隨意調整的前提下，單隱含層的BP神經(jīng)網(wǎng)絡可以逼近任意的非線性映射。 當n=20時訓練后網(wǎng)絡的輸出結果 當n=25時訓練后網(wǎng)絡的輸出結果圖37 當k=8時，網(wǎng)絡輸出的結果圖 討論通過上述仿真結果可知，當 k=8，n=16時；k=10，n=18時； k=12，n=25時，BP神經(jīng)網(wǎng)絡分別對函數(shù)取得了較好的逼近效果。下面通過改變頻率參數(shù)和非線性函數(shù)的隱層神經(jīng)元數(shù)目來加以比較證明。訓練后網(wǎng)絡的仿真輸出y239。text(,3,39。)。x39。title(39。r39。步驟4： 網(wǎng)絡測試對于訓練好的網(wǎng)絡進行仿真：%仿真figure。紅色訓練，藍色目標 誤差39。xlabel(39。%最大迭代次數(shù)=。步驟3：網(wǎng)絡訓練應用train（）函數(shù)對網(wǎng)絡進行訓練之前，需要預先設置網(wǎng)絡訓練參數(shù)。ylabel(39。)。r39。figure。},39。,39。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡訓練的算法采用Levenberg – Marquardt算法trainlm。要逼近的非線性函數(shù)39。ylabel(39。%要逼近的函數(shù)plot(x,y)。 基于BP神經(jīng)網(wǎng)絡逼近函數(shù)步驟1：假設頻率參數(shù)k=8，繪制要逼近的非線性函數(shù)的曲線。 BP網(wǎng)絡在函數(shù)逼近中的應用 問題的提出BP網(wǎng)絡由很強的映射能力，主要用于模式識別分類、函數(shù)逼近、函數(shù)壓縮等。調用格式為：[dW,ls]=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)[db,ls]=learngd(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)info=learngd(code)2) learngdm函數(shù)為梯度下降動量學習函數(shù)，它利用神經(jīng)元的輸入和誤差、權值或閾值的學習速率和動量常數(shù)，來計算權值或閾值的變化率。調用格式為：A=tansig（N）info=tansig（code）其中，N：Q個S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（1，1）之間。傳遞函數(shù)又稱為激活函數(shù)，必須是連續(xù)可微的。用于在對話框中創(chuàng)建一個BP網(wǎng)絡。針對控制邏輯的開發(fā)，協(xié)議棧的仿真等要求，MathWorks公司在Simulink平臺上還提供了用于描述復雜事件驅動系統(tǒng)的邏輯行為的建模仿真工具—MATLAB產(chǎn)品體系的演化歷程中最重要的一個體系變更是引入了Simulink，用來對動態(tài)系統(tǒng)建模仿真。的主要應用方向由于其完整的專業(yè)體系和先進的設計開發(fā)思路，使得這些函數(shù)的MATLAB實現(xiàn)，使得設計者對所選定網(wǎng)絡進行計算過程，轉變?yōu)閷瘮?shù)的調用和參數(shù)的選擇，這樣一來，網(wǎng)絡設計人員可以根據(jù)自己的的需要去調用工具箱中有關的設計和訓練程序，從煩瑣的編程中解脫出來，集中精力解決其他問題，從而提高工作效率。它以人工神經(jīng)網(wǎng)絡理論為基礎，利用MATLAB編程語言構造出許多典型神經(jīng)網(wǎng)絡的框架和相關的函數(shù)。 第三章 BP神經(jīng)網(wǎng)絡的應用快速發(fā)展的Matlab軟件為神經(jīng)網(wǎng)絡理論的實現(xiàn)提供了一種便利的仿真手段。出現(xiàn)該現(xiàn)象的原因是網(wǎng)絡學習了過多的樣本細節(jié)導致，學習出的模型已不能反映樣本內含的規(guī)律，所以如何把握好學習的