【文章內(nèi)容簡(jiǎn)介】 網(wǎng)絡(luò)算法收斂速度慢的現(xiàn)象。（3）BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇不一：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇至今尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定。網(wǎng)絡(luò)結(jié)構(gòu)選擇過大，訓(xùn)練中效率不高，可能出現(xiàn)過擬合現(xiàn)象，造成網(wǎng)絡(luò)性能低，容錯(cuò)性下降，若選擇過小，則又會(huì)造成網(wǎng)絡(luò)可能不收斂。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)。因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)重要的問題。（4）應(yīng)用實(shí)例與網(wǎng)絡(luò)規(guī)模的矛盾問題：BP神經(jīng)網(wǎng)絡(luò)難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾問題，其涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，即學(xué)習(xí)復(fù)雜性問題。（5）BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)能力和訓(xùn)練能力的矛盾問題：預(yù)測(cè)能力也稱泛化能力或者推廣能力，而訓(xùn)練能力也稱逼近能力或者學(xué)習(xí)能力。一般情況下，訓(xùn)練能力差時(shí)，預(yù)測(cè)能力也差，并且一定程度上，隨著訓(xùn)練能力地提高，預(yù)測(cè)能力會(huì)得到提高。但這種趨勢(shì)不是固定的，其有一個(gè)極限，當(dāng)達(dá)到此極限時(shí)，隨著訓(xùn)練能力的提高，預(yù)測(cè)能力反而會(huì)下降，也即出現(xiàn)所謂“過擬合”現(xiàn)象。出現(xiàn)該現(xiàn)象的原因是網(wǎng)絡(luò)學(xué)習(xí)了過多的樣本細(xì)節(jié)導(dǎo)致，學(xué)習(xí)出的模型已不能反映樣本內(nèi)含的規(guī)律，所以如何把握好學(xué)習(xí)的度，解決網(wǎng)絡(luò)預(yù)測(cè)能力和訓(xùn)練能力間矛盾問題也是BP神經(jīng)網(wǎng)絡(luò)的重要研究?jī)?nèi)容。（6）BP神經(jīng)網(wǎng)絡(luò)樣本依賴性問題：網(wǎng)絡(luò)模型的逼近和推廣能力與學(xué)習(xí)樣本的典型性密切相關(guān)，而從問題中選取典型樣本實(shí)例組成訓(xùn)練集是一個(gè)很困難的問題。 第三章 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用快速發(fā)展的Matlab軟件為神經(jīng)網(wǎng)絡(luò)理論的實(shí)現(xiàn)提供了一種便利的仿真手段。Matlab神經(jīng)網(wǎng)絡(luò)工具箱的出現(xiàn)，更加拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。神經(jīng)網(wǎng)絡(luò)工具箱將很多原本需要手動(dòng)計(jì)算的工作交給計(jì)算機(jī)，一方面提高了工作效率，另一方面，還提高了計(jì)算的準(zhǔn)確度和精度，減輕了工程人員的負(fù)擔(dān)。神經(jīng)網(wǎng)絡(luò)工具箱是在MATLAB環(huán)境下開發(fā)出來的許多工具箱之一。它以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，利用MATLAB編程語言構(gòu)造出許多典型神經(jīng)網(wǎng)絡(luò)的框架和相關(guān)的函數(shù)。這些工具箱函數(shù)主要為兩大部分。一部分函數(shù)特別針對(duì)某一種類型的神經(jīng)網(wǎng)絡(luò)的，如感知器的創(chuàng)建函數(shù)、BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)等。而另外一部分函數(shù)則是通用的，幾乎可以用于所有類型的神經(jīng)網(wǎng)絡(luò)，如神經(jīng)網(wǎng)絡(luò)仿真函數(shù)、初始化函數(shù)和訓(xùn)練函數(shù)等。這些函數(shù)的MATLAB實(shí)現(xiàn)，使得設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)進(jìn)行計(jì)算過程，轉(zhuǎn)變?yōu)閷?duì)函數(shù)的調(diào)用和參數(shù)的選擇，這樣一來，網(wǎng)絡(luò)設(shè)計(jì)人員可以根據(jù)自己的的需要去調(diào)用工具箱中有關(guān)的設(shè)計(jì)和訓(xùn)練程序，從煩瑣的編程中解脫出來，集中精力解決其他問題，從而提高工作效率。 MATLAB工具箱介紹MATLAB產(chǎn)品家族是美國(guó)MathWorks公司開發(fā)的用于概念設(shè)計(jì),算法開發(fā),建模仿真,實(shí)時(shí)實(shí)現(xiàn)的理想的集成環(huán)境。由于其完整的專業(yè)體系和先進(jìn)的設(shè)計(jì)開發(fā)思路，使得MATLAB在多種領(lǐng)域都有廣闊的應(yīng)用空間，特別是在MATLAB的主要應(yīng)用方向—科學(xué)計(jì)算、建模仿真以及信息工程系統(tǒng)的設(shè)計(jì)開發(fā)上已經(jīng)成為行業(yè)內(nèi)的首選設(shè)計(jì)工具，全球現(xiàn)有超過五十萬的企業(yè)用戶和上千萬的個(gè)人用戶，廣泛的分布在航空航天，金融財(cái)務(wù)，機(jī)械化工，電信，教育等各個(gè)行業(yè)。在MATLAB產(chǎn)品家族中，MATLAB工具箱是整個(gè)體系的基座，它是一個(gè)語言編程型（M語言）開發(fā)平臺(tái)，提供了體系中其他工具所需要的集成環(huán)境（比如M語言的解釋器）。同時(shí)由于MATLAB對(duì)矩陣和線性代數(shù)的支持使得工具箱本身也具有強(qiáng)大的數(shù)學(xué)計(jì)算能力。MATLAB產(chǎn)品體系的演化歷程中最重要的一個(gè)體系變更是引入了Simulink，用來對(duì)動(dòng)態(tài)系統(tǒng)建模仿真。其框圖化的設(shè)計(jì)方式和良好的交互性，對(duì)工程人員本身計(jì)算機(jī)操作與編程的熟練程度的要求降到了最低，工程人員可以把更多的精力放到理論和技術(shù)的創(chuàng)新上去。針對(duì)控制邏輯的開發(fā)，協(xié)議棧的仿真等要求，MathWorks公司在Simulink平臺(tái)上還提供了用于描述復(fù)雜事件驅(qū)動(dòng)系統(tǒng)的邏輯行為的建模仿真工具—Stateflow，通過Stateflow，用戶可以用圖形化的方式描述事件驅(qū)動(dòng)系統(tǒng)的邏輯行為，并無縫的結(jié)合到Simulink的動(dòng)態(tài)系統(tǒng)仿真中。 BP網(wǎng)絡(luò)創(chuàng)建函數(shù)1) newff該函數(shù)用于創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。調(diào)用格式為：net=newffnet=newff(PR,[S1 S2..SN1],{TF1 TF2..TFN1},BTF,BLF,PF)net=newff。用于在對(duì)話框中創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入向量取值范圍的矩陣；[S1 S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；{TFl TF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。 2）newcf函數(shù)用于創(chuàng)建級(jí)聯(lián)前向BP網(wǎng)絡(luò)，newfftd函數(shù)用于創(chuàng)建一個(gè)存在輸入延遲的前向網(wǎng)絡(luò)。 神經(jīng)元上的傳遞函數(shù)傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分。傳遞函數(shù)又稱為激活函數(shù)，必須是連續(xù)可微的。BP網(wǎng)絡(luò)經(jīng)常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。1) logsig該傳遞函數(shù)為S型的對(duì)數(shù)函數(shù)。調(diào)用格式為：A=logsig（N）info=logsig（code）其中， N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（0，1）中；2）tansig該函數(shù)為雙曲正切S型傳遞函數(shù)。調(diào)用格式為：A=tansig（N）info=tansig（code）其中，N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（1，1）之間。3）purelin該函數(shù)為線性傳遞函數(shù)。調(diào)用格式為：A=purelin（N）info=purelin（code）其中，N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，A=N。 BP網(wǎng)絡(luò)學(xué)習(xí)函數(shù)1）learngd該函數(shù)為梯度下降權(quán)值/閾值學(xué)習(xí)函數(shù)，它通過神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)效率，來計(jì)算權(quán)值或閾值的變化率。調(diào)用格式為：[dW,ls]=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)[db,ls]=learngd(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)info=learngd(code)2) learngdm函數(shù)為梯度下降動(dòng)量學(xué)習(xí)函數(shù)，它利用神經(jīng)元的輸入和誤差、權(quán)值或閾值的學(xué)習(xí)速率和動(dòng)量常數(shù)，來計(jì)算權(quán)值或閾值的變化率。 BP網(wǎng)絡(luò)訓(xùn)練函數(shù)1）train神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)，調(diào)用其他訓(xùn)練函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。該函數(shù)的調(diào)用格式為：[net,tr,Y,E,Pf,Af]=train(NET,P,T,Pi,Ai)[net,tr,Y,E,Pf,Af]=train(NET,P,T,Pi,Ai,VV,TV)2) traingd函數(shù)為梯度下降BP算法函數(shù)。traingdm函數(shù)為梯度下降動(dòng)量BP算法函數(shù)。 BP網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 問題的提出BP網(wǎng)絡(luò)由很強(qiáng)的映射能力，主要用于模式識(shí)別分類、函數(shù)逼近、函數(shù)壓縮等。下面將通過實(shí)例來說明BP網(wǎng)絡(luò)在函數(shù)逼近方面的應(yīng)用。要求設(shè)計(jì)一個(gè)BP網(wǎng)絡(luò)，逼近函數(shù)：g(x)=1+cos(k*pi/4*x)，實(shí)現(xiàn)對(duì)該非線性函數(shù)的逼近。其中，分別令k=8，10，12進(jìn)行仿真，通過調(diào)節(jié)參數(shù)（如隱藏層節(jié)點(diǎn)個(gè)數(shù)等）得出信號(hào)的頻率與隱層節(jié)點(diǎn)之間，隱層節(jié)點(diǎn)與函數(shù)逼近能力之間的關(guān)系。 基于BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù)步驟1：假設(shè)頻率參數(shù)k=8，繪制要逼近的非線性函數(shù)的曲線。函數(shù)的曲線如圖31所示%樣本選取k=8。x=[0::1]。y=1+sin(k*pi/4*x)。%要逼近的函數(shù)plot(x,y)。xlabel(39。x39。)。ylabel(39。y39。)。title(39。要逼近的非線性函數(shù)39。)。圖31 逼近的非線性函數(shù)曲線步驟2：網(wǎng)絡(luò)的建立應(yīng)用newff()函數(shù)建立BP網(wǎng)絡(luò)結(jié)構(gòu)。隱層神經(jīng)元數(shù)目n可以改變，暫設(shè)為n=8，輸出層有一個(gè)神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡(luò)訓(xùn)練的算法采用Levenberg – Marquardt算法trainlm。%網(wǎng)絡(luò)仿真n=8。net=newff(minmax(x),[1,n,1],{39。tansig39。,39。tansig39。,39。purelin39。},39。traingdx39。)。%創(chuàng)建神經(jīng)網(wǎng)絡(luò)y1=sim(net,x)。figure。plot(x,y,39。b39。,x,y1,39。r39。)。title(39。仿真結(jié)果與非線性函數(shù)39。)。xlabel(39。x39。)。ylabel(39。y39。)。同時(shí)繪制網(wǎng)絡(luò)輸出曲線，并與原函數(shù)相比較，結(jié)果如圖32“” 代表要逼近的非線性函數(shù)曲線 “——” 代表未經(jīng)訓(xùn)練的函數(shù)曲線 圖32 網(wǎng)絡(luò)輸出曲線圖因?yàn)槭褂胣ewff( )函數(shù)建立函數(shù)網(wǎng)絡(luò)時(shí)，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出結(jié)構(gòu)很差，根本達(dá)不到函數(shù)逼近的目的，每次運(yùn)行的結(jié)果也有時(shí)不同。步驟3：網(wǎng)絡(luò)訓(xùn)練應(yīng)用train（）函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，需要預(yù)先設(shè)置網(wǎng)絡(luò)訓(xùn)練參數(shù)。將訓(xùn)練時(shí)間設(shè)置為50，其余參數(shù)使用缺省值。訓(xùn)練后得到的誤差變化過程如圖33所示。%網(wǎng)絡(luò)訓(xùn)練=100。%最大迭代次數(shù)=。%神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)誤差=。%學(xué)習(xí)率=25。%兩次顯示之間的訓(xùn)練步數(shù)net=train(net,x,y)。xlabel(39。次數(shù)39。)。ylabel(39。紅色訓(xùn)練，藍(lán)色目標(biāo) 誤差39。)。y2=sim(net,x)。圖33 將未經(jīng)訓(xùn)練網(wǎng)絡(luò)進(jìn)行訓(xùn)練的訓(xùn)練過程 從以上結(jié)果可以看出，網(wǎng)絡(luò)訓(xùn)練速度很快。步驟4： 網(wǎng)絡(luò)測(cè)試對(duì)于訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行仿真：%仿真figure。plot(x,y,39。39。,x,y1,39。r39。,x,y2,39。*g39。)。title(39。原函數(shù)與網(wǎng)絡(luò)訓(xùn)練前后的仿真結(jié)果比較39。)。xlabel(39。x39。)。ylabel(39。y39。)。text(,39。原函數(shù)y39。)。text(,3,39。訓(xùn)練前網(wǎng)絡(luò)的仿真輸出y139。)。text(,39。訓(xùn)練后網(wǎng)絡(luò)的仿真輸出y239。)。繪制網(wǎng)絡(luò)輸出曲線，并與原始非線性函數(shù)曲線以及未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果曲線相比較，比較出來的結(jié)果如圖34“”——原函數(shù)“—”——訓(xùn)練前網(wǎng)絡(luò)的仿真輸出“**”——訓(xùn)練后網(wǎng)絡(luò)的仿真輸出圖34 比較輸出結(jié)果圖 不同頻率下的逼近效果改變非線性函數(shù)的頻率和BP函數(shù)隱層神經(jīng)元的數(shù)目，對(duì)于函數(shù)逼近的效果有一定的影響。網(wǎng)絡(luò)非線性程度越高，對(duì)于BP網(wǎng)絡(luò)的要求越高，則相同的網(wǎng)絡(luò)逼近效果要差一些；隱層神經(jīng)元的數(shù)目對(duì)于網(wǎng)絡(luò)逼近效果也有一定影響，一般來說隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強(qiáng)。下面通過改變頻率參數(shù)和非線性函數(shù)的隱層神經(jīng)元數(shù)目來加以比較證明。（1）頻率參數(shù)設(shè)為k=8，當(dāng)隱層神經(jīng)元數(shù)目分別取n=1n=16時(shí)，得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖35所示。 當(dāng)n=12時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 當(dāng)n=16時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 圖35 當(dāng)k=8時(shí)，網(wǎng)絡(luò)輸出的結(jié)果圖 （2） 頻率參數(shù)設(shè)為k=10，當(dāng)隱層神經(jīng)元數(shù)目分別取n=1n=18時(shí)，得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖36所示。 當(dāng)n=16時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 當(dāng)n=18時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果圖36 當(dāng)k=10時(shí)，網(wǎng)絡(luò)輸出的結(jié)果圖 （3） 頻率參數(shù)設(shè)為k=12，當(dāng)隱層神經(jīng)元數(shù)目分別取n=n=25時(shí)，得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖37所示。 當(dāng)n=20時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 當(dāng)n=25時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果圖37 當(dāng)k=8時(shí)，網(wǎng)絡(luò)輸出的結(jié)果圖 討論通過上述仿真結(jié)果可知，當(dāng) k=8，n=16時(shí)；k=10，n=18時(shí)； k=12，n=25時(shí)，BP神經(jīng)網(wǎng)絡(luò)分別對(duì)函數(shù)取得了較好的逼近效果。由此可見，n取不同的值對(duì)函數(shù)逼近的效果有很大的影響。改變BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，可以改變BP神經(jīng)網(wǎng)絡(luò)對(duì)于函數(shù)的逼近效果。隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強(qiáng)。 BP神經(jīng)網(wǎng)絡(luò)MATLAB設(shè)計(jì)由于在隱含層的神經(jīng)元個(gè)數(shù)可以隨意調(diào)整的前提下，單隱含層的BP神經(jīng)網(wǎng)絡(luò)可以逼近任意的非線性映射。輸入層和輸出層神經(jīng)元個(gè)數(shù)為1，只有一個(gè)隱含層，其個(gè)數(shù)根據(jù)上述的設(shè)計(jì)經(jīng)驗(yàn)公式和本例的實(shí)際情況，選取916之間。下面的隱含層神經(jīng)元個(gè)數(shù)可變的BP神經(jīng)網(wǎng)絡(luò)，通過誤差和訓(xùn)練步數(shù)