【文章內(nèi)容簡(jiǎn)介】 待定的輸出向量將它與輸入向量聯(lián)系起來(lái)。（3） 分類(lèi)：把輸入向量所定義的合適方式進(jìn)行分類(lèi)。（4） 數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲(chǔ)。 BP網(wǎng)絡(luò)的優(yōu)點(diǎn)以及局限性BP神經(jīng)網(wǎng)絡(luò)最主要的優(yōu)點(diǎn)是具有極強(qiáng)的非線性映射能力[12]。理論上，對(duì)于一個(gè)三層和三層以上的BP網(wǎng)絡(luò)，只要隱層神經(jīng)元數(shù)目足夠多，該網(wǎng)絡(luò)就能以任意精度逼近一個(gè)非線性函數(shù)。其次，BP神經(jīng)網(wǎng)絡(luò)具有對(duì)外界刺激和輸入信息進(jìn)行聯(lián)想記憶的能力。這是因?yàn)樗捎昧朔植疾⑿械男畔⑻幚矸绞?，?duì)信息的提取必須采用聯(lián)想的方式，才能將相關(guān)神經(jīng)元全部調(diào)動(dòng)起來(lái)。BP 神經(jīng)網(wǎng)絡(luò)通過(guò)預(yù)先存儲(chǔ)信息和學(xué)習(xí)機(jī)制進(jìn)行自適應(yīng)訓(xùn)練，可以從不完整的信息和噪聲干擾中恢復(fù)原始的完整信息。這種能力使其在圖像復(fù)原、語(yǔ)言處理、模式識(shí)別等方面具有重要應(yīng)用。再次，BP 神經(jīng)網(wǎng)絡(luò)對(duì)外界輸入樣本有很強(qiáng)的識(shí)別與分類(lèi)能力。由于它具有強(qiáng)大的非線性處理能力，因此可以較好地進(jìn)行非線性分類(lèi), 解決了神經(jīng)網(wǎng)絡(luò)發(fā)展史上的非線性分類(lèi)難題。另外， BP 神經(jīng)網(wǎng)絡(luò)具有優(yōu)化計(jì)算能力。BP神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個(gè)非線性優(yōu)化問(wèn)題, 它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達(dá)到最小。不過(guò)，其優(yōu)化計(jì)算存在局部極小問(wèn)題，必須通過(guò)改進(jìn)完善[13]。由于BP網(wǎng)絡(luò)訓(xùn)練中穩(wěn)定性要求學(xué)習(xí)效率很小，所以梯度下降法使得訓(xùn)練很慢。動(dòng)量法因?yàn)閷W(xué)習(xí)率的提高通常比單純的梯度下降法要快一些，但在實(shí)際應(yīng)用中還是速度不夠，這兩種方法通常只應(yīng)用于遞增訓(xùn)練。多層神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于線性系統(tǒng)和非線性系統(tǒng)中，對(duì)于任意函數(shù)模擬逼近。當(dāng)然，感知器和線性神經(jīng)網(wǎng)絡(luò)能夠解決這類(lèi)網(wǎng)絡(luò)問(wèn)題。但是，雖然理論上是可行的，但實(shí)際上BP網(wǎng)絡(luò)并不一定總能有解。對(duì)于非線性系統(tǒng)，選擇合適的學(xué)習(xí)率是一個(gè)重要的問(wèn)題。在線性網(wǎng)絡(luò)中，學(xué)習(xí)率過(guò)大會(huì)導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定。相反，學(xué)習(xí)率過(guò)小又會(huì)造成訓(xùn)練時(shí)間過(guò)長(zhǎng)。和線性網(wǎng)絡(luò)不同，對(duì)于非線性多層網(wǎng)絡(luò)很難選擇很好的學(xué)習(xí)率。對(duì)那些快速訓(xùn)練算法，缺省參數(shù)值基本上都是最有效的設(shè)置[10]。非線性網(wǎng)絡(luò)的誤差面比線性網(wǎng)絡(luò)的誤差面復(fù)雜得多，問(wèn)題在于多層網(wǎng)絡(luò)中非線性傳遞函數(shù)有多個(gè)局部最優(yōu)解。尋優(yōu)的過(guò)程與初始點(diǎn)的選擇關(guān)系很大，初始點(diǎn)如果更靠近局部最優(yōu)點(diǎn)，而不是全局最優(yōu)點(diǎn)，就不會(huì)得到正確的結(jié)果，這也是多層網(wǎng)絡(luò)無(wú)法得到最優(yōu)解的一個(gè)原因。為了解決這個(gè)問(wèn)題，在實(shí)際訓(xùn)練過(guò)程中，應(yīng)重復(fù)選取多個(gè)初始點(diǎn)進(jìn)行訓(xùn)練，以保證訓(xùn)練結(jié)果的全局最優(yōu)性[11]。 網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目也對(duì)網(wǎng)絡(luò)有一定的影響。神經(jīng)元數(shù)目太少會(huì)造成網(wǎng)絡(luò)的不適性，而神經(jīng)元數(shù)目太多又會(huì)引起網(wǎng)絡(luò)的過(guò)適性。3 BP神經(jīng)網(wǎng)絡(luò)在實(shí)例中的應(yīng)用快速發(fā)展的Matlab軟件為神經(jīng)網(wǎng)絡(luò)理論的實(shí)現(xiàn)提供了一種便利的仿真手段。Matlab神經(jīng)網(wǎng)絡(luò)工具箱的出現(xiàn)，更加拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。神經(jīng)網(wǎng)絡(luò)工具箱將很多原本需要手動(dòng)計(jì)算的工作交給計(jì)算機(jī)，一方面提高了工作效率，另一方面，還提高了計(jì)算的準(zhǔn)確度和精度，減輕了工程人員的負(fù)擔(dān)。神經(jīng)網(wǎng)絡(luò)工具箱是在MATLAB環(huán)境下開(kāi)發(fā)出來(lái)的許多工具箱之一。它以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，利用MATLAB編程語(yǔ)言構(gòu)造出許多典型神經(jīng)網(wǎng)絡(luò)的框架和相關(guān)的函數(shù)。這些工具箱函數(shù)主要為兩大部分。一部分函數(shù)特別針對(duì)某一種類(lèi)型的神經(jīng)網(wǎng)絡(luò)的，如感知器的創(chuàng)建函數(shù)、BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)等。而另外一部分函數(shù)則是通用的，幾乎可以用于所有類(lèi)型的神經(jīng)網(wǎng)絡(luò)，如神經(jīng)網(wǎng)絡(luò)仿真函數(shù)、初始化函數(shù)和訓(xùn)練函數(shù)等[15]。這些函數(shù)的MATLAB實(shí)現(xiàn)，使得設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)進(jìn)行計(jì)算過(guò)程，轉(zhuǎn)變?yōu)閷?duì)函數(shù)的調(diào)用和參數(shù)的選擇，這樣一來(lái)，網(wǎng)絡(luò)設(shè)計(jì)人員可以根據(jù)自己的的需要去調(diào)用工具箱中有關(guān)的設(shè)計(jì)和訓(xùn)練程序，從煩瑣的編程中解脫出來(lái)，集中精力解決其他問(wèn)題，從而提高了工作效率。 基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)最新版本的神經(jīng)網(wǎng)絡(luò)工具箱幾乎涵蓋了所有的神經(jīng)網(wǎng)絡(luò)的基本常用模型，如感知器和BP網(wǎng)絡(luò)等。對(duì)于各種不同的網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)工具箱集成了多種學(xué)習(xí)算法，為用戶提供了極大的方便[16]。Matlab R2007神經(jīng)網(wǎng)絡(luò)工具箱中包含了許多用于BP網(wǎng)絡(luò)分析與設(shè)計(jì)的函數(shù)。 BP網(wǎng)絡(luò)的常用函數(shù)表函數(shù)類(lèi)型函數(shù)名稱函數(shù)用途前向網(wǎng)絡(luò)創(chuàng)建函數(shù)newcf創(chuàng)建級(jí)聯(lián)前向網(wǎng)絡(luò)Newff創(chuàng)建前向BP網(wǎng)絡(luò)傳遞函數(shù)logsigS型的對(duì)數(shù)函數(shù)tansigS型的正切函數(shù)purelin純線性函數(shù) 學(xué)習(xí)函數(shù)learngd基于梯度下降法的學(xué)習(xí)函數(shù)learngdm梯度下降動(dòng)量學(xué)習(xí)函數(shù)性能函數(shù) mse均方誤差函數(shù)msereg均方誤差規(guī)范化函數(shù) 顯示函數(shù)plotperf繪制網(wǎng)絡(luò)的性能plotes繪制一個(gè)單獨(dú)神經(jīng)元的誤差曲面plotep繪制權(quán)值和閾值在誤差曲面上的位置errsurf計(jì)算單個(gè)神經(jīng)元的誤差曲面 BP網(wǎng)絡(luò)創(chuàng)建函數(shù)1) newff該函數(shù)用于創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。調(diào)用格式為：net=newffnet=newff(PR,[S1 S2..SN1],{TF1 TF2..TFN1},BTF,BLF,PF)其中，net=newff。用于在對(duì)話框中創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入向量取值范圍的矩陣；[S1 S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；{TFl TF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。 2）newcf函數(shù)用于創(chuàng)建級(jí)聯(lián)前向BP網(wǎng)絡(luò)，newfftd函數(shù)用于創(chuàng)建一個(gè)存在輸入延遲的前向網(wǎng)絡(luò)。 神經(jīng)元上的傳遞函數(shù) 傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分。傳遞函數(shù)又稱為激活函數(shù)，必須是連續(xù)可微的。BP網(wǎng)絡(luò)經(jīng)常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。1) logsig該傳遞函數(shù)為S型的對(duì)數(shù)函數(shù)。調(diào)用格式為：A=logsig（N）info=logsig（code）其中， N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（0，1）中；2）tansig該函數(shù)為雙曲正切S型傳遞函數(shù)。調(diào)用格式為：A=tansig（N）info=tansig（code）其中，N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（1，1）之間。3）purelin該函數(shù)為線性傳遞函數(shù)。調(diào)用格式為：A=purelin（N）info=purelin（code）其中，N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，A=N。 BP網(wǎng)絡(luò)學(xué)習(xí)函數(shù)1）learngd該函數(shù)為梯度下降權(quán)值/閾值學(xué)習(xí)函數(shù)，它通過(guò)神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)效率，來(lái)計(jì)算權(quán)值或閾值的變化率。調(diào)用格式為：[dW,ls]=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)[db,ls]=learngd(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)info=learngd(code)2) learngdm函數(shù)為梯度下降動(dòng)量學(xué)習(xí)函數(shù)，它利用神經(jīng)元的輸入和誤差、權(quán)值或閾值的學(xué)習(xí)速率和動(dòng)量常數(shù)，來(lái)計(jì)算權(quán)值或閾值的變化率。 BP網(wǎng)絡(luò)訓(xùn)練函數(shù)1）train神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)，調(diào)用其他訓(xùn)練函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。該函數(shù)的調(diào)用格式為：[net,tr,Y,E,Pf,Af]=train(NET,P,T,Pi,Ai)[net,tr,Y,E,Pf,Af]=train(NET,P,T,Pi,Ai,VV,TV)2) traingd函數(shù)為梯度下降BP算法函數(shù)。traingdm函數(shù)為梯度下降動(dòng)量BP算法函數(shù)。 BP網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 問(wèn)題的提出BP網(wǎng)絡(luò)由很強(qiáng)的映射能力，主要用于模式識(shí)別分類(lèi)、函數(shù)逼近、函數(shù)壓縮等。下面將通過(guò)實(shí)例來(lái)說(shuō)明BP網(wǎng)絡(luò)在函數(shù)逼近方面的應(yīng)用。要求設(shè)計(jì)一個(gè)BP網(wǎng)絡(luò)，逼近以下函數(shù)：g(x)=1+sin(k*pi/4*x)，實(shí)現(xiàn)對(duì)該非線性函數(shù)的逼近。其中，分別令k=1，2，4進(jìn)行仿真，通過(guò)調(diào)節(jié)參數(shù)（如隱藏層節(jié)點(diǎn)個(gè)數(shù)等）得出信號(hào)的頻率與隱層節(jié)點(diǎn)之間，隱層節(jié)點(diǎn)與函數(shù)逼近能力之間的關(guān)系。 基于BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù)步驟1：假設(shè)頻率參數(shù)k=1，繪制要逼近的非線性函數(shù)的曲線。k=1。p=[1:.05:8]。t=1+sin(k*pi/4*p)。plot（p，t，39。39。)；title(39。要逼近的非線性函數(shù)39。)。xlabel(39。時(shí)間39。)。ylabel(39。非線性函數(shù)39。)。 要逼近的非線性函數(shù)曲線步驟2：網(wǎng)絡(luò)的建立應(yīng)用newff()函數(shù)建立BP網(wǎng)絡(luò)結(jié)構(gòu)。隱層神經(jīng)元數(shù)目n可以改變，暫設(shè)