【正文】 元的主要接受器，它主要用來(lái)接受信息。突觸：是軸突的終端，是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。 BP神經(jīng)網(wǎng)絡(luò)原理BP網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱層和輸出層組成。層與層之間有兩種信號(hào)在流通：一種是工作信號(hào)(用實(shí)線表示)，它是施加輸入信號(hào)后向前傳播直到在輸出端產(chǎn)生實(shí)際輸出的信號(hào)，是輸入和權(quán)值的函數(shù)。BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程程由前向計(jì)算過(guò)程和誤差反向傳播過(guò)程組成。如輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差反向傳播過(guò)程，誤差信號(hào)沿原來(lái)的連接通路返回，逐次調(diào)整網(wǎng)絡(luò)各層的權(quán)值和閾值，直至到達(dá)輸入層，再重復(fù)向計(jì)算。 圖28　典型Bp網(wǎng)絡(luò)模型生物神經(jīng)元信號(hào)的傳遞是通過(guò)突觸進(jìn)行的一個(gè)復(fù)雜的電化學(xué)等過(guò)程, 在人工神經(jīng)網(wǎng)絡(luò)中是將其簡(jiǎn)化模擬成一組數(shù)字信號(hào)通過(guò)一定的學(xué)習(xí)規(guī)則而不斷變動(dòng)更新的過(guò)程，這組數(shù)字儲(chǔ)存在神經(jīng)元之間的連接權(quán)重。輸入信號(hào)經(jīng)輸入層輸入， 通過(guò)隱含層的復(fù)雜計(jì)算由輸出層輸出，輸出信號(hào)與期望輸出相比較，若有誤差，再將誤差信號(hào)反向由輸出層通過(guò)隱含層處理后向輸入層傳播。此過(guò)程完成后， 輸入信號(hào)再次由輸入層輸入網(wǎng)絡(luò)，重復(fù)上述過(guò)程。權(quán)值不斷調(diào)整的過(guò)程就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。人腦存儲(chǔ)信息的特點(diǎn)是利用突觸效能的變化來(lái)調(diào)整存儲(chǔ)內(nèi)容， 即信息存儲(chǔ)在神經(jīng)元之間的連接強(qiáng)度的分布上， BP神經(jīng)網(wǎng)絡(luò)模擬人腦的這一特點(diǎn)，使信息以連接權(quán)值的形式分布于整個(gè)網(wǎng)絡(luò)。人腦神經(jīng)元之間傳遞脈沖信號(hào)的速度遠(yuǎn)低于馮BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理的特征，大大提高了網(wǎng)絡(luò)功能。生物神經(jīng)系統(tǒng)部分不嚴(yán)重?fù)p傷并不影響整體功能，BP神經(jīng)網(wǎng)絡(luò)也具有這種特性，網(wǎng)絡(luò)的高度連接意味著少量的誤差可能不會(huì)產(chǎn)生嚴(yán)重的后果，部分神經(jīng)元的損傷不破壞整體，它可以自動(dòng)修正誤差。4）具有自學(xué)習(xí)、自組織、自適應(yīng)的能力。BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)的選擇：基于BP算法的神經(jīng)元網(wǎng)絡(luò)中各層節(jié)點(diǎn)數(shù)目的選擇對(duì)于網(wǎng)絡(luò)性能的影響很大，隱含層的神經(jīng)元數(shù)目選擇往往需要根據(jù)經(jīng)驗(yàn)和多次試驗(yàn)來(lái)確定，若隱含層單元數(shù)目選擇太多會(huì)致使學(xué)習(xí)時(shí)間過(guò)長(zhǎng)、誤差不一定最佳，也會(huì)導(dǎo)致容錯(cuò)性差、不能識(shí)別以前沒有看到的樣本，節(jié)點(diǎn)的數(shù)目要選擇恰當(dāng)。一種是開始放入足夠的隱含單元，然后把學(xué)習(xí)后的那些不起作用的隱含層單元逐步去掉，一直減少到不可收縮為止?？梢愿鶕?jù)以下公式選擇最佳隱含層神經(jīng)元的數(shù)目。(3) ，其中，m為輸出節(jié)點(diǎn)數(shù)。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的選擇：學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練所產(chǎn)生的權(quán)值的變化量。一般要求是：當(dāng)訓(xùn)練到誤差曲面得平坦區(qū)時(shí)，為加快收斂應(yīng)使 增大；當(dāng)訓(xùn)練到誤差曲面的變化劇烈區(qū)時(shí)，為防止過(guò)學(xué)習(xí)(使誤差增加)，應(yīng)使上述值減小。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性，～。 BP神經(jīng)網(wǎng)絡(luò)的主要功能目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精華。（1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)以逼近一個(gè)函數(shù)。（3）分類：把輸入向量所定義的合適方式進(jìn)行分類。 BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)和缺點(diǎn)優(yōu)點(diǎn)：1)這使得其特別適合于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題，即BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性映射能力。2)即BP神經(jīng)網(wǎng)絡(luò)具有高度自學(xué)習(xí)和自適應(yīng)的能力。3)也即BP神經(jīng)網(wǎng)絡(luò)具有將學(xué)習(xí)成果應(yīng)用于新知識(shí)的能力。4)即BP神經(jīng)網(wǎng)絡(luò)具有一定的容錯(cuò)能力。人工神經(jīng)網(wǎng)絡(luò)（ArtificialNetwork）又稱連接機(jī)模型，是在現(xiàn)代神經(jīng)學(xué)、生物學(xué)、心理學(xué)等學(xué)科研究的基礎(chǔ)上產(chǎn)生的，它反映了生物神經(jīng)系統(tǒng)處理外界事物的基本過(guò)程，是在模擬人腦神經(jīng)組織的基礎(chǔ)上發(fā)展起來(lái)的計(jì)算系統(tǒng)，是由大量處理單元通過(guò)廣泛互聯(lián)而構(gòu)成的網(wǎng)絡(luò)體系，它具有生物神經(jīng)系統(tǒng)的基本特征，在一定程度上反映了人腦功能的若干反映，是對(duì)生物系統(tǒng)的某種模擬，具有大規(guī)模并行、分布式處理、自組織、自學(xué)習(xí)等優(yōu)點(diǎn)，被廣泛應(yīng)用于語(yǔ)音分析、圖像識(shí)別、數(shù)字水印、計(jì)算機(jī)視覺等很多領(lǐng)域，取得了許多突出的成果。神經(jīng)網(wǎng)絡(luò)的運(yùn)用展開了新的領(lǐng)域，解決其它模式識(shí)別不能解決的問(wèn)題，其分類功能特別適合于模式識(shí)別與分類的應(yīng)用。它具備神經(jīng)網(wǎng)絡(luò)的普遍優(yōu)點(diǎn)，但它也不是非常完美的,這里對(duì)它的優(yōu)缺點(diǎn)展開一些討論。首先BP神經(jīng)網(wǎng)絡(luò)具有以下優(yōu)點(diǎn)：非線性映射能力：BP神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，數(shù)學(xué)理論證明三層的神經(jīng)網(wǎng)絡(luò)就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。即BP神經(jīng)網(wǎng)絡(luò)具有高度自學(xué)習(xí)和自適應(yīng)的能力。（3）也即BP神經(jīng)網(wǎng)絡(luò)具有將學(xué)習(xí)成果應(yīng)用于新知識(shí)的能力。（4）容錯(cuò)能力：BP神經(jīng)網(wǎng)絡(luò)在其局部的或者部分的神經(jīng)元受到破壞后對(duì)全局的訓(xùn)練結(jié)果不會(huì)造成很大的影響，也就是說(shuō)即使系統(tǒng)在受到局部損傷時(shí)還是可以正常工作的。但是隨著應(yīng)用范圍的逐步擴(kuò)大，BP神經(jīng)網(wǎng)絡(luò)也暴露出了越來(lái)越多的缺點(diǎn)和不足，比如：BP神經(jīng)網(wǎng)絡(luò)為一種局部搜索的優(yōu)化方法，它要解決的是一個(gè)復(fù)雜非線性化問(wèn)題，網(wǎng)絡(luò)的權(quán)值是通過(guò)沿局部改善的方向逐漸進(jìn)行調(diào)整的，這樣會(huì)使算法陷入局部極值，權(quán)值收斂到局部極小點(diǎn)，從而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練失敗。以上種種，導(dǎo)致了BP神經(jīng)網(wǎng)絡(luò)算法收斂速度慢的現(xiàn)象。（3）BP網(wǎng)絡(luò)結(jié)構(gòu)選擇過(guò)大，訓(xùn)練中效率不高，可能出現(xiàn)過(guò)擬合現(xiàn)象，造成網(wǎng)絡(luò)性能低，容錯(cuò)性下降，若選擇過(guò)小，則又會(huì)造成網(wǎng)絡(luò)可能不收斂。因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)重要的問(wèn)題。（5）BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)能力和訓(xùn)練能力的矛盾問(wèn)題：預(yù)測(cè)能力也稱泛化能力或者推廣能力，而訓(xùn)練能力也稱逼近能力或者學(xué)習(xí)能力。但這種趨勢(shì)不是固定的，其有一個(gè)極限，當(dāng)達(dá)到此極限時(shí)，隨著訓(xùn)練能力的提高，預(yù)測(cè)能力反而會(huì)下降，也即出現(xiàn)所謂“過(guò)擬合”現(xiàn)象。BP神經(jīng)網(wǎng)絡(luò)樣本依賴性問(wèn)題：網(wǎng)絡(luò)模型的逼近和推廣能力與學(xué)習(xí)樣本的典型性密切相關(guān)，而從問(wèn)題中選取典型樣本實(shí)例組成訓(xùn)練集是一個(gè)很困難的問(wèn)題。Matlab神經(jīng)網(wǎng)絡(luò)工具箱的出現(xiàn)，更加拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。神經(jīng)網(wǎng)絡(luò)工具箱是在MATLAB環(huán)境下開發(fā)出來(lái)的許多工具箱之一。這些工具箱函數(shù)主要為兩大部分。而另外一部分函數(shù)則是通用的，幾乎可以用于所有類型的神經(jīng)網(wǎng)絡(luò)，如神經(jīng)網(wǎng)絡(luò)仿真函數(shù)、初始化函數(shù)和訓(xùn)練函數(shù)等。 MATLAB工具箱介紹MATLABMathWorks公司開發(fā)的用于概念設(shè)計(jì),算法開發(fā),建模仿真,實(shí)時(shí)實(shí)現(xiàn)的理想的集成環(huán)境。MATLABMATLAB—在MATLAB產(chǎn)品家族中，MATLAB工具箱是整個(gè)體系的基座，它是一個(gè)語(yǔ)言編程型（M語(yǔ)言）開發(fā)平臺(tái)，提供了體系中其他工具所需要的集成環(huán)境（比如M語(yǔ)言的解釋器）。其框圖化的設(shè)計(jì)方式和良好的交互性，對(duì)工程人員本身計(jì)算機(jī)操作與編程的熟練程度的要求降到了最低，工程人員可以把更多的精力放到理論和技術(shù)的創(chuàng)新上去。Stateflow，通過(guò)Stateflow，用戶可以用圖形化的方式描述事件驅(qū)動(dòng)系統(tǒng)的邏輯行為，并無(wú)縫的結(jié)合到Simulink的動(dòng)態(tài)系統(tǒng)仿真中。調(diào)用格式為：net=newffnet=newff(PR,[S1 S2..SN1],{TF1 TF2..TFN1},BTF,BLF,PF)net=newff。net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入向量取值范圍的矩陣；[S1 S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；{TFl TF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。 神經(jīng)元上的傳遞函數(shù)傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分。BP網(wǎng)絡(luò)經(jīng)常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。調(diào)用格式為：A=logsig（N）info=logsig（code）其中， N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（0，1）中；2）tansig該函數(shù)為雙曲正切S型傳遞函數(shù)。3）purelin該函數(shù)為線性傳遞函數(shù)。 BP網(wǎng)絡(luò)學(xué)習(xí)函數(shù)1）learngd該函數(shù)為梯度下降權(quán)值/閾值學(xué)習(xí)函數(shù)，它通過(guò)神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)效率，來(lái)計(jì)算權(quán)值或閾值的變化率。 BP網(wǎng)絡(luò)訓(xùn)練函數(shù)1）train神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)，調(diào)用其他訓(xùn)練函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。traingdm函數(shù)為梯度下降動(dòng)量BP算法函數(shù)。下面將通過(guò)實(shí)例來(lái)說(shuō)明BP網(wǎng)絡(luò)在函數(shù)逼近方面的應(yīng)用。其中，分別令k=8，10，12進(jìn)行仿真，通過(guò)調(diào)節(jié)參數(shù)（如隱藏層節(jié)點(diǎn)個(gè)數(shù)等）得出信號(hào)的頻率與隱層節(jié)點(diǎn)之間，隱層節(jié)點(diǎn)與函數(shù)逼近能力之間的關(guān)系。函數(shù)的曲線如圖31所示%樣本選取k=8。y=1+sin(k*pi/4*x)。xlabel(39。)。y39。title(39。)。隱層神經(jīng)元數(shù)目n可以改變，暫設(shè)為n=8，輸出層有一個(gè)神經(jīng)元。%網(wǎng)絡(luò)仿真n=8。tansig39。tansig39。purelin39。traingdx39。%創(chuàng)建神經(jīng)網(wǎng)絡(luò)y1=sim(net,x)。plot(x,y,39。,x,y1,39。)。仿真結(jié)果與非線性函數(shù)39。xlabel(39。)。y39。同時(shí)繪制網(wǎng)絡(luò)輸出曲線，并與原函數(shù)相比較，結(jié)果如圖32“” 代表要逼近的非線性函數(shù)曲線 “——” 代表未經(jīng)訓(xùn)練的函數(shù)曲線 圖32 網(wǎng)絡(luò)輸出曲線圖因?yàn)槭褂胣ewff( )函數(shù)建立函數(shù)網(wǎng)絡(luò)時(shí)，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出結(jié)構(gòu)很差，根本達(dá)不到函數(shù)逼近的目的，每次運(yùn)行的結(jié)果也有時(shí)不同。將訓(xùn)練時(shí)間設(shè)置為50，其余參數(shù)使用缺省值。%網(wǎng)絡(luò)訓(xùn)練=100。%神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)誤差=。%兩次顯示之間的訓(xùn)練步數(shù)net=train(net,x,y)。次數(shù)39。ylabel(39。)。圖33 將未經(jīng)訓(xùn)練網(wǎng)絡(luò)進(jìn)行訓(xùn)練的訓(xùn)練過(guò)程 從以上結(jié)果可以看出，網(wǎng)絡(luò)訓(xùn)練速度很快。plot(x,y,39。,x,y1,39。,x,y2,39。)。原函數(shù)與網(wǎng)絡(luò)訓(xùn)練前后的仿真結(jié)果比較39。xlabel(39。)。y39。text(,39。)。訓(xùn)練前網(wǎng)絡(luò)的仿真輸出y139。text(,39。)。網(wǎng)絡(luò)非線性程度越高，對(duì)于BP網(wǎng)絡(luò)的要求越高，則相同的網(wǎng)絡(luò)逼近效果要差一些；隱層神經(jīng)元的數(shù)目對(duì)于網(wǎng)絡(luò)逼近效果也有一定影響，一般來(lái)說(shuō)隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強(qiáng)。（1）頻率參數(shù)設(shè)為k=8，當(dāng)隱層神經(jīng)元數(shù)目分別取n=1n=16時(shí)，得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖35所示。 當(dāng)n=16時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 當(dāng)n=18時(shí)訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果圖36 當(dāng)k=10時(shí)，網(wǎng)絡(luò)輸出的結(jié)果圖 （3） 頻率參數(shù)設(shè)為k=12，當(dāng)隱層神經(jīng)元數(shù)目分別取n=n=25時(shí)，得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖37所示。由此可見，n取不同的值對(duì)函數(shù)逼近的效果有很大的影響。隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強(qiáng)。輸入層和輸出層神經(jīng)元個(gè)數(shù)為1，只有一個(gè)隱含層，其個(gè)數(shù)根據(jù)上述的設(shè)計(jì)經(jīng)驗(yàn)公式和本例的實(shí)際情況，選取916之間。下面是相關(guān)MATLAB程序段：%選取輸入變量x取值范圍x=4::4。%隱含層的神經(jīng)元數(shù)目范圍s=9:16。%選取不同的隱含層神經(jīng)元個(gè)數(shù)，進(jìn)行網(wǎng)絡(luò)測(cè)試for i=1:8 %建立前向型BP神經(jīng)網(wǎng)絡(luò)，輸入層和隱含層激勵(lì)函數(shù)為tansig，輸出層為purelin %訓(xùn)練函數(shù)為trainlm，也是默認(rèn)函數(shù)net=newff(minmax(x),[1,s(i),1],{39。,39。,39。},39。)。%=。%對(duì)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真y2=sim(net,x)。 res(i)=norm(err)。也可以看出并非隱含層神經(jīng)元的數(shù)目越多，網(wǎng)絡(luò)的性能就越好。MATLAB程序段如下：x=4::4。%trainlm函數(shù)可以選擇替換net=newff(minmax(x),[1,15,1],{39。,39。,39。},39。)。=。y2=sim(net,x)。res=norm(err)。hold onplot(x,y2,39。)。如圖38。 圖39 增加動(dòng)量法的訓(xùn)練過(guò)程以及結(jié)果（原圖藍(lán)色線，仿真圖+號(hào)線）彈性BP算法（trainrp）如圖310 圖310 彈性BP算法的訓(xùn)練過(guò)程以及結(jié)果（原圖藍(lán)色線，仿真圖+號(hào)線）動(dòng)量及自適應(yīng)學(xué)習(xí)速率法（traingdx）如圖311。 圖312 共軛梯度法的訓(xùn)練過(guò)程以及結(jié)果（原圖藍(lán)色線，仿真圖+號(hào)線）LevenbergMarquardt算法（trainlm）如圖313。從仿真結(jié)果和均方誤差綜合來(lái)看，只有LM算法達(dá)到了目標(biāo)誤差，可見對(duì)高要求的誤差來(lái)說(shuō)，LM算法的優(yōu)勢(shì)要明顯的多，其余均未達(dá)到目標(biāo)誤差；從均方誤差的效果來(lái)看，所仿真的BP算法的優(yōu)劣（從優(yōu)到劣）順序依次為L(zhǎng)M算法、共軛梯度法、彈性BP算法、動(dòng)量及自適應(yīng)學(xué)習(xí)速率法、增加動(dòng)量法、標(biāo)準(zhǔn)BP算法。從誤差曲線來(lái)看，LM算法達(dá)到了目標(biāo)誤差（較高的誤差），標(biāo)準(zhǔn)BP算法的誤差曲線較粗，是因?yàn)檩^小范圍振蕩產(chǎn)生