【正文】 BP 神經(jīng)網(wǎng)絡(luò)定義 BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。相鄰層之間各神經(jīng)元進(jìn)行全連接，而每層各神經(jīng)元之間無(wú)連接，網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)，當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生連接權(quán)值（ Weight）。此過(guò)程反復(fù)交替進(jìn)行，直至網(wǎng)絡(luò)的全局誤差趨向給定的極小值，即完成學(xué)習(xí)的過(guò)程。這些神經(jīng)元如同人的神經(jīng)細(xì)胞一樣是互相關(guān)聯(lián)的。網(wǎng)絡(luò)的輸入層模擬的是神經(jīng)系統(tǒng)中的感覺神經(jīng)元 ， 它接收輸入樣本信號(hào)。在這個(gè)過(guò)程中 ， 誤差通過(guò)梯度下降算法 ， 分?jǐn)偨o各層的所有單元 ， 從而獲得各單元的誤差信號(hào) ， 以此誤差信號(hào)為依據(jù)修正各單元權(quán)值 ， 網(wǎng)絡(luò)權(quán)值因此被重新分布。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程周而復(fù)始地進(jìn)行著 ， 直到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度 ， 或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 BP 神經(jīng)網(wǎng)絡(luò)的信息 處理方式具有如下特點(diǎn) : 1）信息分布存儲(chǔ)。 2) 信息并行處理。 諾依曼計(jì)算機(jī)的工作速度 ， 但是在很多問題上卻可以做出快速的判斷、決策和處理 ， 這是由于人腦是一個(gè)大規(guī)模并行與串行組合的處理系統(tǒng)。 3）具有容錯(cuò)性。這與現(xiàn)代計(jì)算機(jī)的脆弱性形成鮮明對(duì)比。 BP神經(jīng)網(wǎng)絡(luò)具有初步的自適應(yīng)與自組織能力 ， 在學(xué)習(xí)或訓(xùn)練中改變突觸權(quán)值以適應(yīng)環(huán)境 ， 可以在使用過(guò)程中不斷學(xué)習(xí)完善自己的功能 ， 并且同一網(wǎng)絡(luò)因?qū)W習(xí)方式的不同可以具有不同的功能 ， 它甚至具有創(chuàng)新能力 ， 可以發(fā)展知識(shí) ， 以至超過(guò)設(shè)計(jì)者原有的知識(shí)水平。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用 BP 神經(jīng)網(wǎng)絡(luò)及其變化形式。 BP 網(wǎng)絡(luò)主要用于以下 四方面 [3]。 （ 2） 模式識(shí)別：用一個(gè)待定的輸出向量將它與輸入向量聯(lián)系起來(lái)。 （ 4） 數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲(chǔ)。理論上 ， 對(duì)于一個(gè)三層和三層以上的 BP網(wǎng)絡(luò) ， 只要隱層神經(jīng)元數(shù)目足夠多 ， 該網(wǎng)絡(luò)就能以任意精度逼近一個(gè)非線性函數(shù)。這是因?yàn)樗捎昧朔植疾⑿械男畔⑻幚矸绞?， 對(duì)信息的提取必須采用聯(lián)想的方式 ， 才能將相關(guān)神經(jīng)元全部調(diào)動(dòng)起來(lái)。這種能力使其在圖像復(fù)原、語(yǔ)言處理、模式識(shí)別等方面具有重要應(yīng)用。由于它具有強(qiáng)大的非線性處理能力 ， 因此可以較好地進(jìn)行 非線性分類 , 解決了神經(jīng)網(wǎng)絡(luò)發(fā)展史上的非線性分類難題。 BP 神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個(gè)非線性優(yōu)化問題 , 它可以在已知的約束條件下 ， 尋找一組參數(shù)組合 ， 使該組合確定的目標(biāo)函數(shù)達(dá)到最小。 由于 BP 網(wǎng)絡(luò) 訓(xùn)練中穩(wěn)定性要求學(xué)習(xí)效率很小，所以梯度下降法使得訓(xùn)練很慢。 多層神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于線性系統(tǒng)和非線性系統(tǒng)中，對(duì)于任 意函數(shù)模擬逼近。但是，雖然理論上是可行的，但實(shí)際上 BP 網(wǎng)絡(luò)并不一定總能有解。在線性網(wǎng)絡(luò)中 ， 學(xué)習(xí)率過(guò)大會(huì)導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定。和線性網(wǎng)絡(luò)不同，對(duì)于非線性多層網(wǎng)絡(luò)很難選擇很好的學(xué)習(xí)率。 非線性網(wǎng)絡(luò)的誤差面比線性網(wǎng)絡(luò)的誤差面復(fù)雜得多，問題在于多層網(wǎng)絡(luò)中非線性傳遞函數(shù) 有 多個(gè)局部最優(yōu)解。為了解決這個(gè)問題，在實(shí)際訓(xùn)練過(guò)程中，應(yīng)重復(fù)選取多個(gè)初始點(diǎn)進(jìn)行訓(xùn)練，以保證訓(xùn)練結(jié)果的全局最優(yōu)性 [11]。神經(jīng)元數(shù)目太少會(huì)造成網(wǎng)絡(luò)的不適性，而神經(jīng)元數(shù)目太多又會(huì)引起網(wǎng)絡(luò)的過(guò)適性 。 Matlab 神經(jīng)網(wǎng)絡(luò)工具箱的出現(xiàn)，更加拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。 神經(jīng)網(wǎng)絡(luò)工具箱是在 MATLAB 環(huán)境下開發(fā)出來(lái)的許多工具箱之一。這些工具箱函數(shù)主要為兩大部分。而另外一部分函數(shù)則是通用的，幾乎可以用于所有類型的神經(jīng)網(wǎng)絡(luò)，如神經(jīng)網(wǎng)絡(luò)仿真函數(shù)、初始化函數(shù)和訓(xùn)練函數(shù)等 [15]。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)工具箱函數(shù) 最新版本的神經(jīng)網(wǎng)絡(luò)工具箱幾乎涵蓋了所有的神經(jīng)網(wǎng)絡(luò)的基本常用模型，如感知器和 BP 網(wǎng)絡(luò)等。 Matlab R2020神經(jīng)網(wǎng)絡(luò)工具箱中包含了許多用于 BP 網(wǎng)絡(luò)分析與設(shè)計(jì)的函數(shù)， BP 網(wǎng)絡(luò)的常用函數(shù)如表 所示。調(diào)用格式為： =newff =newff(PR,[S1 S2..SN1],{TF1 TF2..TFN1},BTF,BLF,PF) 其中， =newff。 為創(chuàng)建的新 BP 神經(jīng)網(wǎng)絡(luò)； PR為網(wǎng)絡(luò)輸入 向量取值范圍的矩陣； [S1 S2? SNl]表示網(wǎng)絡(luò) 隱含層和輸出層神經(jīng)元的個(gè)數(shù)； {TFl TF2? TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為 ‘ tansig’ ； BTF 表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為 ‘ trainlm’ ； BLF 表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為 ‘ learngdm’ ； PF表示性能數(shù)，默認(rèn)為 ‘ mse’ 。 神經(jīng)元上的傳遞函數(shù) 傳遞函數(shù)是 BP 網(wǎng)絡(luò)的重要組成部分。 BP 網(wǎng)絡(luò)經(jīng)常采用 S 型的對(duì)數(shù)或 正切函數(shù)和線性函數(shù)。調(diào)用格式為： A=logsig（ N） info=logsig（ code） 其中， N： Q 個(gè) S 維 的輸入列向量； A：函數(shù)返回值，位于區(qū)間（ 0， 1）中； 2） tansig 該函數(shù)為雙曲正切 S 型傳遞函數(shù)。 3） purelin 該函數(shù)為線性傳遞函數(shù)。 BP 網(wǎng)絡(luò)學(xué)習(xí)函數(shù) 1） learngd 該函數(shù)為梯度下降權(quán)值 /閾值學(xué)習(xí)函數(shù)，它通過(guò)神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)效率，來(lái)計(jì)算權(quán)值或閾值的變化率。 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù) 1） train 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)，調(diào)用其他訓(xùn)練函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練 。 traingdm 函數(shù)為梯度下降動(dòng) 量 BP 算法函數(shù)。下面將通過(guò)實(shí)例來(lái)說(shuō)明 BP 網(wǎng)絡(luò)在函數(shù)逼近方面的應(yīng)用。 其中，分別令 k=1， 2， 4進(jìn)行仿真，通過(guò)調(diào)節(jié)參數(shù)（如隱藏層節(jié)點(diǎn)個(gè)數(shù)等）得出信號(hào)的頻率與隱層節(jié)點(diǎn)之間，隱層節(jié)點(diǎn)與函數(shù)逼近能力之間的關(guān)系。 函數(shù)的曲線如圖 所示 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 13 k=1。 t=1+sin(k*pi/4*p)。39。要逼近的非線性函數(shù) 39。 xlabel(39。)。非線性函數(shù) 39。 圖 要逼近的 非線性函數(shù)曲線 步驟 2： 網(wǎng)絡(luò)的建立 應(yīng)用 newff()函數(shù)建立 BP 網(wǎng)絡(luò)結(jié)構(gòu)。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為 tansig函數(shù)和 purelin 函數(shù)，網(wǎng)絡(luò)訓(xùn)練 的 算法采用 Levenberg – Marquardt 算法 trainlm。 = newff(minmax(p),[n,1],{39。 39。},39。)。 y1=sim(,p)。 plot(p,t,39。,p,y1,39。) title(39。)。時(shí)間 39。 ylabel(39。)。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 14 圖 未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果 其中 “ ” 代表要逼近的非線性函數(shù)曲線； “ ‥‥‥ ” 代表未經(jīng)訓(xùn)練的函數(shù)曲線； 因?yàn)槭褂?newff( )函數(shù)建立函數(shù)網(wǎng)絡(luò)時(shí)，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出結(jié)構(gòu)很差，根本達(dá)不到函數(shù)逼近的目的，每次運(yùn)行的結(jié)果也有時(shí)不同。將訓(xùn)練時(shí)間設(shè)置為 50，訓(xùn)練精度設(shè)置為 ，其余參數(shù)使用缺省值。 圖 訓(xùn)練 過(guò)程 =50。（網(wǎng)絡(luò)訓(xùn)練精度設(shè)置為 ） =train(,p,t)。 步驟 4： 網(wǎng)絡(luò) 測(cè)試 對(duì)于訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行仿真： ]y2=sim(,p)。 plot(p,t,39。,p,y1,39。,p,y2, 39。) title(39。)。時(shí)間 39。 ylabel(39。)。 圖 訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 其中 “ ” 代表 要逼近的 非線性函數(shù)曲線； “ ‥‥‥ ” 代表未經(jīng)訓(xùn)練的函數(shù)曲線； “ ――― ” 代表經(jīng)過(guò)訓(xùn)練的函數(shù)曲線； 從圖中可以看出，得到的曲線和原始的非線性函數(shù)曲線很接近。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 16 不同 頻率 下的逼近效果 改變非線性函數(shù)的頻率和 BP 函數(shù)隱層神經(jīng)元的數(shù)目，對(duì)于函數(shù)逼近的效果 有 一定的影響。 下面通過(guò) 改變頻率參數(shù)和 非線性函數(shù) 的 隱層神經(jīng)元數(shù)目 來(lái)加以 比較 證明 。 圖 當(dāng) n=3 時(shí) 訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 圖 當(dāng) n=6 時(shí) 訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 其中 “ ” 代表要逼近的非線性函數(shù)曲線； “ ‥‥‥ ” 代表未經(jīng)訓(xùn)練的函數(shù)曲線； “ ――― ” 代表經(jīng)過(guò)訓(xùn)練的函數(shù)曲線； （ 2） 頻率參數(shù)設(shè)為 k=4， 當(dāng) 隱層神經(jīng)元數(shù)目 分別取 n= n=8 時(shí) ， 得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖， 所示。 圖 當(dāng) n=10 時(shí) 訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 圖 當(dāng) n=15 時(shí) 訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 其中 “ ” 代表要逼近的非線性函數(shù)曲線； “ ‥‥‥ ” 代表未經(jīng)訓(xùn)練的函數(shù)曲線； “ ――― ” 代表經(jīng)過(guò)訓(xùn)練的函數(shù)曲線； 討論 通過(guò) 上述仿真結(jié)果 可知，當(dāng) k=1， n=3 時(shí)； k=2， n=6 時(shí)； k=4， n=8 時(shí)； k=8， n=15 時(shí)， BP 神經(jīng)網(wǎng)絡(luò)分別對(duì)函數(shù)取得了較好的逼近效果。 改變 BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，可以改變 BP 神經(jīng)網(wǎng)絡(luò)對(duì)于函數(shù)的逼近效果。 BP 網(wǎng)絡(luò) 在 樣本 含量估計(jì) 中 的應(yīng)用 問題的提出 這是一個(gè)神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)中應(yīng)用的例子。共采集了 264 位病人的血液樣本，對(duì)其光譜分析共發(fā)現(xiàn) 21 種光譜波長(zhǎng)。 （ 1） 將數(shù)據(jù)導(dǎo)入 Matlab 工作空間 ，進(jìn)行主要成分的分析。 load choles_all %matlab 中有一個(gè) 文件它包含了本問題需要的原始數(shù)據(jù) [pn,meanp,stdp,tn,meant,stdt]=prestd(p,t)。% 利用 prepca 函數(shù)對(duì)歸一化 后的樣本數(shù)據(jù)進(jìn)行主元分析 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 18 這里剔除了一些數(shù)據(jù)，只保留了所占 %的主要成分?jǐn)?shù)據(jù)。 [R,Q]=size(ptrans) R = 4 Q = 264 從中可以看出通過(guò)主要成分分析，輸入數(shù)據(jù)從 21 組減少到 4 組，由此可見原始數(shù)據(jù)有著很大的冗余度。將數(shù)據(jù)的 1/4 用于驗(yàn)證、 1/4 用于測(cè)試，其余的用于訓(xùn)練網(wǎng)絡(luò)。 iitst=2:4:Q。 iitr=[1:4:Q 3:4:Q]