【文章內(nèi)容簡介】 點i，存在一個閾值qi；　　(4) 對于每個節(jié)點i，定義一個激活函數(shù)fi；對于最一般的情況，此函數(shù)的形式為： （21）人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)（或稱拓?fù)浣Y(jié)構(gòu)）是指單個神經(jīng)元之間的連接模式，它是構(gòu)造神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)誘發(fā)偏差的主要來源。從互連結(jié)構(gòu)的角度（如圖21）：圖21 人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)（1）單層前饋網(wǎng)絡(luò)根據(jù)圖22，輸入向量為X=(x1,x2,…,xn)；輸出向量為Y=(y1,y2,…,ym)；輸入層各個輸入到相應(yīng)神經(jīng)元的連接權(quán)值分別是wij，i=1,2,..,n，j=1,2,.., m。若假設(shè)各神經(jīng)元的閾值分別是θj，j=1,2,…,m，則各神經(jīng)元的輸出yj, j=1,2,..,m分別為 （22）其中，由所有連接權(quán)值wji構(gòu)成的連接權(quán)值矩陣W為： （23）在實際應(yīng)用中，該矩陣是通過大量的訓(xùn)練示例學(xué)習(xí)而形成的。圖22 單層感知器 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)主要通過兩種學(xué)習(xí)算法進行訓(xùn)練，即指導(dǎo)式(有師)學(xué)習(xí)算法和非指導(dǎo)式(無師)學(xué)習(xí)算法。此外，還存在第三種學(xué)習(xí)算法，即強化學(xué)習(xí)算法；可把它當(dāng)做有師學(xué)習(xí)的一種特例。(l)有師學(xué)習(xí)。有師學(xué)習(xí)算法能夠根據(jù)期望的和實際的網(wǎng)絡(luò)輸出(對應(yīng)于給定輸入)間的差來調(diào)整神經(jīng)元間連接的強度或權(quán)。因此，有師學(xué)習(xí)需要有個老師或?qū)焷硖峁┢谕蚰繕?biāo)輸出信號。有師學(xué)習(xí)算法的例子包括d規(guī)則、廣義規(guī)則或反向傳播算法以及 LvQ算法等。(2)無師學(xué)習(xí)。無師學(xué)習(xí)算法不需要知道期望輸出。在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動地適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集。無師學(xué)習(xí)算法的例子包括Kohonen算法和呷enter一Grossberg自適應(yīng)諧振理論(ART)等。(3)強化學(xué)習(xí)如前所述，強化學(xué)習(xí)是有師學(xué)習(xí)的特例。它不需要老師給出目標(biāo)輸出。強化學(xué)習(xí)算法采用一個“評論員”來評價與給定輸入相對應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度(質(zhì)量因數(shù))。 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一個具有三層或者三層以上的階層神經(jīng)網(wǎng)絡(luò)，上下層之間的各種神經(jīng)元實行權(quán)連接，而各層之間神經(jīng)元無連接。最基本的BP神經(jīng)網(wǎng)絡(luò)是三層前饋網(wǎng)絡(luò)，即輸入層、隱含層和輸出層。BP網(wǎng)絡(luò)的結(jié)構(gòu)如圖23所示。當(dāng)一對學(xué)習(xí)樣本提供給網(wǎng)絡(luò)后，神經(jīng)元的激活值從輸入層經(jīng)各中間層向輸出層傳播，在輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)。接下來，按減小目標(biāo)輸出與實際輸出之間誤差的方向，從輸出層反向經(jīng)過各中間層回到輸入層，從而逐層修正各連接權(quán)值，這種算法稱為“誤差逆?zhèn)鞑ニ惴ā?，即BP算法。隨著這種誤差逆向的傳播修正不斷進行，網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率也不斷上升[10]。圖23 BP網(wǎng)絡(luò)結(jié)構(gòu)BP算法屬于δ算法,是一種監(jiān)督式(有導(dǎo)師)的學(xué)習(xí)算法。其基本思想是利用最小二乘法,即LMS算法,采用梯度搜索技術(shù),以起始網(wǎng)絡(luò)的實際輸出值與期望輸出值之間的誤差平方和為最小。對于q個輸入學(xué)習(xí)樣本:，已知與其對應(yīng)的輸出樣本:,學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實際輸出，與目標(biāo)矢量之間的誤差來修改其權(quán)值,使與期望盡可能地接近。即：使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。它是通過連續(xù)不斷地在相對于誤差函數(shù)斜率下降的方向上計算網(wǎng)絡(luò)權(quán)值和偏差的變化而逐漸擬合目標(biāo)的。每一次權(quán)值和偏差的變化都與網(wǎng)絡(luò)誤差的影響成正比,并以反方向傳播的方式傳遞到每一層[11]。BP網(wǎng)絡(luò)在結(jié)構(gòu)上類似于多層感知器，是一種多層前饋神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)是一種基于BP算法（誤差反傳算法）的多層前向網(wǎng)絡(luò)，它的主要特點是信號前向傳遞，即誤差反向傳播。BP網(wǎng)絡(luò)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是多層前向網(wǎng)絡(luò)，該網(wǎng)絡(luò)由三部分構(gòu)成：輸入層、隱含層和輸出層。隱含層大于等于一層，相鄰兩層的各個神經(jīng)元彼此相連，且對應(yīng)地有一個連接權(quán)值，形成有向無環(huán)圖的前向網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如圖24所示。在BP網(wǎng)絡(luò)中，同層節(jié)點之間不存在相互連接，層與層之間多采用互聯(lián)方式，且各層的連接權(quán)值可調(diào)。BP網(wǎng)絡(luò)實現(xiàn)了明斯基的多層網(wǎng)絡(luò)的設(shè)想，是當(dāng)今神經(jīng)網(wǎng)絡(luò)模型中使用最為廣泛的一種。BP神經(jīng)網(wǎng)絡(luò)是一種單向傳播的神經(jīng)網(wǎng)絡(luò)，輸入信號從輸入層節(jié)點依次傳過各隱含層節(jié)點，最后傳到輸出層節(jié)點。每層節(jié)點的輸出只影響下一層節(jié)點的輸出。所以，可將BP神經(jīng)網(wǎng)絡(luò)看作是一個從輸入到輸出的高度非線性映射，即F: Rn → Rm,f(X) = Y。對于樣本集合：輸入xi（屬于Rn）和輸出yi（屬于Rm），那么我們可以認(rèn)為存在某一映射g使得g（xi）= yi（i=1，2，……，n）成立?，F(xiàn)在要求出一個映射f，使得在某種意義下，f是g的最佳擬合。BP神經(jīng)網(wǎng)絡(luò)通過對簡單的非線性函數(shù)進行數(shù)次復(fù)合，可以近似復(fù)雜的函數(shù)。通過迭代處理的方法，不斷調(diào)整連接神經(jīng)元的網(wǎng)絡(luò)權(quán)重，使得最終輸出結(jié)果和預(yù)期結(jié)果的誤差最小。在圖24中，給定一個樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}，BP算法是逐一根據(jù)樣本集中的的樣本(Xk,Yk)計算出實際輸出Ok及其誤差E1，然后對各層神經(jīng)元的權(quán)值W(1)，W(2)，…，W(L)各做一次調(diào)整，重復(fù)這個循環(huán)，直到∑Epε（所有樣本的誤差之和）。然后用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導(dǎo)層的誤差，再用輸出層前一層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程。圖24 BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)實現(xiàn)BP算法的時候，需要用到MATLAB語言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的工具函數(shù)，本文所用到的工具函數(shù)有：(1）神經(jīng)元傳遞函數(shù)：①tansing（）函數(shù)，它是一雙曲正切S型（sigmoid）傳遞函數(shù)，用于將神經(jīng)元上范圍為（∞，+∞）的輸入值映射到區(qū)間（1，+1）上。利用BP算法訓(xùn)練的隱含層神經(jīng)元中經(jīng)常用到它；②purelin（）函數(shù)，它是線性傳遞函數(shù)，用于BP算法訓(xùn)練的輸出層神經(jīng)元。(2）網(wǎng)絡(luò)建立函數(shù)：newff（）函數(shù)，用于建立一個前饋BP神經(jīng)網(wǎng)絡(luò)。(3）網(wǎng)絡(luò)訓(xùn)練函數(shù)：train（）函數(shù)，它用于訓(xùn)練建立的BP神經(jīng)網(wǎng)絡(luò)。(4）網(wǎng)絡(luò)仿真函數(shù)：sim（）函數(shù)，它用于仿真訓(xùn)練前后的BP神經(jīng)網(wǎng)絡(luò)。 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法（1）輸入和輸出層的設(shè)計 。輸入的神經(jīng)元可以根據(jù)需要求解的問題和數(shù)據(jù)表示方式確定。（2）輸出層的維數(shù)可根據(jù)使用者的要求來確定。如果將BP網(wǎng)絡(luò)用做分類器，類別模式一共有個，那么輸出層神經(jīng)元的個數(shù)為或。（3）隱含層的設(shè)計。