【正文】 始 25 void wTrain() { int k,j,i,ct=0。 printf(It is time to training!\n)。 printf(\n)。 winput()。 } for (k=0。i++) { wIV[i]=wIP[i][k]。 26 } wforward()。 } wbackwd()。amp。*/ exit(1)。jwIN。iwON。 } fprintf(wfpwt,%e,%e,%e\n,wsto[i],wdsto[i],wdsto1[i])。 } for(i=0。 fprintf(wfperr,%e\n,err[i])。 } 學(xué)習(xí)結(jié)果的判別 當每次循環(huán)記憶訓(xùn)練結(jié)束后，都要進行學(xué)習(xí)結(jié)果的判別。 在網(wǎng)絡(luò)的學(xué)習(xí)階段，通過調(diào)整所有連接權(quán)和閾值使系統(tǒng)的平均誤差 E 達到最小， 訓(xùn)練結(jié)束。 float A,B,y。 return (y)。 /*printf(Testing!\n)。 } for (i=0。j++) { 29 fscanf(wfpwt,%e,%e,%e,amp。 } fscanf(wfpwt,%e,%e,%e,amp。 } for (i=0。j++) { fscanf(wfpwt,%e,%e,%e,amp。 } fscanf(wfpwt,%e,%e,%e,amp。 } fclose(wfpwt)。 } if ((wfptest=fopen(wszTest,r))==NULL) { printf(Can39。t open file %s\n,wszArea)。i++) { 30 fscanf(wfparea,%f%f%f%f,amp。wymax[i])。jwIN。 float l=wymax[j]。 wIT[j][i]=wpfMap(x,m,n,h,l)。 float n=wxmax[wIN+k]。wDT[k][i])。iwON。k++) 31 { for (i=0。iwON。iwON。 float l=wymax[wIN+i]。 wD[i]=wpbMap(x,m,n,h,l)。 fprintf(wfpout,%\t,(wD[i]wOV[i])/wD[i])。*/ 32 exit(1)。 err[i]=(float)sqrt(err[i])。 fclose(wfptest)。得到如下程序 : void wpre() { int k,j,i。*/ if ((wfpwt=fopen(wszWt,r))==NULL) { printf(Can39。iwHN。ww[j][i],amp。wsth[i],amp。iwON。wv[j][i],amp。jwHN。wdsth1[i])。wdw1[j][i])。jwIN。 exit(1)。 float x。 fclose(wfpout)。 /*printf(循環(huán) %4d 次后 err[%d]為 : %e\n,ct,i,err[i])。iwON。 } if ((wfperr=fopen(wszerr,w))==NULL) { /* printf(Can39。 fprintf(wfpout,%\t,wOV[i])。 wOV[i]=wpbMap(x,m,n,h,l)。 float n=wxmax[wIN+i]。 } wforward()。i++) { wIV[i]=wIT[i][k]。 } for (k=0。 wDT[k][i]=wpfMap(x,m,n,h,l)。 float l=wymax[wIN+k]。kwON。wIT[j][i])。 float n=wxmax[j]。iwTN。wxmax[i],amp。 } for (i=0。 exit(1)。t write output data file:%s!,wszOut)。wdsto[i],amp。wdv[j][i],amp。i++) { for (j=0。wdsth[i],amp。wdw[j][i],amp。i++) { for (j=0。t open Weight data file:%s!,wszWt)。 float err[wON]。 B=(wxmax*wyminwxmin*wymax)/(wxmaxwxmin)。 28 一些數(shù)據(jù)不止一個數(shù)量級，存在奇異樣本數(shù)據(jù)，訓(xùn)練前要對輸入?yún)?shù)進 行歸一化處理。如果小到允許的程度，就可以結(jié)束這個學(xué)習(xí)過程，否則還要進 行循環(huán)訓(xùn)練。*/ } fclose(wfperr)。i++) { err[i]=err[i]/(wPN*wON)。t write Weight data file:%s!,wszWt)。jwHN。 } fprintf(wfpwt,%e,%e,%e\n,wsth[i],wdsth[i],wdsth1[i])。iwHN。 if ((wfpwt=fopen(wszWt,w))==NULL) { /*printf(Can39。 } while (ctwMAXIT)。iwON。iwON。k++) { for (i=0。iwON。 printf(Please wait patiently!\n)。 printf(\n)。 printf(\n)。 } } 循環(huán)記憶訓(xùn)練 為使網(wǎng)絡(luò)的輸出誤差趨于極小值，對 BP 網(wǎng)絡(luò)輸入的每一組訓(xùn)練模式，一般要經(jīng)過數(shù)百次甚至上萬次的循環(huán)記憶訓(xùn)練，才能使網(wǎng)絡(luò)記住這一模式。 wdw1[i][j]=wdw[i][j]。iwIN。 wdsto1[j]=wdsto[j]。 wv[i][j]+=wdv[i][j]。j++) { for (i=0。j++) { sum+=wdto[j]*wv[i][j]。iwHN。 for (i=0。 j =1， 2， … ， p t =1， 2， … ， q k=1， 2， … ， m 中間層至輸入層的校正量為 ..kkij j iW e a??? （ ） . kjje???? （ ） 式中： kje ——中間層 j 單元的校正誤差。 這里的校正是從后向前進行的，所以叫作誤差逆?zhèn)鞑?，計算時是從輸出層到中間層，再從中間層到輸入層。j++) { sum+=wv[j][i]*wHV[j]。iwON。j++) { sum+=ww[j][i]*wIV[j]。iwHN。 利用以上各式就可以計算出一個輸入模式的順傳播過程。 與輸入模式相對應(yīng)的希望輸出為 12[]k k kkqY y y y? ， ， ... ， （ q —輸出層單元數(shù)）。特別是它的數(shù)學(xué)意義明確、步驟分明的學(xué)習(xí)算法，更使其具有廣泛的應(yīng)用前景。然后，將減少希望輸出與實際輸出誤差的原則，從輸出層經(jīng)各中間層、最后回到輸入層逐層修正各連接權(quán)。主要是對數(shù)據(jù)的正向傳播和誤差數(shù)據(jù)的反向傳播。采用平方型誤差函數(shù)，于是得到第 p 個樣本的誤差 Ep： 21 )(21 pjpjmj ytp ??? ?Ｅ （ ） 式中： pjt 為期望輸出。)，輸出層的傳遞函數(shù)為 f2(若在輸出層得不到期望 的輸出，則轉(zhuǎn)向誤差信號的反向傳播流程。 第 j 個神經(jīng)元的凈輸入值 Sj 為： jjijini bxwxw ????? ??1js 圖 BP 神經(jīng)元 其中： Tni xxxxX ]. . .. . .[ 21? ， ]......[ 21 jnjijjj wW ? 若視 1x0? ， jj bw?0 ，即令 x 及 jw 包括 ox 及 0jw ，則 Tnxxxxx ]...[ 210? ， ]. . . .. . .[ 210 jnjijjj j ? 于是節(jié)點 j 的凈輸入 Sj 可表示為： xwxws jijinij ??? ??? 0 凈輸入 Sj 通過傳遞函數(shù)（ Transfer Function） f(周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。這種網(wǎng)絡(luò)的可靠性及成熟性可以滿足工程應(yīng)用的要求。是在生物神經(jīng)細胞的基礎(chǔ)上建立起來的。另類是無導(dǎo)師學(xué)習(xí)：學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息。這一過? 12 程稱為神經(jīng)網(wǎng)絡(luò)的學(xué) 習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。突觸的形成、穩(wěn)定與修飾均與刺激有關(guān)，隨著外界給予的刺激性質(zhì)不同，能形成和改變神經(jīng)元間的突觸聯(lián)系。 關(guān)于學(xué)習(xí)的神經(jīng)機制，涉及神經(jīng)元如何分布、處理和存儲信息。 （ 2）根據(jù)神經(jīng)網(wǎng)絡(luò)內(nèi)部信息的傳遞方向，可分為前饋型、反饋型網(wǎng)絡(luò)兩種類型。 人工神經(jīng)網(wǎng)絡(luò)的模型有很多種，可以按照不同的方法分類。神經(jīng)網(wǎng)絡(luò)的強大功能與其大規(guī)模并行互連、非線性處理以及互連結(jié)構(gòu)的可塑性密切相關(guān)。神經(jīng)細胞之間的通信是通過其具有可塑性的突觸禍合實現(xiàn)的，這使它們成為一個的整體。 圖 S 型變換函數(shù) 圖 分段線性變換函數(shù) （ 4）概率型變換函數(shù) 采用概率型變換函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的，需要一個隨機函數(shù)來描述其輸出狀態(tài)為 1 或為 0 的概率。最常用的非線性變換函數(shù)是單極性的 Sigmoid 函數(shù)曲線，簡稱 S型函數(shù) (圖 )，其特點是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，因而在處理上十分方便。 =1(或 +1)，權(quán)值為 0kw = k? (或 k? )，則可把閾值 k? 包括進去?；締卧纳窠?jīng)元模型包括三個基本要素：一組求和函數(shù) (對應(yīng)于生 物神經(jīng)元的突觸 )—連接強度由各連接上的權(quán)值表示，權(quán)值為正表示啟動，為負表示抑制；一個求和單元 —用于求取各輸入信號的加權(quán)和 (線性組合 )；一個非線性啟動函數(shù) —起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi) (一般限制在 (0， l)或 (1， +l)之間 )。關(guān)于神經(jīng)元的信息處理機制，該模型在簡化的基礎(chǔ)上提出以下 6 點假定進行描述： 1． 每個神經(jīng)元都是一個多輸入單輸出的信息處理單元； 2． 神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型； 3． 神經(jīng)元具有空間整合特性和閡值特性； 4． 神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱； 7 5． 忽略時間整合作用和不應(yīng)期； 6． 神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為 “處理單元 ”，有時從網(wǎng)絡(luò)的觀點出發(fā)常把它稱為 “節(jié)點 ”。 人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程，反映人腦某些特性的一種計算結(jié)構(gòu)。突觸使神經(jīng)細胞的膜電位發(fā)生變化，且電位的變化是可以累加的，該神經(jīng)細胞膜電位是它所有突觸產(chǎn)生的電位總和，當該神經(jīng)細胞的膜電位升高到超過一個閾值時，會產(chǎn)生一個脈沖，從而總和的膜電位直接影響該神經(jīng)細胞興奮發(fā)放的脈沖數(shù)。 神經(jīng)細胞單 元的信息是寬度和幅度都相同的脈沖串，若某個神經(jīng)細胞興奮，其軸突輸出的脈沖串的頻率就高；若某個神經(jīng)細胞抑制，其軸突輸出的脈沖串的頻率就低，甚至無脈沖發(fā)出。在高等動物的神經(jīng)細胞，除了特殊的無 “軸突 ”神經(jīng)元外，一般每個神經(jīng)元從細胞體伸出一根粗細均勻、表面光滑的突起，長度從幾微米到 1m左右，稱為軸突，它的功能是傳出從細胞體來的神經(jīng)信息。人腦神經(jīng)系統(tǒng)約由 1110個神經(jīng)元構(gòu)成，每個神經(jīng)元與約 410個其他神經(jīng)元連接。 最后，網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。 其次， BP 算法可以使權(quán)值收斂到某個值，但并不保證其為誤差平面的全局最小值，這是因為采用 梯度下降法可能產(chǎn)生一個局部最小值。誤差通過輸出層，按誤差梯度下降的方式修正各 層權(quán)值，向隱層、輸入層逐層反傳。直到誤差 反向傳播算法 （ BP 算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的 多層前饋神經(jīng)網(wǎng)絡(luò) 權(quán)重調(diào)整問題。在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實際的應(yīng)用系統(tǒng)，例如，完成某種信號處理或 模式識別 的功能、構(gòu)作專家系統(tǒng)、制成機器人等等。 3． 網(wǎng)絡(luò)模型 與算法研究。從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)