【正文】 i++) { for (j=0。wdw[j][i],amp。t open Weight data file:%s!,wszWt)。 fclose(wfparea)。 } for(i=0。 err[i]+=(wD[i]wOV[i])*(wD[i]wOV[i])。i++) { float m=wxmin[wIN+i]。iwIN。 x=wDT[k][i]。 } for(k=0。j++) { float m=wxmin[j]。wxmin[i],amp。t open test data file:%s!,wszTest)。wsto[i],amp。iwON。ww[j][i],amp。*/ if ((wfpwt=fopen(wszWt,r))==NULL) { printf(Can39。 A=(wymaxwymin)/(wxmaxwxmin)。判別的目的主要是檢查輸出誤差是否已經小到允許的程度。iwON。i++) { for (j=0。 } for (i=0。 } ct++。 } for (i=0。 do { for(i=0。 printf(\n)。 wdsth1[j]=wdsth[j]。j++) { for (i=0。 wdv[i][j]=(float)(weta*sum+walpha*wdv1[i][j])。jwON。 float sum。 } } 輸出誤差的逆?zhèn)鞑? 在第一步的模式順傳播計算中得到了網絡的實際輸出值，當這些實際的輸出值與希望的輸出值不一樣或者說其誤差大于所限定的數(shù)值時，就要對網絡進行校正。 } for (i=0。 for (i=0。 設輸入模式矢量為 12A [ ]k k nkna a a? ， ， ... ， （ k =1， 2， … ， m ； m —學習模式對數(shù)， n—輸入層單元個數(shù)）。 BP 網絡按有教師學習方式進行訓練，當一對學習模式提供給網絡后，其神經元的啟動值將從輸入層經各中間層向輸出層傳播，在輸出層的各神經元 輸出對應于輸入模式的網絡相應。第 p 個樣本輸入到網絡后得到輸出pjy （ j=1， 2， …m ）。正向傳播時，傳播方向為輸入層 → 隱層 → 輸出層，每層神經元的狀態(tài)只影響下一層神經元。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。 13 第 3 章 BP 神經網絡結構及數(shù)學模型 BP 神經網絡結構 目前國外在工程上獲得實際應用的神經元模型，大部 分是 BP 網絡。 神經網絡的學習算法可以歸納為三類 :一是有導師學習：學習模式采用的是糾錯規(guī)則，學習訓練過程中需要不斷地給網絡成對提供一個輸入模式和一個期望網絡正確輸出的模式，將神經網絡的實際輸出同期望輸出進行比較，并按一定的規(guī)則調整權值。神經元之間的突觸聯(lián)系，其基本部分是先天就有的，但其他部分是由于學習過程中頻繁地給予刺激而成長起來的。根據(jù)神經元之間連接方式，可將神經網絡結構分為層次型結構 (圖 )、互連型結構 (圖 )兩大類。 大量神經元組成龐大的神經網絡，才能實現(xiàn)對復雜信息的處理與存儲，并表現(xiàn)出各種優(yōu)越的特性。這類函數(shù)也稱為偽線性函數(shù)，單極性分段線性變換函數(shù)的表達式如下： 式中， c 為線段的斜率，如圖 。若把輸入的維數(shù)增加一維，增加一個新的連接，輸入為 x。該模型經過不斷改進后，形成目前廣泛應用的神經元模型形式。神經細胞的信息就這樣從一個神經細胞傳到另一個神經細胞，且這種傳播是正向的，不允許逆向傳播。神經元 6 之間的連接是靠突觸實現(xiàn)的，主要有：軸突與樹突、軸突與細胞體、軸突與軸突、樹突與樹突等連接形式。人腦神經系統(tǒng)的基本單元是神經細胞，即生物神經元。對于一些復雜問題， BP 算法需要的訓練時間可能非常長，這主要是由于學習速率太小造成的，可采用變化的學習速率或自適應的學習速率加以改進。 BP 神經網絡 在人工神經網絡發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權值調整問題的有效算法。其中包括概念模型、知識模型、物理化學模型、數(shù)學模型等。同一網絡因學習方式及內容不同可具有不同的功能。隨即，一大批學者和 研究人員圍繞著 Hopfield 提出的方法展開了進一步的工作，形成了 80 年代中期以來人工神經網絡的研究熱潮。 另外，在 60 年代初期， Widrow 提出了自適應線性元件網絡，這是一種連續(xù)取值的線性加權求和閾值網絡。雖然，馮 Mcculloch 和數(shù)理邏輯學家 W人工神經網絡用于非線性動力學系統(tǒng)研究，近來在汽車動力學建模與仿真領域也引起了極大關注。 許多工業(yè)生產過程存在時滯和大時間常數(shù) , 控制難度較大 , 傳統(tǒng)的控制策略對此類控制問題很難取得滿意的效果。Pitts 在分析、總結神經元基本特性的基礎上首先提出神經元的數(shù)學模型。諾依曼的名字是與普通計算機聯(lián)系在一起的，但他也是人工神經網絡研究的先驅之一。后來，在此基礎上發(fā)展了非線性多層自適應網絡。 人工神經網絡的特性 思維學普遍認為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。人工神經網絡是一個具有學習能力的系統(tǒng)，可以發(fā)展知識，以致超過設計者原有的知識水平。 3． 網絡模型 與算法研究。直到誤差 反向傳播算法 （ BP 算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的 多層前饋神經網絡 權重調整問題。 其次， BP 算法可以使權值收斂到某個值，但并不保證其為誤差平面的全局最小值，這是因為采用 梯度下降法可能產生一個局部最小值。人腦神經系統(tǒng)約由 1110個神經元構成，每個神經元與約 410個其他神經元連接。 神經細胞單 元的信息是寬度和幅度都相同的脈沖串，若某個神經細胞興奮，其軸突輸出的脈沖串的頻率就高；若某個神經細胞抑制，其軸突輸出的脈沖串的頻率就低，甚至無脈沖發(fā)出。 人工神經元模型 人工神經網絡是在現(xiàn)代神經生物學研究基礎上提出的模擬生物過程，反映人腦某些特性的一種計算結構。關于神經元的信息處理機制，該模型在簡化的基礎上提出以下 6 點假定進行描述： 1． 每個神經元都是一個多輸入單輸出的信息處理單元； 2． 神經元輸入分興奮性輸入和抑制性輸入兩種類型； 3． 神經元具有空間整合特性和閡值特性； 4． 神經元輸入與輸出間有固定的時滯，主要取決于突觸延擱； 7 5． 忽略時間整合作用和不應期； 6． 神經元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。 =1(或 +1)，權值為 0kw = k? (或 k? )，則可把閾值 k? 包括進去。 圖 S 型變換函數(shù) 圖 分段線性變換函數(shù) （ 4）概率型變換函數(shù) 采用概率型變換函數(shù)的神經元模型其輸入與輸出之間的關系是不確定的，需要一個隨機函數(shù)來描述其輸出狀態(tài)為 1 或為 0 的概率。神經網絡的強大功能與其大規(guī)模并行互連、非線性處理以及互連結構的可塑性密切相關。 （ 2）根據(jù)神經網絡內部信息的傳遞方向，可分為前饋型、反饋型網絡兩種類型。突觸的形成、穩(wěn)定與修飾均與刺激有關，隨著外界給予的刺激性質不同，能形成和改變神經元間的突觸聯(lián)系。另類是無導師學習：學習過程中，需要不斷地給網絡提供動態(tài)輸入信息。這種網絡的可靠性及成熟性可以滿足工程應用的要求。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網絡學習訓練的過程，此過程一直進行到網絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數(shù)為止。若在輸出層得不到期望 的輸出，則轉向誤差信號的反向傳播流程。采用平方型誤差函數(shù)，于是得到第 p 個樣本的誤差 Ep： 21 )(21 pjpjmj ytp ??? ?Ｅ （ ） 式中： pjt 為期望輸出。然后，將減少希望輸出與實際輸出誤差的原則，從輸出層經各中間層、最后回到輸入層逐層修正各連接權。 與輸入模式相對應的希望輸出為 12[]k k kkqY y y y? ， ， ... ， （ q —輸出層單元數(shù)）。iwHN。iwON。 這里的校正是從后向前進行的，所以叫作誤差逆?zhèn)鞑?，計算時是從輸出層到中間層，再從中間層到輸入層。 for (i=0。j++) { sum+=wdto[j]*wv[i][j]。 wv[i][j]+=wdv[i][j]。iwIN。 } } 循環(huán)記憶訓練 為使網絡的輸出誤差趨于極小值，對 BP 網絡輸入的每一組訓練模式，一般要經過數(shù)百次甚至上萬次的循環(huán)記憶訓練，才能使網絡記住這一模式。 printf(\n)。iwON。iwON。 } while (ctwMAXIT)。iwHN。jwHN。i++) { err[i]=err[i]/(wPN*wON)。如果小到允許的程度，就可以結束這個學習過程，否則還要進 行循環(huán)訓練。 B=(wxmax*wyminwxmin*wymax)/(wxmaxwxmin)。t open Weight data file:%s!,wszWt)。wdw[j][i],amp。i++) { for (j=0。wdsto[i],amp。 exit(1)。wxmax[i],amp。 float n=wxmax[j]。kwON。 wDT[k][i]=wpfMap(x,m,n,h,l)。i++) { wIV[i]=wIT[i][k]。 float n=wxmax[wIN+i]。 fprintf(wfpout,%\t,wOV[i])。iwON。 fclose(wfpout)。 exit(1)。wdw1[j][i])。jwHN。iwON。ww[j][i],amp。*/ if ((wfpwt=fopen(wszWt,r))==NULL) { printf(Can39。 fclose(wfptest)。*/ 32 exit(1)。 wD[i]=wpbMap(x,m,n,h,l)。iwON。k++) 31 { for (i=0。wDT[k][i])。 wIT[j][i]=wpfMap(x,m,n,h,l)。jwIN。i++) { 30 fscanf(wfparea,%f%f%f%f,amp。 } if ((wfptest=fopen(wszTest,r))==NULL) { printf(Can39。 } fscanf(wfpwt,%e,%e,%e,amp。 } for (i=0。j++) { 29 fscanf(wfpwt,%e,%e,%e,amp。 /*printf(Testing!\n)。 float A,B,y。 } 學習結果的判別 當每次循環(huán)記憶訓練結束后，都要進行學習結果的判別。 } for(i=0。iwON。*/ exit(1)。 } wbackwd()。i++) { wIV[i]=wIP[i][k]。 winput()。 printf(It is time to training!\n)。 24 wsth[j]+=wdsth[j]。jwHN。i++) sum=wdto[j]*wHV[i]。 for (j=0。 從這里可以 得出程序 ： void wbackward() { int j,i。 wOV[i]=(float)((+exp(sum)))。 wHV[i]=(float)((+exp(sum)))。 float sum。 輸入模式順傳播 這一過程主要是利用輸入模式求出它所對應的實際輸出。 19 第 4 章 BP 網絡的自學習與預測編程 BP 網絡的學習與預測神經編程 BP 網是一種具有三層以上的多層神經元網絡，它的左、右各層之間各個神經元實現(xiàn)全連接，即左層的每一個神經元與右層的每個神經元都有連接，而上下層各神經元之間無連接。 反向傳播 （ 1） 定義誤差函數(shù) 輸入 p 個學習樣本，用 x1,x2...xp 來表示。 BP 網絡 BP 算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構成。當 實際輸出與期望輸出不符時，進入誤差的反向傳播階段。現(xiàn)在主要是 BP模型，為下面的設計做理論支持。其中有意義的信息就分布地