【正文】 .................................................................................................... 47 1 第 1章 緒 論 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 人工神經(jīng)網(wǎng)絡(luò)早期的研究工作應(yīng)追溯至本世紀(jì) 40 年代。 許多工業(yè)生產(chǎn)過程存在時(shí)滯和大時(shí)間常數(shù) , 控制難度較大 , 傳統(tǒng)的控制策略對此類控制問題很難取得滿意的效果。 本科學(xué)生畢業(yè)設(shè)計(jì) 基于 C 語言的 BP神經(jīng)網(wǎng)絡(luò)預(yù)測程序開發(fā) 系部名稱： 汽車與交通工程學(xué)院 專業(yè)班級： 車輛 學(xué)生姓名： 指導(dǎo)教師： 職 稱： 實(shí)驗(yàn)師 The Graduation Design for Bachelor39。人工神經(jīng)網(wǎng)絡(luò)用于非線性動(dòng)力學(xué)系統(tǒng)研究，近來在汽車動(dòng)力學(xué)建模與仿真領(lǐng)域也引起了極大關(guān)注。 反向傳播 (BP) 神經(jīng)網(wǎng)絡(luò)是當(dāng)前應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò) , 它結(jié)構(gòu)簡單 , 工作狀態(tài)穩(wěn)定 , 并且已有大量提高網(wǎng)絡(luò)訓(xùn)練速度的改進(jìn)算法。Mcculloch 和數(shù)理邏輯學(xué)家 W 1945 年馮 雖然，馮 這項(xiàng)工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實(shí)踐。 另外，在 60 年代初期， Widrow 提出了自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)。 80年代初期，模擬與數(shù)字混合的 超大規(guī)模集成電路 制作技術(shù)提高到新的水平，完全付諸實(shí)用化，此外，數(shù)字計(jì)算機(jī)的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。隨即，一大批學(xué)者和 研究人員圍繞著 Hopfield 提出的方法展開了進(jìn)一步的工作，形成了 80 年代中期以來人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。這種思維方式的 根本之點(diǎn)在于以下兩點(diǎn) : 1． 信息是通過神經(jīng)元上的興奮模式分布儲(chǔ)在網(wǎng)絡(luò)上 。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。目前，主要的研究工作集中在以下幾個(gè)方面： 1． 生物原型研究。其中包括概念模型、知識模型、物理化學(xué)模型、數(shù)學(xué)模型等。 4． 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)。 BP 神經(jīng)網(wǎng)絡(luò) 在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長一段時(shí)間里沒有找到隱層的連接權(quán)值調(diào)整問題的有效算法。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。對于一些復(fù)雜問題， BP 算法需要的訓(xùn)練時(shí)間可能非常長，這主要是由于學(xué)習(xí)速率太小造成的，可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。因此，網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。人腦神經(jīng)系統(tǒng)的基本單元是神經(jīng)細(xì)胞，即生物神經(jīng)元。 圖 生物神經(jīng)元示意圖 細(xì)胞體是由細(xì)胞 核、細(xì)胞質(zhì)、細(xì)胞膜等組成。神經(jīng)元 6 之間的連接是靠突觸實(shí)現(xiàn)的，主要有：軸突與樹突、軸突與細(xì)胞體、軸突與軸突、樹突與樹突等連接形式。 神經(jīng)細(xì)胞的細(xì)胞膜將細(xì)胞體內(nèi)外分開，從而使細(xì)胞體內(nèi)外有不同的電位，一般內(nèi)部電位比外部低，其內(nèi)外電位差稱之為膜電位。神經(jīng)細(xì)胞的信息就這樣從一個(gè)神經(jīng)細(xì)胞傳到另一個(gè)神經(jīng)細(xì)胞，且這種傳播是正向的，不允許逆向傳播。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。該模型經(jīng)過不斷改進(jìn)后，形成目前廣泛應(yīng)用的神經(jīng)元模型形式。生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，其對輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。若把輸入的維數(shù)增加一維，增加一個(gè)新的連接，輸入為 x。 圖 閾值型變換函數(shù) （ 2）非線性變換函數(shù) 非線性變換函數(shù)為實(shí)數(shù)域 R 到 [0， l]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。這類函數(shù)也稱為偽線性函數(shù)，單極性分段線性變換函數(shù)的表達(dá)式如下： 式中， c 為線段的斜率，如圖 。 人工神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)細(xì)胞是構(gòu)筑神經(jīng)系統(tǒng)和人腦的基本單元，它既具有結(jié)構(gòu)和功能的動(dòng)態(tài)特性，又具有時(shí)間和空間的動(dòng)態(tài)特性，其簡單有序的編排構(gòu)成了復(fù)雜的大腦。 大量神經(jīng)元組成龐大的神經(jīng)網(wǎng)絡(luò)，才能實(shí)現(xiàn)對復(fù)雜信息的處理與存儲(chǔ)，并表現(xiàn)出各種優(yōu)越的特性。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點(diǎn)或處理單元，每個(gè)節(jié)點(diǎn)均具有相同的結(jié)構(gòu)，其動(dòng)作在時(shí)間和空間上均同步。根據(jù)神經(jīng)元之間連接方式，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為層次型結(jié)構(gòu) (圖 )、互連型結(jié)構(gòu) (圖 )兩大類。學(xué)習(xí)效果隨著訓(xùn)練量的增加而提高，這就是通過學(xué)習(xí)獲得的進(jìn)步。神經(jīng)元之間的突觸聯(lián)系，其基本部分是先天就有的，但其他部分是由于學(xué)習(xí)過程中頻繁地給予刺激而成長起來的。神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法可以歸納為三類 :一是有導(dǎo)師學(xué)習(xí)：學(xué)習(xí)模式采用的是糾錯(cuò)規(guī)則，學(xué)習(xí)訓(xùn)練過程中需要不斷地給網(wǎng)絡(luò)成對提供一個(gè)輸入模式和一個(gè)期望網(wǎng)絡(luò)正確輸出的模式，將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出同期望輸出進(jìn)行比較，并按一定的規(guī)則調(diào)整權(quán)值。 本章小結(jié) 本章主要是對神經(jīng)網(wǎng)絡(luò)模型建立的基本闡述。 13 第 3 章 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)學(xué)模型 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 目前國外在工程上獲得實(shí)際應(yīng)用的神經(jīng)元模型，大部 分是 BP 網(wǎng)絡(luò)。直到誤差 反向傳播算法 （ BP 算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的 多層前饋神經(jīng)網(wǎng)絡(luò) 權(quán)重調(diào)整問題。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。其中 x x2…x i…x n 分別代表來自神經(jīng)元 2…i…n 的輸入； wj wj2…w ji…w jn 則分別表示神經(jīng)元 2…i…n 與第 j 個(gè)神經(jīng)元的連接強(qiáng)度，即權(quán)值； bj 為閾值； f(.)為傳遞函數(shù)； yj 為第 j 個(gè)神經(jīng)元的輸出。正向傳播時(shí)，傳播方向?yàn)檩斎雽?→ 隱層 → 輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。隱層的傳遞函數(shù)為 f1(第 p 個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出pjy （ j=1， 2， …m ）。 于是： )()()( 12m1zk kjkjpjpjjsfwsfyt ???? ??? （ ） 由鏈定理得：ikjkji xsfwsfytxEE pjpjmjzk )()()(ss 121kjpkjp kk??????????????? ????? （ ） 從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為： 18 ij xsfwsfyt kjkpjpjmj )()()( 121p1pkj????? ???? ?? （ ） 本章小結(jié) 本章主要是對 BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和數(shù)學(xué)模型進(jìn)行設(shè)計(jì)， BP 神經(jīng)網(wǎng)絡(luò)是現(xiàn)在應(yīng)用最廣泛，也是現(xiàn)在最成熟的神經(jīng)網(wǎng)絡(luò)，它有學(xué) 習(xí)的能力。 BP 網(wǎng)絡(luò)按有教師學(xué)習(xí)方式進(jìn)行訓(xùn)練，當(dāng)一對學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，其神經(jīng)元的啟動(dòng)值將從輸入層經(jīng)各中間層向輸出層傳播，在輸出層的各神經(jīng)元 輸出對應(yīng)于輸入模式的網(wǎng)絡(luò)相應(yīng)。 由于 BP 網(wǎng)絡(luò)有處于中間位置的隱含層，并有相應(yīng)的學(xué)習(xí)規(guī)則可循，可訓(xùn)練這種網(wǎng)絡(luò)，使其具有對非線性模式的識別能力。 設(shè)輸入模式矢量為 12A [ ]k k nkna a a? ， ， ... ， （ k =1， 2， … ， m ； m —學(xué)習(xí)模式對數(shù)， n—輸入層單元個(gè)數(shù)）。 將上面的啟動(dòng)值代入啟動(dòng)函數(shù)中可以得到中間層 j 單元的輸出值為： 11()1 e x p ( . )jj n ij i jib f s Wa ???? ? ? ?? （ ） 同理，可求出輸出端的啟動(dòng)值和輸出值： 設(shè)輸出層第 t 個(gè)單元的啟動(dòng)值為 tl ，則 1.pt jt j tjl V b r???? （ ） 設(shè)輸出層 t 個(gè)單元的實(shí)際輸出值為 tc ，則 ()ttc f l? （ t=1， 2， …q ） 式中： jtV ——中間層至輸出層連接權(quán)； t? ——輸出層單元閾值； f ——S 型啟動(dòng)函數(shù)。 for (i=0。jwIN。 } for (i=0。jwHN。 } } 輸出誤差的逆?zhèn)鞑? 在第一步的模式順傳播計(jì)算中得到了網(wǎng)絡(luò)的實(shí)際輸出值，當(dāng)這些實(shí)際的輸出值與希望的輸出值不一樣或者說其誤差大于所限定的數(shù)值時(shí)，就要對網(wǎng)絡(luò)進(jìn)行校正。 中間層各單元的校正誤差為： )1(1jjqtktjtkj bbdve ??? ???? （ j =1， 2， … ， p k=1， 2， … ， m ） 對于輸出層至中間層連接權(quán)和輸出層閾值的校正量為 . kkjt t jV d b??? （ ） . kttd???? （ ） 其中， kjb ——中間層 j 單元的輸出； ktd ——輸出層的誤差校正。 float sum。 } for (i=0。jwON。jwON。 wdv[i][j]=(float)(weta*sum+walpha*wdv1[i][j])。 wsto[j]+=wdsto[j]。j++) { for (i=0。 ww[i][j]+=wdw[i][j]。 wdsth1[j]=wdsth[j]。 float err[wON]。 printf(\n)。 printf(\n)。 do { for(i=0。kwPN。 } for (i=0。 for (i=0。 } ct++。(err[i]wSERROR))。 } for (i=0。j++) { fprintf(wfpwt,%e,%e,%e\n,ww[j][i],wdw[j][i],wdw1[j][i])。i++) { for (j=0。 27 } if ((wfperr=fopen(wszerr,w))==NULL) { /* printf(Can39。iwON。 /*printf(循環(huán) %4d 次后 err[%d]為 : %e\n,ct,i,err[i])。判別的目的主要是檢查輸出誤差是否已經(jīng)小到允許的程度。 21 )(21 kknk tE ??? ?? （ ） 式中： kt ——計(jì)算的輸出值 ； k? ——實(shí)際的輸出值 ； n——樣本數(shù)。 A=(wymaxwymin)/(wxmaxwxmin)。 } 所以對預(yù)測判斷的程序如下： void wTest() { int k,j,i。*/ if ((wfpwt=fopen(wszWt,r))==NULL) { printf(Can39。iwHN。ww[j][i],amp。wsth[i],amp。iwON。wv[j][i],amp。wsto[i],amp。 if ((wfpout=fopen(wszOut,w))==NULL) { printf(Can39。t open test data file:%s!,wszTest)。 exit(1)。wxmin[i],amp。 } for (i=0。j++) { float m=wxmin[j]。 fscanf(wfptest,%e,amp。 } for(k=0。 float h=wymin[wIN+k]。 x=wDT[k][i]。i++) { err[i]=。iwIN。i++) { wD[i]=wDT[i][k]。i++) { float m=wxmin[wIN+i]。 x=wOV[i]。 err[i]+=(wD[i]wOV[i])*(wD[i]wOV[i])。 } fprintf(wfpout,\n)。 } for(i=0。 fprintf(wfperr,%e\n,err[i])。 fclose(wfparea)。 float err[wON]。t open Weight data file:%s!,wszWt)。i++) 33 { for (j=0。wdw[j][i],amp。wdsth[i],amp。i++) { for (j=0。wdv[j][i]