【正文】 存儲在調(diào)節(jié)后的權(quán)值矩陣中。在大腦中，要建立功能性的神經(jīng)元 連接，突觸形成是關(guān)鍵。 （ 1）網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 神經(jīng)元之間的連接方式不同，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也不同。 在各種智能信息處 理模型中，人工神經(jīng)網(wǎng)絡(luò)是最具有大腦風(fēng)格的智能信息處理模型，許多網(wǎng)絡(luò)都能反映人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是對其局部電路的某種模仿、簡化和抽象。由于具有分段線性的特點(diǎn)，因而在實(shí)現(xiàn)上比較簡單。 圖 基本神經(jīng)元模型 以上作用可分別以數(shù)學(xué)表達(dá)式表達(dá)出來 ： 1 , , )pk ij j k k k k kju w x v u y v???? ? ? ?? （ 式中： 1 2 px x x， ， ...， 為輸入信號， k 1 k 2 kpw w w， ， ... ，為神經(jīng)元 k 的權(quán)值，? ku ……….. Y )(?f k? ky ij? 8 ku 為線性組合結(jié)果， k? 為閾值， f(.)為啟動函數(shù)，為神經(jīng)元 k 的輸出。 目前人們提出的神經(jīng)元模型己有很多，其中最早提出且影響最大的，是 1943年心理學(xué)和數(shù)學(xué)家在分析總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出的 MP 模型。一般每個(gè)神經(jīng)細(xì)胞的軸突大約連接 100～ 1000 個(gè)其他神經(jīng)細(xì)胞。軸突末端有許多細(xì)的分枝，稱之為神經(jīng)末梢，每一根神經(jīng)末梢可以與其他神經(jīng)元連接，其連接的末端稱之為突觸。 5 第 2章 神經(jīng)網(wǎng)絡(luò)預(yù)測基本原理 生物神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是參照生物神經(jīng)網(wǎng)絡(luò)發(fā)展起來的，為了學(xué)習(xí)和研究人工神經(jīng)網(wǎng)絡(luò)，了解生物神經(jīng)網(wǎng)絡(luò)的基本原理是很必要的。 首先，由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度慢，需要較長的訓(xùn)練時(shí)間。我們也會看到，探索人腦功能和神經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服 而日新月異。根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模 3 型。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重值，以適應(yīng)周圍環(huán)境的要求。人們重新認(rèn)識到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實(shí)性。 60 年代末期，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。但是，由于指令存儲式計(jì)算機(jī)技術(shù)的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑，繼續(xù)投身于指令存儲式計(jì)算機(jī)技術(shù)的研究，并在此領(lǐng)域作出了巨大貢獻(xiàn)。 1943 年，心理學(xué)家 W人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在組合優(yōu)化、模式識別、圖象處理、自動控制、信號處理、機(jī)器人和人工智能等領(lǐng)域得到廣泛應(yīng)用，尤其在工程領(lǐng)域逐漸受到廣泛重視。為了解決這類問題 , 預(yù)測控制應(yīng)運(yùn)而生。此模型沿用至今，并且直接影響著這一領(lǐng)域研究的進(jìn)展。 50 年代末， F 2 當(dāng)時(shí)，這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱，而實(shí)際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。 邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程；它先將信息化成概念，并用符號表示，然后，根據(jù)符號運(yùn)算按串行模式進(jìn)行邏輯推理；這一過程可以寫成串行的指令，讓計(jì)算機(jī)執(zhí)行。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無監(jiān)督學(xué)習(xí)或稱無導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí) 方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境 （即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。在理論模型研究的基礎(chǔ)上構(gòu)作具體的 神經(jīng)網(wǎng)絡(luò)模型 ，以實(shí)現(xiàn)計(jì)算機(jī)饃擬或準(zhǔn)備制作硬件，包括 網(wǎng)絡(luò)學(xué)習(xí) 算法的研究。 BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個(gè)過程組成。對于這個(gè)問題，可以采用附加動量法來解決。神經(jīng)細(xì)胞與人體中其他細(xì)胞的關(guān)鍵區(qū)別在于，神經(jīng)網(wǎng)絡(luò)具有產(chǎn)生、處理和傳遞信號的能力。根據(jù)突觸對下一個(gè)神經(jīng)細(xì)胞的功能活動的影響，突觸又可分為興奮性的和抑制性的兩種。它不是人腦神經(jīng)系統(tǒng)的真實(shí)描寫，而只是它的某 種抽象、簡化和模擬。 顯然，上述假定是對生物神經(jīng)元信息處理過程的簡化和概括，它清晰地述了生物神經(jīng)元信息處理的點(diǎn)，而且便于 進(jìn)行形式化表上述假定，可用圖 中的神元模型示意圖進(jìn)行圖解表示。例如 0 , ( )pk kj j k kju w x y v????? 啟動函數(shù) f (設(shè)神經(jīng)元輸出為 1 的概率為 ： 0 F(x) x x （ ） （ ） F(x) 10 /1(1) 1 xTP e?? ? 式中， T 稱為溫度參數(shù)。必須按一定規(guī)則將神經(jīng)元連接成神經(jīng)網(wǎng)絡(luò)，并使網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)按一定規(guī)則變化。 （ ） 11 圖 層次結(jié)構(gòu)示意圖 圖 互聯(lián)結(jié)構(gòu)示意圖 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 學(xué)習(xí)定義為：根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結(jié)果導(dǎo)致對外界刺激產(chǎn)生反應(yīng)的新模式的建立。 人工神經(jīng)網(wǎng)絡(luò)的功能特性由其連接的拓?fù)浣Y(jié)構(gòu)和突觸連接強(qiáng)度，即連接權(quán)值決定。網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律 ，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動分類。如圖 所示。 BP 神經(jīng)網(wǎng)絡(luò)模型 BP 網(wǎng)絡(luò)模型包括其輸入輸出模型、作用函數(shù)模型、誤差計(jì)算模型和自學(xué)習(xí)模型。通過這兩個(gè)過程的交替進(jìn)行，在權(quán)矢量空間執(zhí)行誤差函數(shù)梯度下降策略，動態(tài)迭代搜索一組權(quán)矢量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過程。 對于 p 個(gè)樣本，全局誤差為： ppppjpjmjpp EytE 11121 )( ??? ?????? （ ） （ 2） 輸出層權(quán)值的變化 采 用 累 計(jì) 誤 差 BP 算 法 調(diào) 整 jkw ， 使 全 局 誤 差 E 變 小 ， 即 ： ?? ???? ????? pp wEwEjk jkpjkw 1 )( ?? （ ） 式中： ?—學(xué)習(xí)率 定義誤差信號為： jjjpjp SySEE ?????? ????? Syj? （ ） 其中第一項(xiàng)： ?? ?? ????????? mj pjpjmj pjpjjjp ytytyyE 12121 )(])([ （ ） 第二項(xiàng)： )(2 jjj sfsy ???? （ ） 是輸出層傳遞函數(shù)的偏微分。由于這種修正過程是從輸出到輸入層逐層進(jìn)行的，所以稱它為 “誤差逆?zhèn)鞑ニ惴?”。根據(jù) MP 神經(jīng)元模型原理，計(jì)算中間層各神經(jīng)元的啟動值： 1 .nj ij i jis W a ?????（ j =1， 2， … ， p ） （ ） 式中： ijW —輸入層至中間層的連接權(quán)； 20 ij? —中間層單元的閾值； P—中間層單元數(shù)。i++) { sum=。i++) { sum=。 輸出層的校正誤差為： )1()( ktktktktkt cccyd ????? （ ） 式中： t =1， 2， … ， m kty ——希望輸出； 22 ktc ——實(shí)際輸出； 39。iwON。 } wdth[i]=sum*wHV[i]*([i])。 wdv1[i][j]=wdv[i][j]。i++) { sum=wdth[j]*wIV[i]。 這種循環(huán)記憶訓(xùn)練實(shí)際上就是反復(fù)重復(fù)上面介紹的輸入模式順傳播和輸出誤差逆?zhèn)鞑ミ^程。 printf(This calculation needs about two minutes,\n)。i++) { err[i]=。i++) { wD[i]=wDP[i][k]。//amp。i++) { for (j=0。j++) { fprintf(wfpwt,%e,%e,%e\n,wv[j][i],wdv[j][i],wdv1[j][i])。 err[i]=(float)sqrt(err[i])。學(xué)習(xí)或者說訓(xùn)練的過程是網(wǎng)絡(luò)全局誤差趨向于極小值的過程。 y=x*A+B。 exit(1)。wdw1[j][i])。jwHN。wdsto1[i])。 } if((wfparea=fopen(wszArea,r))==NULL) { printf(can39。wymin[i],amp。 float h=wymin[j]。k++) { float m=wxmin[wIN+k]。 } } for (i=0。 } for (i=0。 float h=wymin[wIN+i]。 fprintf(wfpout,%\t,wD[i])。i++) { err[i]=err[i]/(wPN*wON)。 } 對數(shù)據(jù)的預(yù)測程序編寫 最后的預(yù)測程序就是對前面訓(xùn)練好的網(wǎng)絡(luò)的實(shí)現(xiàn)，先把調(diào)整好的閾值和權(quán)值送進(jìn)檔，然后把要預(yù)測的數(shù)據(jù)放進(jìn)預(yù)測檔中進(jìn)行正向的順序運(yùn)算，最后得出預(yù)測數(shù)據(jù)。 } //read the satisfied wt value for (i=0。 } fscanf(wfpwt,%e,%e,%e,amp。j++) { fscanf(wfpwt,%e,%e,%e,amp。 } for (i=0。j++) { fscanf(wfpwt,%e,%e,%e,amp。 /*printf(predicting!\n)。*/ } fclose(wfperr)。t write Weight data file:%s!,wszWt)。 x=wD[i]。 for (i=0。kwTN。 fscanf(wfptest,%e,amp。 x=wIT[j][i]。i++) { for (j=0。iwIN+3。 exit(1)。wdv1[j][i])。wdsth1[i])。jwIN。 float x。歸一化處理 VC 程序如下： float wpfMap(float x,float m, float n, float h, float l) { float wxmin=m, wxmax=n, wymin=h, wymax=l。 fclose(wfpwt)。*/ exit(1)。 } for (i=0。t write Weight data file:%s!,wszWt)。i++) { err[i]+=(wD[i]wOV[i])*(wD[i]wOV[i])。iwIN。 winitwt()。 printf(\n)。 } wdsth[j]=(float)(weta*wdth[j]+walpha*wdsth1[j])。 } for (j=0。iwHN。i++) 23 { sum=。 i =1， 2， … ， n 0? 1（學(xué)習(xí)系數(shù)）。 } sum=sumwsto[i]。 } sum=sumwsth[i]。 void wforward() { int j,i。 BP 網(wǎng)絡(luò)的學(xué)習(xí)過程主要由四部分組成： （ 1） 輸入模式順傳播（輸入模式 由輸入層經(jīng)中間層向輸出層傳播計(jì)算）； （ 2） 輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間層傳向輸入層）； （ 3） 循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠?jì)算過程反復(fù)交替循環(huán)進(jìn)行）； （ 4） 學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。查閱相關(guān)資料得出數(shù)學(xué)模型。)，則隱層節(jié)點(diǎn)的輸出為（將閾值寫入求和項(xiàng)中）： )( 01 ikjnik xvfz ???? k=1， 2， …… q （ ） 輸出層節(jié)點(diǎn)的輸出為： )(y 02j kjknk zwf ???? j=1， 2， ……m （ ） 1x ....... ix ......nx n q m 1y 1z V my jy W kz