【正文】 的物理學家 Hopfield 于 1982 年和 1984 年在美國科學院院刊上發(fā)表了兩篇關于人工神經(jīng)網(wǎng)絡研究的論文，引起了巨大的反響。 2 當時，這些工作雖未標出神經(jīng)網(wǎng)絡的名稱，而實際上就是一種人工神經(jīng)網(wǎng)絡模型。然而，這次人工神經(jīng)網(wǎng)絡的研究 高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因為當時數(shù)字計算機的發(fā)展處于全盛時期，許多人誤以為數(shù)字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經(jīng)網(wǎng)絡相似是完全不可能的；另外，在 1968 年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異或這樣的基本問題，而且多層網(wǎng)絡還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經(jīng)網(wǎng)絡的前景失去信心。 50 年代末， F 1948 年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經(jīng)元構成的再生自動機網(wǎng)絡結 構。此模型沿用至今，并且直接影響著這一領域研究的進展。下面以時間順序，以著名 的人物或某一方面突出的研究成果為線索，簡要介紹人工神經(jīng)網(wǎng)絡的發(fā)展歷史。為了解決這類問題 , 預測控制應運而生。s Degree Development on BP Neural Network Prediction Program Based on C Language Candidate： Gao Xiaolin Specialty： Vehicles Engineering Class： 0711 Supervisor： Lecturer Wang Yuexin Heilongjiang Institute of Technology I 摘 要 人工神經(jīng)網(wǎng)絡理論是新近發(fā)展起來的交叉學科，采用物理器件或計算機軟硬件模擬生物體中神經(jīng)細胞的某些結構與功能，進而將其應用于工程領域，尤其適合高度復雜的非線性動力學系統(tǒng)仿真。人工神經(jīng)網(wǎng)絡已經(jīng)在組合優(yōu)化、模式識別、圖象處理、自動控制、信號處理、機器人和人工智能等領域得到廣泛應用，尤其在工程領域逐漸受到廣泛重視。預測控制是一種基于模型的控制策略。 1943 年，心理學家 W因而，他們兩人可稱為人工神經(jīng)網(wǎng)絡研究的先驅。但是，由于指令存儲式計算機技術的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡研究的新途徑，繼續(xù)投身于指令存儲式計算機技術的研究，并在此領域作出了巨大貢獻。Rosenblatt 設計制作了 “感知機 ”，它是一種多層的神經(jīng)網(wǎng)絡。 60 年代末期，人工神經(jīng)網(wǎng)絡的研究進入了低潮。 隨著人們對感知機興趣的衰退，神經(jīng)網(wǎng)絡的研究沉寂了相當長的時間。人們重新認識到神經(jīng)網(wǎng)絡的威力以及付諸應用的現(xiàn)實性。然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產(chǎn)生想法或解決問題的辦法。在學習或訓練過程中改變突觸權重值，以適應周圍環(huán)境的要求。 神經(jīng)網(wǎng)絡的研究內(nèi)容相當廣泛，反映了多學科交叉技術領域的特點。根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡的理論模 3 型。 這方面的工作也稱為技術模型研究。我們也會看到，探索人腦功能和神經(jīng)網(wǎng)絡的研究將伴隨著重重困難的克服 而日新月異。輸入層各神經(jīng)元負責接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責信息變換，根據(jù)信息變化能力的需求，中間層可以設計為單隱層或者多隱層結構；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。 首先，由于學習速率是固定的，因此網(wǎng)絡的收斂速度慢，需要較長的訓練時間。 再次，網(wǎng)絡隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導，一般是根據(jù)經(jīng) 4 驗或者通過反復實驗確定。 5 第 2章 神經(jīng)網(wǎng)絡預測基本原理 生物神經(jīng)元模型 人工神經(jīng)網(wǎng)絡是參照生物神經(jīng)網(wǎng)絡發(fā)展起來的，為了學習和研究人工神經(jīng)網(wǎng)絡，了解生物神經(jīng)網(wǎng)絡的基本原理是很必要的。一個神經(jīng)元的構造如圖 所示，主要包括細胞體、樹突和軸突。軸突末端有許多細的分枝，稱之為神經(jīng)末梢，每一根神經(jīng)末梢可以與其他神經(jīng)元連接，其連接的末端稱之為突觸。興奮性的突觸可能引起下一個神經(jīng)細胞興奮，抑制性的突觸使下一個神經(jīng)細胞抑制。一般每個神經(jīng)細胞的軸突大約連接 100～ 1000 個其他神經(jīng)細胞。根據(jù)前面對生物神經(jīng)網(wǎng)絡的介紹可知，神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡的基本器件。 目前人們提出的神經(jīng)元模型己有很多，其中最早提出且影響最大的，是 1943年心理學和數(shù)學家在分析總結神經(jīng)元基本特性的基礎上首先提出的 MP 模型。 圖 神經(jīng)元模型示意圖 圖 表明，如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應該有許多的輸入信號 (圖中每個輸入的大小用確定數(shù)值 Xi 表示 )，它們同時輸人神經(jīng)元 k。 圖 基本神經(jīng)元模型 以上作用可分別以數(shù)學表達式表達出來 ： 1 , , )pk ij j k k k k kju w x v u y v???? ? ? ?? （ 式中： 1 2 px x x， ， ...， 為輸入信號， k 1 k 2 kpw w w， ， ... ，為神經(jīng)元 k 的權值，? ku ……….. Y )(?f k? ky ij? 8 ku 為線性組合結果， k? 為閾值， f(.)為啟動函數(shù)，為神經(jīng)元 k 的輸出。)可以有以下幾種形式： 閾值型變換函數(shù) (圖 )，單極性函數(shù)用下式定義： 1( 0)() 0( 0)xfx x??? ? ?? 具有這一作用方式的神經(jīng)元稱為閾值型神經(jīng)元，是神經(jīng)元模型中最簡單的一種，經(jīng) 典的 MP 模型就屬于這一類。由于具有分段線性的特點，因而在實現(xiàn)上比較簡單。由于采用該變換函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學中的玻爾茲曼分布相類似。 在各種智能信息處 理模型中，人工神經(jīng)網(wǎng)絡是最具有大腦風格的智能信息處理模型，許多網(wǎng)絡都能反映人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是對其局部電路的某種模仿、簡化和抽象。生物神經(jīng)網(wǎng)絡由數(shù)以億計的生物神經(jīng)元連接而戒，而人工神經(jīng)網(wǎng)絡限于物理實現(xiàn)的困難和為了計算簡便，是由相對少量的神經(jīng)元按一定規(guī)律構成的網(wǎng)絡。 （ 1）網(wǎng)絡拓撲結構類型 神經(jīng)元之間的連接方式不同，網(wǎng)絡的拓撲結構也不同。學習的過程離不開訓練，學習的過程就是一種經(jīng)過訓練而使個體在行為上產(chǎn)生較為持久改變的過程。在大腦中，要建立功能性的神經(jīng)元 連接，突觸形成是關鍵。神經(jīng)網(wǎng)絡全體連接權值的可用一個矩陣 W 表示，它的整體反映了神經(jīng)網(wǎng)絡對于所解決問題的知識存儲。其中有意義的信息就分布地存儲在調(diào)節(jié)后的權值矩陣中。第三類是灌輸式學習：將網(wǎng)絡設計成能記憶特別的例子，以后當給定有關該例子的輸人信息時，例子便被回憶起來?，F(xiàn)在主要是 BP模型，為下面的設計做理論支持。 圖 BP 神經(jīng)網(wǎng)絡結構示意圖 在人工神經(jīng)網(wǎng)絡發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權值調(diào)整問題的有效算法。當 實際輸出與期望輸出不符時，進入誤差的反向傳播階段。 ．．．．．．．．．．．．．．． ．．．．．．．．．．．． ．．．．． ．．． 14 BP 神經(jīng)元 圖 給出了第 j 個基本 BP 神經(jīng)元（節(jié)點），它只模仿了生物神經(jīng)元所具有的三個最基本也是最重要的功能 ：加權、求和與轉移。 BP 網(wǎng)絡 BP 算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構成。 正向傳播 圖 三層神經(jīng)網(wǎng)絡的拓撲結構 設 BP 網(wǎng)絡的輸入層有 n 個節(jié)點，隱層有 q 個節(jié)點，輸出層有 m個節(jié)點，輸入層與隱層之間的權值為 kiv ，隱層與輸出層之間的權值為 jkw ，如圖 所示。 反向傳播 （ 1） 定義誤差函數(shù) 輸入 p 個學習樣本，用 x1,x2...xp 來表示。 于是： 17 )()( 21yj jmjpjpj sfyt ??? ??? （ ）kmj jpjpj zsfytkyjjkp zw ????? ?????? ?? 1 )(2)(Ｅ （ ） 于是輸出層各神經(jīng)元的權值調(diào)整公式為： kjmjpjpjppjk zfyt ）（ s)(w 211???? ???? ? （ ） （ 3） 隱層權值的變化 )()(kjkj p11 ??????? ????????????? ?? ?? EE pppppkjkj （ ） 定義誤差信號為： kkxpk szzEsEp ???????????zk? （ ） 其中第一項： kjk zyytytzE pjpjmjpjpjmj ??????????? ?? ?? )(])(21[z 121kp （ ） 依鏈定理有： jkjkjkj wsfzsz )(syy 2j ?????????? （ ） 第二項： )(1zk kk sfs ???? （ ） 是隱層傳遞函數(shù)的偏微分。 19 第 4 章 BP 網(wǎng)絡的自學習與預測編程 BP 網(wǎng)絡的學習與預測神經(jīng)編程 BP 網(wǎng)是一種具有三層以上的多層神經(jīng)元網(wǎng)絡，它的左、右各層之間各個神經(jīng)元實現(xiàn)全連接，即左層的每一個神經(jīng)元與右層的每個神經(jīng)元都有連接，而上下層各神經(jīng)元之間無連接。隨著這種誤差逆?zhèn)鞑ビ柧毜牟粩? ，網(wǎng)絡對輸入模式回應的正確率也不斷提高。 輸入模式順傳播 這一過程主要是利用輸入模式求出它所對應的實際輸出。 啟動函數(shù)采用 S 型函數(shù)，即 1() 1 exp( )fx x? ?? （ ） 這里之所以選用 S 型函數(shù)作為 BP 網(wǎng)絡神經(jīng)元的啟動函數(shù)是因為 它是連續(xù)可分的，而且更接近于生物神經(jīng)元的信號輸出形式。 float sum。 21 for (j=0。 wHV[i]=(float)((+exp(sum)))。 for (j=0。 wOV[i]=(float)((+exp(sum)))。(.)f ——對輸出層函數(shù)的導數(shù)。 從這里可以 得出程序 ： void wbackward() { int j,i。i++) { wdto[i]=(wD[i]wOV[i])*wOV[i]*([i])。 for (j=0。 } for (j=0。i++) sum=wdto[j]*wHV[i]。 } wdsto[j]=(float)(weta*wdto[j]+walpha*wdsto1[j])。jwHN。 wdw[i][j]=(float)(weta*sum+walpha*wdw1[i][j])。 24 wsth[j]+=wdsth[j]。 流程圖如下： 圖 循環(huán)流程圖 由此流程圖得出 程序如下： 連接權及閾值初始化 計算中間層各單元的輸入、輸出 全部模式訓練完 是 學習模式提供給網(wǎng)絡 計算輸出層各單元的輸入、輸出 計算輸出層各單元的校正誤差 計算中間層各單元的校 正誤差 調(diào)整中間層至輸出層之間的連接權及輸出層各單元的輸出閾值 調(diào)整輸入層至中間層之間的連接權及輸出層各單元的輸出閾值 更新學習輸入模式 更新學習次數(shù) 誤差 ＜ ε 或學習次數(shù)＞ N 學習結束 開