【文章內容簡介】 的方式進行網絡訓練，具有自組織特性，它是模擬人類根據(jù)過去經驗自動適應無法預測的環(huán)境變化。它無需期望輸出，只是根據(jù)數(shù)據(jù)樣本進行學習，并調整自身的權重以達到訓練目的，其學習規(guī)則大都采用競爭型的學習規(guī)則，主要思想是網絡競爭層中的各神經元通過競爭來獲取對輸入模式的響應機會，最后僅剩一個輸出最大的神經元成為競爭的勝利者，并對那些與獲勝神經元有關的各連接權值朝著更有利于它競爭的方向調整。 神經網絡的特點及其應用 神經網絡的特點神經網絡有如下特點：1．并行分布式處理 神經網絡不僅有高度并行結構，還有很強的并行實現(xiàn)能力，網絡的各單元可以同時進行類似的處理過程，整個網絡的信息處理方式是大規(guī)模并行的。2．具有自學習功能 從歷史數(shù)據(jù)中學習，培養(yǎng)出特定的具有歸納全部數(shù)據(jù)能力的神經網絡。對預測來說，自學習功能有著極其重要的意義。3．非線性處理 神經網絡模擬人的思維跟人腦思維一樣也是非線性的，對處理非線性問題有很大的幫助。4．神經網絡的硬件實現(xiàn) 超大規(guī)模集成電路（VLSI)硬件的實現(xiàn)，使人工神經網絡能有效且快速地解決規(guī)模很大的問題。 神經網絡的應用1．民用：語言識別、圖像識別與理解、智能機器人故障檢測、市場分析、決策優(yōu)化、物資調運、智能控制、交通預測等2．軍用：雷達、聲吶的多目標識別與跟蹤、戰(zhàn)場管理和決策支持系統(tǒng)、軍用機器人控制、信息的快速錄取、導彈的智能引導等等。 神經網絡的學習 學習方式神經網絡分無導師學習、有導師學習和再勵學習三種學習方式。1．無導師學習 與有導師學習不同的是，它僅有一批輸入數(shù)據(jù)。網絡初始狀態(tài)下，將均為小正數(shù)的權值反復加載后使網絡不斷受到刺激，直到產生同樣的刺激，并最終使相應的連接權增大到接近1的某值。簡單來說就是加入了相似的或已學習過的刺激后，輸出端的輸出是按權值矩陣相應產生的。2．有導師學習 也叫監(jiān)督學習，它以組織準確的輸入輸出數(shù)據(jù)對為研究目的。在網絡輸入端加載輸入數(shù)據(jù)，再通過比較網絡的實際和期望輸出得到誤差，然后由誤差的情況絕大部分要修改各連接權值，使網絡向正確響應的方向變化到實際輸出減去期望輸出在允許范圍之內為止。3．再勵學習 是介于對上兩種情況之間的一種方式，系統(tǒng)輸出的結果受到外部環(huán)境的影響，學習系統(tǒng)改善自身性能靠強化受獎勵的動作來實現(xiàn)。 學習算法1．Hebb學習規(guī)則 Heb由生理學條件反射原理，于1949年發(fā)現(xiàn)了神經元的交接強度變換規(guī)則，并成為了人工神經網絡的基礎。換句話說，Hebb學習規(guī)則可以推演出其他人工神經網絡學習規(guī)則。其計算規(guī)律為： （37）式中：為神經元i到j的連接權值；S為樣本序號，取值為[0，M1]；和分別為第S個樣本的第i和j神經元的輸入由上式可知，連接權值的大小由M個樣本里所有的第i和j個元素決定,即越多，越大。換種說法來說，兩個神經元的連接加強與否，決定于它們是否處于興奮狀態(tài)。2．學習規(guī)則即誤差校正規(guī)則，是在對網絡學習時采用已知樣本作為教師的一種學習方法。首先設置一個較小的隨機非0值作為初始權值，輸入的樣本對和輸出的樣本對也先給定；然后再算目標函數(shù)，那么神經元以第組樣本為輸入的輸出公式為： （38） （39） （310） （311）3．Perception學習規(guī)則采用的是有導師學習方法。首先設置一個較小的隨機非0值作為初始權值。然后給定輸入的樣本對和輸出的樣本對。其次求出感知器的輸出。最后求出權值的調整公式： （312）其中，第次調整權值用表示；學習率用表示，且，用來掌控權值調整的快慢。4．內、外星學習規(guī)則設神經元到神經元的連接權值是，神經元的輸入為，則連接權值的調整公式為 （313） 此時，是使趨向輸入的值，所以是內星學習規(guī)則。當神經元的輸出為時，采用公式313是使趨向輸出的值，是外星學習規(guī)則。適圖形識別等領域用內星學習規(guī)則，而信號傳遞領域用外星學習規(guī)則會更佳。 本章小結本章首先對神經網絡進行了詳細的概述，然后再對其結構模型進行了詳細的說明，最后論述了其特點及學習方式、算法，使人對神經網絡有初步認知。第四章 基于Elman神經網絡的交通流預測的仿真 Elman神經網絡 概述Elman于1990年提出了Elman神經網絡模型。為了達到記憶目的，該模型增加了一個承接層在前饋網絡的隱含層中， 讓系統(tǒng)具有了適應時變特性的能力。因此，它實現(xiàn)的是動態(tài)映射，比前向網絡更適于解決動態(tài)系統(tǒng)問題。 Elman神經網絡的結構及原理Elman型回歸神經元網絡通常分為4層：輸入層、輸出層、中間層和承接層。其中輸入、輸出層和隱含層有類似于前饋網絡的連接方式。輸入層單元和輸出層單元分別起信號傳輸作用和線性加權作用，隱含層單元用線性或非線性函數(shù)作為傳遞函數(shù)，承接層即上下文層，顧名思義是用來記憶中間層單元前一時刻的輸出值并返回給輸入。它通過存儲內部狀態(tài)使其具備映射動態(tài)特征的功能，從而使系統(tǒng)具有適應時變特性的能力，它能夠更生動、更直接地反映系統(tǒng)的動態(tài)特性。Elman神經網絡原理如圖41所示。圖41 Elman神經網絡原理 Elman 型神經網絡的特點是中間層的輸出通過承接層的延遲和存儲后，自聯(lián)到中間層的輸入，此自聯(lián)方式使其敏感于歷史狀態(tài)的數(shù)據(jù)。同時，網絡本身處理動態(tài)信息的能力也隨內部反饋網絡的加入大大增強，最后達到了動態(tài)建模的目的。此外，承接層從中間層接受反饋信號，用它來記憶中間層單元前一時刻的輸出值。前饋網絡的輸入包括外部輸入值和中間層前一時刻的輸出值，可通過反向傳播算法來訓練它。訓練完后，k時刻中間層的輸出值將以遞歸方式連接部分反饋到承接層單元，并保留至下一個訓練k+1時刻。設外部輸入為，輸出為y(k) ，中間層的輸出為x(k) ，則可得到的非線性狀態(tài)空間表達式如下： (41) (42) (43)式中指承接層到中間層，指輸入層到中間層，指中間層到輸出層的連接權矩陣，中間層和輸出層的傳遞函數(shù)分別用f和g表示。由式（41）（43）得： (44) 又因為=，上式能繼續(xù)展開。說明了與過去不同時刻的連接權（，…）有關,也就是說 是一個動態(tài)遞推過程。對應的，動態(tài)反向傳播學習算法包含了用于Elman神經網絡訓練的反向傳播算法。 Elman神經網絡的創(chuàng)建指令格式為net=newelm(PR, [S1 S2……SN1], {TF1 TF2……TFN1}, BTF, BLF, PF)參數(shù)意義：PR—R個輸入元素的范圍矩陣。Si—第i層的神經元個數(shù)。TFi—第i層的傳遞函數(shù)，缺省值為“tansig”。BTF —反向傳播網絡的訓練函數(shù)，可以是traind, traingdm, traingda, traingdx等函數(shù)，缺省值為“traingdx”。BLF—反向傳播權值/閾值的學習函數(shù)，可以是learngd, learngdm缺省值為“l(fā)earngdm”。PF—性能分析函數(shù)，可以是mse, msereg缺省值為“mse”。執(zhí)行結果：創(chuàng)建一個Elman神經網絡。該網絡具有N1個神經元層，權函數(shù)為dotprod函數(shù)，輸入函數(shù)為netsum函數(shù)，每層權值和閾值的初始化使用initnw函數(shù)。 Elman神經網絡的訓練Elman神經網絡的訓練可用train( ) 函數(shù)和adapt( ) 函數(shù)，訓練函數(shù)可以選擇traingd、traingdm、traingda、traingdx，學習函數(shù)可用learngd和learngdm。訓練過程如下：1．計算網絡輸出與期望輸出的誤差。2．計算該誤差對權值和閾值的梯度，進行反向傳播。由于通過延時反饋，權值和閾值對誤差的影響被忽略了，所以得的梯度實際上是近似值。3．如果使用train( )函數(shù)，就調用訓練函數(shù)來調整權值和閾值；如果使用adapt( )函數(shù)，就調用學習函數(shù)來調整權值和閾值。 Elman回歸神經網絡預測的仿真 仿真背景城市主干道交通系統(tǒng)是一個非線性的系統(tǒng)，該系統(tǒng)既復雜又受諸多的外部因素所影響，如氣候、時間等等。但在某個特定的時間段內，每條干道上的車流量、車速甚至是車的類型又是有規(guī)律可循的，其具有豐富的內部層次有序結構，是一種介于隨機性和確定性之間的現(xiàn)象。針對其以上