【文章內(nèi)容簡(jiǎn)介】 的方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練，具有自組織特性，它是模擬人類根據(jù)過(guò)去經(jīng)驗(yàn)自動(dòng)適應(yīng)無(wú)法預(yù)測(cè)的環(huán)境變化。它無(wú)需期望輸出，只是根據(jù)數(shù)據(jù)樣本進(jìn)行學(xué)習(xí)，并調(diào)整自身的權(quán)重以達(dá)到訓(xùn)練目的，其學(xué)習(xí)規(guī)則大都采用競(jìng)爭(zhēng)型的學(xué)習(xí)規(guī)則，主要思想是網(wǎng)絡(luò)競(jìng)爭(zhēng)層中的各神經(jīng)元通過(guò)競(jìng)爭(zhēng)來(lái)獲取對(duì)輸入模式的響應(yīng)機(jī)會(huì)，最后僅剩一個(gè)輸出最大的神經(jīng)元成為競(jìng)爭(zhēng)的勝利者，并對(duì)那些與獲勝神經(jīng)元有關(guān)的各連接權(quán)值朝著更有利于它競(jìng)爭(zhēng)的方向調(diào)整。 神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及其應(yīng)用 神經(jīng)網(wǎng)絡(luò)的特點(diǎn)神經(jīng)網(wǎng)絡(luò)有如下特點(diǎn)：1．并行分布式處理 神經(jīng)網(wǎng)絡(luò)不僅有高度并行結(jié)構(gòu)，還有很強(qiáng)的并行實(shí)現(xiàn)能力，網(wǎng)絡(luò)的各單元可以同時(shí)進(jìn)行類似的處理過(guò)程，整個(gè)網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的。2．具有自學(xué)習(xí)功能 從歷史數(shù)據(jù)中學(xué)習(xí)，培養(yǎng)出特定的具有歸納全部數(shù)據(jù)能力的神經(jīng)網(wǎng)絡(luò)。對(duì)預(yù)測(cè)來(lái)說(shuō)，自學(xué)習(xí)功能有著極其重要的意義。3．非線性處理 神經(jīng)網(wǎng)絡(luò)模擬人的思維跟人腦思維一樣也是非線性的，對(duì)處理非線性問(wèn)題有很大的幫助。4．神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn) 超大規(guī)模集成電路（VLSI)硬件的實(shí)現(xiàn)，使人工神經(jīng)網(wǎng)絡(luò)能有效且快速地解決規(guī)模很大的問(wèn)題。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用1．民用：語(yǔ)言識(shí)別、圖像識(shí)別與理解、智能機(jī)器人故障檢測(cè)、市場(chǎng)分析、決策優(yōu)化、物資調(diào)運(yùn)、智能控制、交通預(yù)測(cè)等2．軍用：雷達(dá)、聲吶的多目標(biāo)識(shí)別與跟蹤、戰(zhàn)場(chǎng)管理和決策支持系統(tǒng)、軍用機(jī)器人控制、信息的快速錄取、導(dǎo)彈的智能引導(dǎo)等等。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)分無(wú)導(dǎo)師學(xué)習(xí)、有導(dǎo)師學(xué)習(xí)和再勵(lì)學(xué)習(xí)三種學(xué)習(xí)方式。1．無(wú)導(dǎo)師學(xué)習(xí) 與有導(dǎo)師學(xué)習(xí)不同的是，它僅有一批輸入數(shù)據(jù)。網(wǎng)絡(luò)初始狀態(tài)下，將均為小正數(shù)的權(quán)值反復(fù)加載后使網(wǎng)絡(luò)不斷受到刺激，直到產(chǎn)生同樣的刺激，并最終使相應(yīng)的連接權(quán)增大到接近1的某值。簡(jiǎn)單來(lái)說(shuō)就是加入了相似的或已學(xué)習(xí)過(guò)的刺激后，輸出端的輸出是按權(quán)值矩陣相應(yīng)產(chǎn)生的。2．有導(dǎo)師學(xué)習(xí) 也叫監(jiān)督學(xué)習(xí)，它以組織準(zhǔn)確的輸入輸出數(shù)據(jù)對(duì)為研究目的。在網(wǎng)絡(luò)輸入端加載輸入數(shù)據(jù)，再通過(guò)比較網(wǎng)絡(luò)的實(shí)際和期望輸出得到誤差，然后由誤差的情況絕大部分要修改各連接權(quán)值，使網(wǎng)絡(luò)向正確響應(yīng)的方向變化到實(shí)際輸出減去期望輸出在允許范圍之內(nèi)為止。3．再勵(lì)學(xué)習(xí) 是介于對(duì)上兩種情況之間的一種方式，系統(tǒng)輸出的結(jié)果受到外部環(huán)境的影響，學(xué)習(xí)系統(tǒng)改善自身性能靠強(qiáng)化受獎(jiǎng)勵(lì)的動(dòng)作來(lái)實(shí)現(xiàn)。 學(xué)習(xí)算法1．Hebb學(xué)習(xí)規(guī)則 Heb由生理學(xué)條件反射原理，于1949年發(fā)現(xiàn)了神經(jīng)元的交接強(qiáng)度變換規(guī)則，并成為了人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。換句話說(shuō)，Hebb學(xué)習(xí)規(guī)則可以推演出其他人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則。其計(jì)算規(guī)律為： （37）式中：為神經(jīng)元i到j(luò)的連接權(quán)值；S為樣本序號(hào)，取值為[0，M1]；和分別為第S個(gè)樣本的第i和j神經(jīng)元的輸入由上式可知，連接權(quán)值的大小由M個(gè)樣本里所有的第i和j個(gè)元素決定,即越多，越大。換種說(shuō)法來(lái)說(shuō)，兩個(gè)神經(jīng)元的連接加強(qiáng)與否，決定于它們是否處于興奮狀態(tài)。2．學(xué)習(xí)規(guī)則即誤差校正規(guī)則，是在對(duì)網(wǎng)絡(luò)學(xué)習(xí)時(shí)采用已知樣本作為教師的一種學(xué)習(xí)方法。首先設(shè)置一個(gè)較小的隨機(jī)非0值作為初始權(quán)值，輸入的樣本對(duì)和輸出的樣本對(duì)也先給定；然后再算目標(biāo)函數(shù)，那么神經(jīng)元以第組樣本為輸入的輸出公式為： （38） （39） （310） （311）3．Perception學(xué)習(xí)規(guī)則采用的是有導(dǎo)師學(xué)習(xí)方法。首先設(shè)置一個(gè)較小的隨機(jī)非0值作為初始權(quán)值。然后給定輸入的樣本對(duì)和輸出的樣本對(duì)。其次求出感知器的輸出。最后求出權(quán)值的調(diào)整公式： （312）其中，第次調(diào)整權(quán)值用表示；學(xué)習(xí)率用表示，且，用來(lái)掌控權(quán)值調(diào)整的快慢。4．內(nèi)、外星學(xué)習(xí)規(guī)則設(shè)神經(jīng)元到神經(jīng)元的連接權(quán)值是，神經(jīng)元的輸入為，則連接權(quán)值的調(diào)整公式為 （313） 此時(shí)，是使趨向輸入的值，所以是內(nèi)星學(xué)習(xí)規(guī)則。當(dāng)神經(jīng)元的輸出為時(shí)，采用公式313是使趨向輸出的值，是外星學(xué)習(xí)規(guī)則。適圖形識(shí)別等領(lǐng)域用內(nèi)星學(xué)習(xí)規(guī)則，而信號(hào)傳遞領(lǐng)域用外星學(xué)習(xí)規(guī)則會(huì)更佳。 本章小結(jié)本章首先對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了詳細(xì)的概述，然后再對(duì)其結(jié)構(gòu)模型進(jìn)行了詳細(xì)的說(shuō)明，最后論述了其特點(diǎn)及學(xué)習(xí)方式、算法，使人對(duì)神經(jīng)網(wǎng)絡(luò)有初步認(rèn)知。第四章 基于Elman神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測(cè)的仿真 Elman神經(jīng)網(wǎng)絡(luò) 概述Elman于1990年提出了Elman神經(jīng)網(wǎng)絡(luò)模型。為了達(dá)到記憶目的，該模型增加了一個(gè)承接層在前饋網(wǎng)絡(luò)的隱含層中， 讓系統(tǒng)具有了適應(yīng)時(shí)變特性的能力。因此，它實(shí)現(xiàn)的是動(dòng)態(tài)映射，比前向網(wǎng)絡(luò)更適于解決動(dòng)態(tài)系統(tǒng)問(wèn)題。 Elman神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及原理Elman型回歸神經(jīng)元網(wǎng)絡(luò)通常分為4層：輸入層、輸出層、中間層和承接層。其中輸入、輸出層和隱含層有類似于前饋網(wǎng)絡(luò)的連接方式。輸入層單元和輸出層單元分別起信號(hào)傳輸作用和線性加權(quán)作用，隱含層單元用線性或非線性函數(shù)作為傳遞函數(shù)，承接層即上下文層，顧名思義是用來(lái)記憶中間層單元前一時(shí)刻的輸出值并返回給輸入。它通過(guò)存儲(chǔ)內(nèi)部狀態(tài)使其具備映射動(dòng)態(tài)特征的功能，從而使系統(tǒng)具有適應(yīng)時(shí)變特性的能力，它能夠更生動(dòng)、更直接地反映系統(tǒng)的動(dòng)態(tài)特性。Elman神經(jīng)網(wǎng)絡(luò)原理如圖41所示。圖41 Elman神經(jīng)網(wǎng)絡(luò)原理 Elman 型神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是中間層的輸出通過(guò)承接層的延遲和存儲(chǔ)后，自聯(lián)到中間層的輸入，此自聯(lián)方式使其敏感于歷史狀態(tài)的數(shù)據(jù)。同時(shí)，網(wǎng)絡(luò)本身處理動(dòng)態(tài)信息的能力也隨內(nèi)部反饋網(wǎng)絡(luò)的加入大大增強(qiáng)，最后達(dá)到了動(dòng)態(tài)建模的目的。此外，承接層從中間層接受反饋信號(hào)，用它來(lái)記憶中間層單元前一時(shí)刻的輸出值。前饋網(wǎng)絡(luò)的輸入包括外部輸入值和中間層前一時(shí)刻的輸出值，可通過(guò)反向傳播算法來(lái)訓(xùn)練它。訓(xùn)練完后，k時(shí)刻中間層的輸出值將以遞歸方式連接部分反饋到承接層單元，并保留至下一個(gè)訓(xùn)練k+1時(shí)刻。設(shè)外部輸入為，輸出為y(k) ，中間層的輸出為x(k) ，則可得到的非線性狀態(tài)空間表達(dá)式如下： (41) (42) (43)式中指承接層到中間層，指輸入層到中間層，指中間層到輸出層的連接權(quán)矩陣，中間層和輸出層的傳遞函數(shù)分別用f和g表示。由式（41）（43）得： (44) 又因?yàn)?，上式能繼續(xù)展開。說(shuō)明了與過(guò)去不同時(shí)刻的連接權(quán)（，…）有關(guān),也就是說(shuō) 是一個(gè)動(dòng)態(tài)遞推過(guò)程。對(duì)應(yīng)的，動(dòng)態(tài)反向傳播學(xué)習(xí)算法包含了用于Elman神經(jīng)網(wǎng)絡(luò)訓(xùn)練的反向傳播算法。 Elman神經(jīng)網(wǎng)絡(luò)的創(chuàng)建指令格式為net=newelm(PR, [S1 S2……SN1], {TF1 TF2……TFN1}, BTF, BLF, PF)參數(shù)意義：PR—R個(gè)輸入元素的范圍矩陣。Si—第i層的神經(jīng)元個(gè)數(shù)。TFi—第i層的傳遞函數(shù)，缺省值為“tansig”。BTF —反向傳播網(wǎng)絡(luò)的訓(xùn)練函數(shù)，可以是traind, traingdm, traingda, traingdx等函數(shù)，缺省值為“traingdx”。BLF—反向傳播權(quán)值/閾值的學(xué)習(xí)函數(shù)，可以是learngd, learngdm缺省值為“l(fā)earngdm”。PF—性能分析函數(shù)，可以是mse, msereg缺省值為“mse”。執(zhí)行結(jié)果：創(chuàng)建一個(gè)Elman神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)具有N1個(gè)神經(jīng)元層，權(quán)函數(shù)為dotprod函數(shù)，輸入函數(shù)為netsum函數(shù)，每層權(quán)值和閾值的初始化使用initnw函數(shù)。 Elman神經(jīng)網(wǎng)絡(luò)的訓(xùn)練Elman神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可用train( ) 函數(shù)和adapt( ) 函數(shù)，訓(xùn)練函數(shù)可以選擇traingd、traingdm、traingda、traingdx，學(xué)習(xí)函數(shù)可用learngd和learngdm。訓(xùn)練過(guò)程如下：1．計(jì)算網(wǎng)絡(luò)輸出與期望輸出的誤差。2．計(jì)算該誤差對(duì)權(quán)值和閾值的梯度，進(jìn)行反向傳播。由于通過(guò)延時(shí)反饋，權(quán)值和閾值對(duì)誤差的影響被忽略了，所以得的梯度實(shí)際上是近似值。3．如果使用train( )函數(shù)，就調(diào)用訓(xùn)練函數(shù)來(lái)調(diào)整權(quán)值和閾值；如果使用adapt( )函數(shù)，就調(diào)用學(xué)習(xí)函數(shù)來(lái)調(diào)整權(quán)值和閾值。 Elman回歸神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的仿真 仿真背景城市主干道交通系統(tǒng)是一個(gè)非線性的系統(tǒng)，該系統(tǒng)既復(fù)雜又受諸多的外部因素所影響，如氣候、時(shí)間等等。但在某個(gè)特定的時(shí)間段內(nèi)，每條干道上的車流量、車速甚至是車的類型又是有規(guī)律可循的，其具有豐富的內(nèi)部層次有序結(jié)構(gòu)，是一種介于隨機(jī)性和確定性之間的現(xiàn)象。針對(duì)其以上