【文章內(nèi)容簡介】 2 神經(jīng)網(wǎng)絡與模糊系統(tǒng)理論基礎 神經(jīng)網(wǎng)絡理論基礎 人工神經(jīng)網(wǎng)絡簡介 人工神經(jīng)網(wǎng)絡是一種模擬人腦結(jié)構及其功能的非線性動力系統(tǒng)，具有自組織、自適應、自學習和較強的魯棒性與容錯性等顯著特點，對模糊信息或復雜的非線性關系能很好地進行識別與處理。BP神經(jīng)網(wǎng)絡（Backpropagation Neutral Network）是目前應用最廣泛的網(wǎng)絡模型之一，在水文預測預報等方面都有應用。BP神經(jīng)網(wǎng)絡是指基于誤差反向傳播算法的多層前向神經(jīng)網(wǎng)絡，一般由輸入層、輸出層和隱含層構成。利用神經(jīng)網(wǎng)絡預測時，首先用訓練樣本建立映射關系，然后用檢測樣本檢驗網(wǎng)絡能否給出正確的輸入輸出的關系。如果網(wǎng)絡模型在訓練數(shù)據(jù)上表現(xiàn)很好，在預測數(shù)據(jù)上表現(xiàn)不佳，則稱為過擬合；反之，則稱網(wǎng)絡具有很好的泛化能力。良好的泛化能力使神經(jīng)網(wǎng)絡預測模型具有較高的實用價值。神經(jīng)網(wǎng)絡的應用，已滲透到各個領域，并取得了令人矚目的成果。神經(jīng)網(wǎng)絡理論也已成為涉及多學科的新興的、綜合的、前沿的學科。 人工神經(jīng)網(wǎng)絡發(fā)展歷史1943年，心理學家WMcculloch和數(shù)理邏輯學家WPitts在分析、總結(jié)神經(jīng)元基本特性的基礎上首先提出神經(jīng)元的數(shù)學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。1945年馮諾依曼領導的設計小組試制成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結(jié)構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經(jīng)元構成的再生自動機網(wǎng)絡結(jié)構。 50年代末，F(xiàn)Rosenblatt設計制作了“感知機”，它是一種多層的神經(jīng)網(wǎng)絡。這項工作首次把人工神經(jīng)網(wǎng)絡的研究從理論探討付諸工程實踐。另外，在60年代初期，Widrow提出了自適應線性元件網(wǎng)絡。后來，在此基礎上發(fā)展了非線性多層自適應網(wǎng)絡，而它實際上就是一種人工神經(jīng)網(wǎng)絡模型。80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術提高到新的水平，完全付諸實用化。一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經(jīng)網(wǎng)絡的研究熱潮。 生物神經(jīng)元模型人腦是由大量的神經(jīng)細胞組合而成的，它們之間相互連接。每個神經(jīng)細胞（也稱神經(jīng)元）。 生物神經(jīng)元模型 由圖看出，腦神經(jīng)元由細胞體、樹突和軸突構成。細胞體是神經(jīng)元的中心，它一般又由細胞核、細胞膜等構成。樹突是神經(jīng)元的主要接受器，它主要用來接受信息。軸突的作用主要是傳導信息，它將信息從軸突的起點傳到軸突末梢，軸突末梢與另一個神經(jīng)元的樹突或細胞體構成一種突觸的機構。通過突觸實現(xiàn)神經(jīng)元之間的信息傳遞。 人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡是利用物理器件來模擬生物神經(jīng)網(wǎng)絡的某些結(jié)構和功能。 人工神經(jīng)元模型，它是大多數(shù)神經(jīng)網(wǎng)絡模型的基礎。 代表神經(jīng)元i與神經(jīng)元j之間的連接強度(模擬生物神經(jīng)元之間突觸連接強度)，稱之為連接權。 代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)； 代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入； 代表神經(jīng)元的闡值。 函數(shù)f表達了神經(jīng)元的輸入輸出特性。在MP模型中，f定義為階跳函數(shù):人工神經(jīng)網(wǎng)絡是一個并行與分布式的信息處理網(wǎng)絡結(jié)構，該網(wǎng)絡結(jié)構一般由許多個神經(jīng)元組成，每個神經(jīng)元由一個單一的輸出，它可以連接到許多其他的神經(jīng)元，其輸出有多個連接通路，每個連接通路對應一個連接權系數(shù)。嚴格來說，神經(jīng)網(wǎng)絡是一個具有如下性質(zhì)的有向圖。（1） 對于每個結(jié)點有一個狀態(tài)變量；（2） 結(jié)點i到結(jié)點j有一個連接權系數(shù)；（3） 對于每個結(jié)點有一個閾值；（4） 對于每個結(jié)點定義一個變換函數(shù)，最常見的情形為。，做為前饋網(wǎng)絡，右為反饋網(wǎng)絡。 典型的神經(jīng)元網(wǎng)絡結(jié)構 BP神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡是一種信息處理系統(tǒng)，它有很多種模型。其中有一種用誤差傳播學習算法（Error Back Propagation即BP算法）進行訓練的多層前饋神經(jīng)網(wǎng)絡，簡稱為BP網(wǎng)絡。BP神經(jīng)網(wǎng)絡模型是人工神經(jīng)網(wǎng)絡的重要模型之一。它有廣泛的應用，主要包括模式識別及分類、故障智能診斷、圖像處理、函數(shù)擬合、最優(yōu)預測等方面的應用。a. BP神經(jīng)網(wǎng)絡特點：l)分布式的信息存儲方式神經(jīng)網(wǎng)絡是以各個處理器本身的狀態(tài)和它們之間的連接形式存儲信息的，一個信息不是存儲在一個地方，而是按內(nèi)容分布在整個網(wǎng)絡上。網(wǎng)絡上某一處不是只存儲一個外部信息，而是存儲了多個信息的部分內(nèi)容。整個網(wǎng)絡對多個信息加工后才存儲到網(wǎng)絡各處，因此，它是一種分布式存儲方式。2)大規(guī)模并行處理BP神經(jīng)網(wǎng)絡信息的存儲與處理(計算)是合二為一的，即信息的存儲體現(xiàn)在神經(jīng)元互連的分布上，并以大規(guī)模并行分布方式處理為主，比串行離散符號處理的現(xiàn)代數(shù)字計算機優(yōu)越。3)自學習和自適應性BP神經(jīng)網(wǎng)絡各層直接的連接權值具有一定的可調(diào)性，網(wǎng)絡可以通過訓練和學習來確定網(wǎng)絡的權值，呈現(xiàn)出很強的對環(huán)境的自適應和對外界事物的自學習能力。4)較強的魯棒性和容錯性BP神經(jīng)網(wǎng)絡分布式的信息存儲方式，使其具有較強的容錯性和聯(lián)想記憶功能，這樣如果某一部分的信息丟失或損壞，網(wǎng)絡仍能恢復出原來完整的信息，系統(tǒng)仍能運行。b. BP神經(jīng)網(wǎng)絡介紹BP網(wǎng)絡是一種單向傳播的多層前饋網(wǎng)絡，它包含輸人層、隱含層和輸出層，是目前應用較多的一種模型。該算法在層次型網(wǎng)絡結(jié)構上采用誤差逆?zhèn)鞑W習方式，學習過程由正向傳播和誤差逆?zhèn)鞑ソM成。 BP網(wǎng)絡示意圖BP網(wǎng)絡的結(jié)構如圖1所示，算法的主要思想是把學習過程分為兩個階段:第一階段是正向傳播過程，輸入信息從輸入層經(jīng)隱層逐層計算各單元的實際輸出值，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。第二階段是反向傳播過程，若在輸出層未能得到期望的輸出值，則逐層遞歸計算實際輸出與期望輸出之間的差值，根據(jù)此誤差修正前一層權值使誤差信號趨向最小。它通過連續(xù)不斷地在相對于誤差函數(shù)斜率下降的方向上計算網(wǎng)絡權值和偏差變化而逐漸逼近目標。每一次權值和誤差的變化都與網(wǎng)絡誤差的影響成正比。假設神經(jīng)網(wǎng)絡每層有N個節(jié)點，若某一層節(jié)點j與上層節(jié)點i之間權值為Wij，節(jié)點的輸入總和計為netj 、輸出計為Oj ，轉(zhuǎn)移函數(shù)取非線性的Sigmoid型函數(shù)，對于節(jié)點j，其輸入值為其前一層各單元加權和，式中為輸出期望值，為輸出實際值。BP算法采用梯度法調(diào)整權值，每次調(diào)整的量、式中01,稱為學習速率，它決定每一次訓練中的權值變化大小。進一步簡化計算有，其中：，j為輸出層單元；，j為隱層單元。BP網(wǎng)絡是一種多層前饋神經(jīng)網(wǎng)絡，它采用后向傳播算法，亦稱BP算法(首先樣本從輸入層經(jīng)各中間層向輸出層傳播，輸出層的各神經(jīng)元獲得網(wǎng)絡的輸人響應。然后按照減小目標輸出與實際輸出誤差的方向，從輸出層開始經(jīng)各中間層逐層修正各連接權值，以達到學習目的)。BP網(wǎng)絡具有結(jié)構簡單、可操作性強、能模擬任意的非線性輸入/輸出關系等優(yōu)點，目前已被廣泛應用于模式識別、智能控制、預測、圖像識別等領域。但是，BP網(wǎng)絡存在兩個突出問題(①收斂速度慢，②易陷入局部極小點)使其應用受到了一定限制。綜上，我們可以看出BP算法主要的優(yōu)點是簡單、易于實現(xiàn)。但是BP算法有兩個致命的缺陷:首先最大的缺陷是BP算法很可能陷入局部極小值，因為通常的誤差曲面都是凸凹不平的，會有多個極值點。BP算法的另一個缺陷是收斂速度慢，當采用梯度下降法時步長不容易確定，步長太長則達不到精度，甚至會發(fā)散。太小則迭代步驟增加，收斂速度慢。鑒于此，目前對BP算法的改進主要集中在兩個方面:1) 是避免陷入局部極小值，一旦陷入要想辦法逃出。2) 是改進迭代算法，加快收斂速度，較常用的方法是共軛梯度法、變尺度法等。 BP神經(jīng)網(wǎng)絡收斂速度的改進方法 1)　 激活函數(shù)的選取BP 網(wǎng)絡神經(jīng)元節(jié)點的激活函數(shù)選用對數(shù)S 型函數(shù),即: (1)式中, I 表示輸入權值總和(包括閾值) , O表示神經(jīng)元輸出。(1) 式的一階導數(shù)為： （2）2） 輸出層權值調(diào)整輸出層權值的調(diào)整可以直接通過實際輸出和期望輸出的誤差來對相應的權值進行調(diào)整?，F(xiàn)在考察第j 隱層中的p節(jié)點和第k 輸出層(有時輸出層不止一層) 的q 節(jié)點,可以用k 輸出層的期望輸出減去實際輸出得到此時的誤差值, 根據(jù)傳統(tǒng)動量BP 算法可以得到輸出層的δ值: （3）E 是q 的期望輸出值。從而可以進一步得到p、q 的權值增量和新的連接權值: （4） （5）式中,η是學習率、α是動量因子、 是隱層p 節(jié)點和輸出層q 節(jié)點第n 次迭代的連接權值、是( n + 1)次迭代的權值、 是輸出層k 中q 神經(jīng)元的δ值、是隱層j中p 神經(jīng)元的輸出值。另外, n = 0 時即第一次的調(diào)整假設α= 0?，F(xiàn)在改變權值調(diào)整規(guī)則,將其改寫為如下形式: （6） （7）3） 隱層權值調(diào)整為了調(diào)整每層的權值,BP 網(wǎng)絡將誤差在網(wǎng)絡各層之間反向傳播。(6) 、(7) 兩式適合于網(wǎng)絡的所有各層。但是, 對于隱層，由于不知道期望輸出值，所以不能直接計算出隱層的誤差值,即是說等式(3) 對于隱層是不存在的。這時可以借助于輸出層的誤差來調(diào)整隱層的權值。隱層神經(jīng)元前向傳播時,通過權值將輸入值傳到輸出層。 同時對于反向, 當進行權值調(diào)整時,可以將輸出層的δ值返回到隱層。所以,對于隱層的δ值可以采用下式得到: （8）然后采用(6) 、(7) 兩式得到隱層節(jié)點的權值。這種方法可以使BP 網(wǎng)絡的收斂速率有很大提高,而且對網(wǎng)絡的誤識率也有較大改進,體現(xiàn)了改進BP 網(wǎng)絡的有效性。 模糊系統(tǒng)理論基礎　　所謂模糊概念是指這個概念的外延具有不確定性，或者說它的外延是不清晰的，是模糊的。例如“青年”這個概念，它的內(nèi)涵我們是清楚的，但是它的外延，即什么樣的年齡階段內(nèi)的人是青年，恐怕就很難說情楚，因為在“年輕”和“不年輕”之間沒有一個確定的邊界，這就是一個模糊概念。 　 模糊邏輯與模糊計算a、模糊集合及其運算規(guī)則(1) 模糊集