【文章內(nèi)容簡介】 多激勵輸入一樣，人工神經(jīng)元也應該有許多的輸入信號 (圖中每個輸入的大小用確定數(shù)值 Xi 表示 )，它們同時輸人神經(jīng)元 k。生物神經(jīng)元具有不同的突觸性質和突觸強度，其對輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要?；締卧纳窠?jīng)元模型包括三個基本要素：一組求和函數(shù) (對應于生 物神經(jīng)元的突觸 )—連接強度由各連接上的權值表示，權值為正表示啟動，為負表示抑制；一個求和單元 —用于求取各輸入信號的加權和 (線性組合 )；一個非線性啟動函數(shù) —起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi) (一般限制在 (0， l)或 (1， +l)之間 )。此外還有一個閾值 ? k(或偏置 )，見圖 。 圖 基本神經(jīng)元模型 以上作用可分別以數(shù)學表達式表達出來 ： 1 , , )pk ij j k k k k kju w x v u y v???? ? ? ?? （ 式中： 1 2 px x x， ， ...， 為輸入信號， k 1 k 2 kpw w w， ， ... ，為神經(jīng)元 k 的權值，? ku ……….. Y )(?f k? ky ij? 8 ku 為線性組合結果， k? 為閾值， f(.)為啟動函數(shù)，為神經(jīng)元 k 的輸出。若把輸入的維數(shù)增加一維，增加一個新的連接，輸入為 x。 =1(或 +1)，權值為 0kw = k? (或 k? )，則可把閾值 k? 包括進去。例如 0 , ( )pk kj j k kju w x y v????? 啟動函數(shù) f ()可以有以下幾種形式： 閾值型變換函數(shù) (圖 )，單極性函數(shù)用下式定義： 1( 0)() 0( 0)xfx x??? ? ?? 具有這一作用方式的神經(jīng)元稱為閾值型神經(jīng)元，是神經(jīng)元模型中最簡單的一種，經(jīng) 典的 MP 模型就屬于這一類。 圖 閾值型變換函數(shù) （ 2）非線性變換函數(shù) 非線性變換函數(shù)為實數(shù)域 R 到 [0， l]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。最常用的非線性變換函數(shù)是單極性的 Sigmoid 函數(shù)曲線，簡稱 S型函數(shù) (圖 )，其特點是函數(shù)本身及其導數(shù)都是連續(xù)的，因而在處理上十分方便。單極性 S 型函數(shù)定義如下： 1() 1 xfx e?? ? 有時也常采用雙極性 S 型函數(shù)等形式 1 1 1 0 0 F(x) F(x) x x （ ） （ ） 9 21( ) 111xxxefx ee????? ? ??? （ 3）非線性變換函數(shù) 該函數(shù)的特點是神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿足線性關系。由于具有分段線性的特點，因而在實現(xiàn)上比較簡單。這類函數(shù)也稱為偽線性函數(shù)，單極性分段線性變換函數(shù)的表達式如下： 式中， c 為線段的斜率，如圖 。 圖 S 型變換函數(shù) 圖 分段線性變換函數(shù) （ 4）概率型變換函數(shù) 采用概率型變換函數(shù)的神經(jīng)元模型其輸入與輸出之間的關系是不確定的，需要一個隨機函數(shù)來描述其輸出狀態(tài)為 1 或為 0 的概率。設神經(jīng)元輸出為 1 的概率為 ： 0 F(x) x x （ ） （ ） F(x) 10 /1(1) 1 xTP e?? ? 式中， T 稱為溫度參數(shù)。由于采用該變換函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學中的玻爾茲曼分布相類似。 人工神經(jīng)網(wǎng)絡模型 神經(jīng)細胞是構筑神經(jīng)系統(tǒng)和人腦的基本單元，它既具有結構和功能的動態(tài)特性，又具有時間和空間的動態(tài)特性，其簡單有序的編排構成了復雜的大腦。神經(jīng)細胞之間的通信是通過其具有可塑性的突觸禍合實現(xiàn)的，這使它們成為一個的整體。人工神經(jīng)網(wǎng)絡就是通過對人腦的神經(jīng)細胞一一的建模和連接，來探索模擬人腦神經(jīng)系統(tǒng)功能的模型，其任務是具有學習、聯(lián)想、記憶和模式識別等信息處理功能的系統(tǒng)。 在各種智能信息處 理模型中，人工神經(jīng)網(wǎng)絡是最具有大腦風格的智能信息處理模型，許多網(wǎng)絡都能反映人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是對其局部電路的某種模仿、簡化和抽象。 大量神經(jīng)元組成龐大的神經(jīng)網(wǎng)絡，才能實現(xiàn)對復雜信息的處理與存儲，并表現(xiàn)出各種優(yōu)越的特性。神經(jīng)網(wǎng)絡的強大功能與其大規(guī)模并行互連、非線性處理以及互連結構的可塑性密切相關。必須按一定規(guī)則將神經(jīng)元連接成神經(jīng)網(wǎng)絡，并使網(wǎng)絡中各神經(jīng)元的連接權按一定規(guī)則變化。生物神經(jīng)網(wǎng)絡由數(shù)以億計的生物神經(jīng)元連接而戒，而人工神經(jīng)網(wǎng)絡限于物理實現(xiàn)的困難和為了計算簡便，是由相對少量的神經(jīng)元按一定規(guī)律構成的網(wǎng)絡。人工神經(jīng)網(wǎng)絡中的神經(jīng)元常稱為節(jié)點或處理單元，每個節(jié)點均具有相同的結構，其動作在時間和空間上均同步。 人工神經(jīng)網(wǎng)絡的模型有很多種，可以按照不同的方法分類。其中常見的兩種分類方法是：按網(wǎng)絡連接的拓撲結構和按網(wǎng)絡內(nèi)部的信息流向分類。 （ 1）網(wǎng)絡拓撲結構類型 神經(jīng)元之間的連接方式不同，網(wǎng)絡的拓撲結構也不同。根據(jù)神經(jīng)元之間連接方式，可將神經(jīng)網(wǎng)絡結構分為層次型結構 (圖 )、互連型結構 (圖 )兩大類。 （ 2）根據(jù)神經(jīng)網(wǎng)絡內(nèi)部信息的傳遞方向，可分為前饋型、反饋型網(wǎng)絡兩種類型。 （ ） 11 圖 層次結構示意圖 圖 互聯(lián)結構示意圖 人工神經(jīng)網(wǎng)絡的學習 學習定義為：根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結果導致對外界刺激產(chǎn)生反應的新模式的建立。學習的過程離不開訓練，學習的過程就是一種經(jīng)過訓練而使個體在行為上產(chǎn)生較為持久改變的過程。學習效果隨著訓練量的增加而提高，這就是通過學習獲得的進步。 關于學習的神經(jīng)機制，涉及神經(jīng)元如何分布、處理和存儲信息。這樣的問題單用行為研究是不能回答的，必須把研究深入到細胞和分子水平。在大腦中，要建立功能性的神經(jīng)元 連接，突觸形成是關鍵。神經(jīng)元之間的突觸聯(lián)系，其基本部分是先天就有的，但其他部分是由于學習過程中頻繁地給予刺激而成長起來的。突觸的形成、穩(wěn)定與修飾均與刺激有關，隨著外界給予的刺激性質不同，能形成和改變神經(jīng)元間的突觸聯(lián)系。 人工神經(jīng)網(wǎng)絡的功能特性由其連接的拓撲結構和突觸連接強度，即連接權值決定。神經(jīng)網(wǎng)絡全體連接權值的可用一個矩陣 W 表示，它的整體反映了神經(jīng)網(wǎng)絡對于所解決問題的知識存儲。神經(jīng)網(wǎng)絡能夠通過對樣本的學習訓練，不斷改變網(wǎng)絡的連接權值以及拓撲結構，以使網(wǎng)絡的輸出不斷地接近期望的輸出。這一過? 12 程稱為神經(jīng)網(wǎng)絡的學 習或訓練，其本質是可變權值的動態(tài)調(diào)整。當大量處理單元集體進行權值調(diào)整時，網(wǎng)絡就呈現(xiàn)出 “智能 ”特性。其中有意義的信息就分布地存儲在調(diào)節(jié)后的權值矩陣中。 神經(jīng)網(wǎng)絡的學習算法可以歸納為三類 :一是有導師學習：學習模式采用的是糾錯規(guī)則，學習訓練過程中需要不斷地給網(wǎng)絡成對提供一個輸入模式和一個期望網(wǎng)絡正確輸出的模式，將神經(jīng)網(wǎng)絡的實際輸出同期望輸出進行比較，并按一定的規(guī)則調(diào)整權值。另類是無導師學習：學習過程中，需要不斷地給網(wǎng)絡提供動態(tài)輸入信息。網(wǎng)絡能根據(jù)特有的內(nèi)部結構和學習規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律 ，同時能根據(jù)網(wǎng)絡的功能和輸入信息調(diào)整權值，使網(wǎng)絡能對屬于同一類的模式進行自動分類。第三類是灌輸式學習：將網(wǎng)絡設計成能記憶特別的例子，以后當給定有關該例子的輸人信息時，例子便被回憶起來。 本章小結 本章主要是對神經(jīng)網(wǎng)絡模型建立的基本闡述。是在生物神經(jīng)細胞的基礎上建立起來的。最重要的是神經(jīng)元得建立，然后是網(wǎng)絡模型的確定。現(xiàn)在主要是 BP模型，為下面的設計做理論支持。 13 第 3 章 BP 神經(jīng)網(wǎng)絡結構及數(shù)學模型 BP 神經(jīng)網(wǎng)絡結構 目前國外在工程上獲得實際應用的神經(jīng)元模型，大部 分是 BP 網(wǎng)絡。這種網(wǎng)絡的可靠性及成熟性可以滿足工程應用的要求。如圖 所示。 圖 BP 神經(jīng)網(wǎng)絡結構示意圖 在人工神經(jīng)網(wǎng)絡發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權值調(diào)整問題的有效算法。直到誤差 反向傳播算法 （ BP 算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的 多層前饋神經(jīng)網(wǎng)絡 權重調(diào)整問題。 BP (Back Propagation)神經(jīng)網(wǎng)絡，即誤差反傳誤差反向傳播算法的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經(jīng)元負責接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責信息變換，根據(jù)信息變化能力的需求，中間層可以設計為單隱層或者多隱層結構；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。當 實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡學習訓練的過程，此過程一直進行到網(wǎng)絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數(shù)為止。 BP 神經(jīng)網(wǎng)絡模型 BP 網(wǎng)絡模型包括其輸入輸出模型、作用函數(shù)模型、誤差計算模型和自學習模型。 ．．．．．．．．．．．．．．． ．．．．．．．．．．．． ．．．．． ．．． 14 BP 神經(jīng)元 圖 給出了第 j 個基本 BP 神經(jīng)元（節(jié)點），它只模仿了生物神經(jīng)元所具有的三個最基本也是最重要的功能 ：加權、求和與轉移。其中 x x2…x i…x n 分別代表來自神經(jīng)元 2…i…n 的輸入； wj wj2…w ji…w jn 則分別表示神經(jīng)元 2…i…n 與第 j 個神經(jīng)元的連接強度，即權值； bj 為閾值； f(.)為傳遞函數(shù)； yj 為第 j 個神經(jīng)元的輸出。 第 j 個神經(jīng)元的凈輸入值 Sj 為： jjijini bxwxw ????? ??1js 圖 BP 神經(jīng)元 其中： Tni xxxxX ]. . .. . .[ 21? ， ]......[ 21 jnjijjj wW ? 若視 1x0? ， jj bw?0 ，即令 x 及 jw 包括 ox 及 0jw ，則 Tnxxxxx ]...[ 210? ， ]. . . .. . .[ 210 jnjijjj j ? 于是節(jié)點 j 的凈輸入 Sj 可表示為： xwxws jijinij ??? ??? 0 凈輸入 Sj 通過傳遞函數(shù)（ Transfer Function） f()后，便得到第 j 個神經(jīng)元的輸出 yi： )()()( 0 xwFxwfsfy jijinijj ??? ???? （ ） ? )(?f 1x．． ix．．nx ij? jb js jy （ ） （ ） 15 式中是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因為細胞傳遞的信號不可能無限增加，必有一最大值。 BP 網(wǎng)絡 BP 算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構成。正向傳播時，傳播方向為輸入層 → 隱層 → 輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望 的輸出，則轉向誤差信號的反向傳播流程。通過這兩個過程的交替進行，在權矢量空間執(zhí)行誤差函數(shù)梯度下降策略，動態(tài)迭代搜索一組權矢量，使網(wǎng)絡誤差函數(shù)達到最小值，從而完成信息提取和記憶過程。 正向傳播 圖 三層神經(jīng)網(wǎng)絡的拓撲結構 設 BP 網(wǎng)絡的輸入層有 n 個節(jié)點，隱層有 q 個節(jié)點，輸出層有 m個節(jié)點，輸入層與隱層之間的權值為 kiv ，隱層與輸出層之間的權值為 jkw ，如圖 所示。隱層的傳遞函數(shù)為 f1()，輸出層的傳遞函數(shù)為 f2()，則隱層節(jié)點的輸出為（將閾值寫入求和項中）： )( 01 ikjnik xvfz ???? k=1， 2， …… q （ ） 輸出層節(jié)點的輸出為： )(y 02j kjknk zwf ???? j=1， 2， ……m （ ） 1x ....... ix ......nx n q m 1y 1z V my