【正文】 外部信息，而每個神經(jīng)元存儲多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對信樣本獲取 常規(guī)處理 特征變換 神經(jīng)網(wǎng)絡(luò)識別 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 7 息的存儲有等勢作用。這種分布式 存儲算法是存儲區(qū)與運算區(qū)合為一體的。在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲的知識則采用“聯(lián)想”的辦法，即當(dāng)一個神經(jīng)網(wǎng)絡(luò)輸入一個激勵時，它要在己存的知識中尋找與該輸入匹配最好的存儲知識為其解。當(dāng)然在信息輸出時也還要經(jīng)過一種處理。而不是直接從記憶中取出。這種存儲方式的優(yōu)點在于若部分信息不完全，就是說或者丟失或者損壞甚至有錯誤的信息，它仍能恢復(fù)出原來正確的完整的信息，系統(tǒng)仍能運行。這就是網(wǎng)絡(luò)具有容錯性和聯(lián)想記憶功能，自然是表現(xiàn)出較強(qiáng)的魯莽性。人的大腦的容錯性是它的一種重要的智慧形式。 大規(guī)模并行處理 人工神經(jīng)元網(wǎng)絡(luò)在結(jié)構(gòu)上 是并行的，而且網(wǎng)絡(luò)的各個單元可以同時進(jìn)行類似的處理過程。因此，網(wǎng)絡(luò)中的信息處理是在大量單元中平行而又有層次地進(jìn)行，運算速度高，大大超過傳統(tǒng)的序列式運算的數(shù)字機(jī)。雖然每個神經(jīng)元的信息傳遞 (神經(jīng)脈沖 )速度是以毫秒計算的，比普通序列式計算機(jī)要慢很多，但是人通常能在 1秒內(nèi)即可作出對外界事物的判斷和決策、這就是能神奇地完成所謂“百步”決策。這按照現(xiàn)有傳統(tǒng)的計算機(jī)及人工智能技術(shù)目前還是做不到的。 自學(xué)習(xí)、自組織和自適應(yīng)性 學(xué)習(xí)和適應(yīng)要求在時間過程中系統(tǒng)內(nèi)部結(jié)構(gòu)和聯(lián)系方式有改變，神經(jīng)元網(wǎng)絡(luò)是一種變結(jié)構(gòu)系統(tǒng)，恰好能完成 對環(huán)境的活應(yīng)和對外界事物的學(xué)習(xí)能力。神經(jīng)元之間的連接有多種多樣，各神經(jīng)元之間連接強(qiáng)度具有一定的可塑性，相當(dāng)于突觸傳遞信息能力的變化，這樣，網(wǎng)絡(luò)可以通過學(xué)習(xí)和訓(xùn)練進(jìn)行自組織以適應(yīng)不同信息處理的要求。 神經(jīng)元網(wǎng)絡(luò)是大量神經(jīng)元的集體行為，并不是各單元行為的簡單的相加，而表現(xiàn)出一般復(fù)雜非線性動態(tài)系統(tǒng)的特性。如不可預(yù)測性、不可逆性、有各種類型的吸引子(信息正是“存儲”在定點吸引子 )和出現(xiàn)混沌現(xiàn)象等。 正是由于神經(jīng)網(wǎng)絡(luò)具有這些特點，所以可以處理一些環(huán)境信息十分復(fù)雜、知識背景不清楚和推理規(guī)則不明確的問題。例如語音識別和識 別、醫(yī)學(xué)診斷以及市場估計等，都是具有復(fù)雜非線性和不確定性對象的控制。在那里，信源提供的模式豐富多彩，有的互相間存在矛盾，而判定決策原則又無條理可循。通過神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí) (按照學(xué)習(xí)法則 )，從典型事例中學(xué)會處理具體事例，給出比較滿意的解答。 人工神經(jīng)網(wǎng)絡(luò)的基本原理 神經(jīng)細(xì)胞以及人工神經(jīng)元的組成 神經(jīng)系統(tǒng)的基本構(gòu)造單元是神經(jīng)細(xì)胞，也稱神經(jīng)元。它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每個神經(jīng)元都包括三個主要部分 :細(xì)胞基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 8 體、樹突和軸突。樹突的作用是向四方收集由其他神經(jīng)細(xì)胞傳 來的信息，軸突的功能是傳出從細(xì)胞體送來的信息。每個神經(jīng)細(xì)胞所產(chǎn)生和傳遞的基本信息是興奮或抑制。在兩個神經(jīng)細(xì)胞之間的相互接觸點稱為突觸。簡單神經(jīng)元網(wǎng)絡(luò)及其簡化結(jié)構(gòu)如圖 22所示。 從信息的傳遞過程來看，一個神經(jīng)細(xì)胞的樹突，在突觸處從其他神經(jīng)細(xì)胞接受信號。這些信號可能是興奮性的，也可能是抑制性的。所有樹突接受到的信號都傳到細(xì)胞體進(jìn)行綜合處理，如果在一個時間間隔內(nèi)，某一細(xì)胞接受到的興奮性信號量足夠大，以致于使該細(xì)胞被激活，而產(chǎn)生一個脈沖信號。這個信號將沿著該細(xì)胞的軸突傳送出去，并通過突觸傳給其他神經(jīng)細(xì)胞 .神經(jīng)細(xì)胞 通過突觸的聯(lián)接形成神經(jīng)網(wǎng)絡(luò)。 （ 1）細(xì)胞體（ 2）樹突（ 3）軸突（ 4）突觸 圖 22 簡單神經(jīng)元網(wǎng)絡(luò)及其簡化結(jié)構(gòu)圖 人們正是通過對人腦神經(jīng)系統(tǒng)的初步認(rèn)識，嘗試構(gòu)造出人工神經(jīng)元以組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)來對人的智能，甚至是思維行為進(jìn)行研究 :嘗試從理性角度闡明大腦的高級機(jī)能。經(jīng)過幾十年的努力與發(fā)展，己涌現(xiàn)出上百種人工神經(jīng)網(wǎng)絡(luò)模型，它們的網(wǎng)絡(luò)結(jié)構(gòu)、性能、算法及應(yīng)用領(lǐng)域各異，但均是根據(jù)生物學(xué)事實衍生出來的。由于其基本處理單元是對生物神經(jīng)元的近似仿真，因而被稱之為人工神經(jīng)元。它用于仿效生物神經(jīng)細(xì)胞最基本的特性，與生物原 型相對應(yīng)。 人工神經(jīng)元的主要結(jié)構(gòu)單元是信號的輸入、綜合處理和輸出，其輸出信號的強(qiáng)度大小反映了該單元對相鄰單元影響的強(qiáng)弱。人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡(luò)，稱為人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接模式，相互之間的聯(lián)接度由聯(lián)接權(quán)值體現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)中，改變信息處理過程及其能力，就是修改網(wǎng)絡(luò)權(quán)值的過程。 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 9 目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則 : 由一定數(shù)量的基本單元分層聯(lián)接構(gòu)成 。 每個單元的輸入、輸出信號以及綜合處理內(nèi)容都比較簡單 。 網(wǎng)絡(luò)的學(xué)習(xí)和知識存儲體現(xiàn)在各單元之間的聯(lián)接 強(qiáng)度上。 人工神經(jīng)元的模型 神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個多輸入 /單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，同時也受到神經(jīng)元內(nèi)部其它因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號、稱為偏差 (bais)，有時也稱為閾值或門限值。一個具有 r個輸入分量的神經(jīng)元如圖 22所示。其中，輸入分量? ?rjp j ,...,2,1? 通過與和它相乘的權(quán)值分量 ? ?rjw j ,..,2,1? 相連，以 ??rj jjpw1的形式求和后，形成激活函數(shù) f()的輸入。激活函數(shù)的另一個輸入是神經(jīng)元的偏差 b,權(quán)值 Wj和輸入分量的矩陣形式可以由 W的行矢量以及 P的列矢量來表示 : ? ?rW ...21? ? ?trpppP ...21? （ ） 神經(jīng)網(wǎng)絡(luò)的聯(lián)接形式 人腦中大量的神經(jīng)細(xì)胞都不是孤立的，而是通過突觸形式相互聯(lián)系著，構(gòu)成結(jié)構(gòu)與功能十分復(fù)雜的神經(jīng)網(wǎng) 絡(luò)系統(tǒng)。為了便于從結(jié)構(gòu)出發(fā)模擬智能，因此必須將一定數(shù)量的神經(jīng)元適當(dāng)?shù)芈?lián)接成網(wǎng)絡(luò)，從而形成多種神經(jīng)網(wǎng)絡(luò)模型。 通常所說的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，主要指它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)按照拓?fù)浣Y(jié)構(gòu)屬于以神經(jīng)元為節(jié)點，以及節(jié)點間有向連接為邊的一種圖，其結(jié)構(gòu)大體上可分為層狀和網(wǎng)狀兩大類。 層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般地同層內(nèi)的神經(jīng)元不能聯(lián)接，網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中，任何兩個神經(jīng)元之間都可能雙向聯(lián)接。 下面介紹幾種網(wǎng)絡(luò)結(jié)構(gòu)： 前向網(wǎng)絡(luò) 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 10 前向網(wǎng)絡(luò)通常包含許多層，如圖 23所示 為 3層網(wǎng)絡(luò)。這種網(wǎng)絡(luò)特點是只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個神經(jīng)元可以從前一層接收多個輸入，并只有一個輸出送給下一層的各神經(jīng)元。三層前向網(wǎng)絡(luò)分為輸入層、隱層和輸出層。在前向網(wǎng)絡(luò)中有計算功能的節(jié)點稱為計算單元，而輸入節(jié)點無計算功能。 反饋網(wǎng)絡(luò) 反饋網(wǎng)絡(luò)從輸出層到輸入層有反饋。即每一個節(jié)點同時接收外來輸入和來自其它節(jié)點的反饋輸入，其中也包括神經(jīng)元輸出信號引回到本身輸入構(gòu)成的自環(huán)反饋，如圖24所示。這種反饋網(wǎng)絡(luò)每個節(jié)點都是一個計算單元。 圖 23前向網(wǎng)絡(luò) 圖 24反饋網(wǎng)絡(luò) 相互結(jié)合型網(wǎng)絡(luò) 相互結(jié)合型網(wǎng)絡(luò)如圖 25所示，它是屬于網(wǎng)狀結(jié)構(gòu)。構(gòu)成網(wǎng)絡(luò)中各個神經(jīng)元都可能相互雙向聯(lián)接，所有的神經(jīng)元既作輸入，同時也用于輸出。在這種網(wǎng)絡(luò)中，如果在某一時刻從神經(jīng)網(wǎng)絡(luò)外部施加一個輸入，各個神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到使網(wǎng)絡(luò)所有神經(jīng)元的活性度或輸出值，收斂于某個平均值為止作為信息處理的結(jié)束。 圖 25網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò) 圖 26混合型網(wǎng)絡(luò) 混合型網(wǎng)絡(luò) 上述的前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)分別是典型的 層狀結(jié)構(gòu)網(wǎng)絡(luò)和網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)，基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 11 介于這兩種網(wǎng)絡(luò)中間的一種聯(lián)接方式，如圖 26所示，在前向網(wǎng)絡(luò)的同層間神經(jīng)元有互聯(lián)的結(jié)構(gòu)，稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)的互聯(lián)，目的是為了限制同層內(nèi)神經(jīng)元同時興奮或抑制的神經(jīng)元數(shù)目，以完成特定的功能。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練 人腦中一個典型神經(jīng)元通過許多樹突的精細(xì)結(jié)構(gòu)，收集來自其它神經(jīng)元的信息，神經(jīng)元又通過軸突發(fā)出電活性脈沖。軸突分裂上千條分支，在每條分支末端，通過突觸的結(jié)構(gòu)把來自軸突的電活性變?yōu)殡娮饔?，從而使與之相連的各種神經(jīng)元的活性受到抑制或興奮。 當(dāng)一個神經(jīng)元收到 興奮輸入，而興奮輸入又比神經(jīng)元的抑制輸入足夠大時，神經(jīng)元把電活性脈沖向下傳到它的軸突，改變軸突的有效性，從而使一個神經(jīng)元對另一個神經(jīng)元的影響改變，便發(fā)生了學(xué)習(xí)行為。因此，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)特征在于神經(jīng)細(xì)胞特殊的突觸結(jié)構(gòu)所具有的可塑性連接，而如何調(diào)整連接權(quán)重就構(gòu)成了不同的學(xué)習(xí)算法。 神經(jīng)網(wǎng)絡(luò)按學(xué)習(xí)方式分為有教師學(xué)習(xí)和無教師學(xué)習(xí)兩大類。 有教師學(xué)習(xí) 為了使神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中解決各種問題，必須對它進(jìn)行訓(xùn)練，就是從應(yīng)用環(huán)境中選出一些樣本數(shù)據(jù)，通過不斷地調(diào)整權(quán)值矩陣，直到得到合適的輸入輸出關(guān)系為止，這個 過程就是對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，這種訓(xùn)練的過程需要有教師示范，提供訓(xùn)練數(shù)據(jù)，又稱樣本數(shù)據(jù)。在訓(xùn)練過程中又需教師的監(jiān)督，故這種有教師的學(xué)習(xí)又稱監(jiān)督式學(xué)習(xí)。 有教師學(xué)習(xí)方法雖然簡單，但是要求教師對環(huán)境和網(wǎng)絡(luò)的結(jié)構(gòu)應(yīng)該比較熟悉，當(dāng)系統(tǒng)復(fù)雜，環(huán)境變化時，就變得困難。為了適應(yīng)環(huán)境變化就要重新調(diào)整加權(quán)值，這樣，當(dāng)學(xué)習(xí)到新知識的同時，也容易忘掉已學(xué)過的舊知識，這一些是有教師學(xué)習(xí)方法的缺點。 無教師學(xué)習(xí) 無教師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集中，只有輸入而沒有目標(biāo)輸出，訓(xùn)練過程神經(jīng)網(wǎng)絡(luò)自動地將各輸入數(shù)據(jù)的特征提取出來，并將其分成若干類。 經(jīng)過訓(xùn)練好的網(wǎng)絡(luò)能夠識別訓(xùn)練數(shù)據(jù)集以外的新的輸入類別，并相應(yīng)獲得不同的輸出。顯然，無教師的訓(xùn)練方式可使網(wǎng)絡(luò)具有自組織和自學(xué)習(xí)的功能。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 12 人類高度發(fā)展的智能，主要是通過學(xué)習(xí)獲得的。要模擬人腦神經(jīng)系統(tǒng)的學(xué)習(xí)功能，必須使得人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。因此，有關(guān)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法的研究一直占有特殊的地位。 神經(jīng)網(wǎng)絡(luò)中常用的有四種學(xué)習(xí)規(guī)則： 聯(lián)想式學(xué)習(xí) Hebb規(guī)則。 誤差傳播式學(xué)習(xí) Delta學(xué)習(xí)規(guī)則。 概率式學(xué)習(xí)。 競爭式學(xué)習(xí)。 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 13 第 3 章前饋多層網(wǎng)絡(luò)結(jié)構(gòu)及其 BP 學(xué)習(xí)算法 BP學(xué)習(xí)算法 前向網(wǎng)絡(luò)是目前研究最多的網(wǎng)絡(luò)形式之一。如圖 31所示，在此模式中，共有三層神經(jīng)元，每層由若干節(jié)點組成，第 k層的每個節(jié)點與第 k+1層的每個節(jié)點連接。第一層為輸入層 。第二層為中間層，又稱為隱層 。最后一層為網(wǎng)絡(luò)的輸出層。其結(jié)構(gòu)可以表示為 :nqm網(wǎng)絡(luò)， n為輸入層節(jié)點數(shù)， q為隱含層節(jié)點數(shù)， m為輸出層節(jié)點數(shù)。每個連接對應(yīng)一個權(quán)值，通過修正這些權(quán)值“學(xué)習(xí)”或“訓(xùn)練”網(wǎng)絡(luò)，從而修正輸入到輸出映射的網(wǎng)絡(luò)函數(shù)。 輸入單元的活性 (狀態(tài) )代表輸入此網(wǎng)絡(luò)中的原始信息。每個隱單元的活性取決于輸入單元的活性及該輸入單元與隱單元之間聯(lián)接權(quán)值。同樣輸出單元的行為取決于隱單元的活性及隱單元和輸出單元之何的權(quán)值。 上述網(wǎng)絡(luò)的信息傳播是由輸入單元傳到隱單元，最后傳到輸出單元。這種含有隱層的前向網(wǎng)絡(luò)有一個重要特征，即隱單元可以任意構(gòu)成它們自身的輸入表示，輸入單元和隱單元間的權(quán)值決定每個隱單元何時是活性的，因此，借修改這些權(quán)值，一個隱單元可以選擇它代表什么。 圖 31 BP網(wǎng)絡(luò)結(jié)構(gòu) BP(Back Propagation)算法是誤差反向傳播算法，網(wǎng)絡(luò)的學(xué)習(xí)由四部分組成： 輸入模式由輸入層經(jīng)向輸出層的模式順傳播過程。 網(wǎng)絡(luò)的希望輸出與網(wǎng)絡(luò)實際輸出之間的誤差信號，由輸出層經(jīng)中間層向輸入層的誤差逆?zhèn)鞑ミ^程。 由模式順傳播與誤差逆?zhèn)鞑シ磸?fù)交替進(jìn)行的網(wǎng)絡(luò)記憶訓(xùn)練過程。 網(wǎng)絡(luò)趨向收斂即網(wǎng)絡(luò)的全局誤差趨向極小值的學(xué)習(xí)收斂過程。 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 14 BP 網(wǎng)絡(luò)誤差反向傳播學(xué)習(xí)算法的基本思想 為了研究神經(jīng)網(wǎng)絡(luò)是怎樣從經(jīng)驗中學(xué)習(xí)的，我們應(yīng)該首先向網(wǎng)絡(luò)提供一些訓(xùn)練例子，并可以通過下述方法，能教會一個三層 前向網(wǎng)絡(luò)完成某個特定的任務(wù)。其方法步 驟如下 : （ 1）向網(wǎng)絡(luò)提供訓(xùn)練例子，包括輸入單元的活性模式和期望的輸出單元活性模式 。 （ 2）確定網(wǎng)絡(luò)的實際輸出與期望輸出之間允許的誤差； （ 3）改變網(wǎng)絡(luò)中所有聯(lián)接權(quán)值，使網(wǎng)絡(luò)產(chǎn)生的輸出更接近于期望的輸出，直到滿足確定的允許誤差。 下面以網(wǎng)絡(luò)識別數(shù)字為例說明上述方法。比如使用 64個傳感器組成傳感器陣列，每個傳感器記錄一個數(shù)字的一小部分面積內(nèi)是否有筆寫的墨跡存在。因此，網(wǎng)絡(luò)需要64個輸入單元 (每個傳感器一個 )， 10個輸出單元 (每種數(shù)字一個 )和許多隱單元。為便于傳感器記錄每種 數(shù)字，網(wǎng)絡(luò)應(yīng)在適當(dāng)?shù)妮敵鰡卧挟a(chǎn)生高活性，并在其它輸單元中產(chǎn)生低的活性。 為