【正文】 W1j W2j nj 人工神經(jīng)元模型其輸入、輸出關(guān)系可描述為: ()式中是從其它神經(jīng)元傳過(guò)來(lái)的輸入信號(hào)；是閥值；是表示從神經(jīng)元i到神經(jīng)元j的連接權(quán)值；f()為傳遞函數(shù)。有時(shí)為了方便，將統(tǒng)一表達(dá)成，式中= 。傳遞函數(shù)f(x)可為線性函數(shù)，或S狀的非線性函數(shù)，或具有任意階導(dǎo)數(shù)的非線性函數(shù)，常用的非線性函數(shù)有閥值函數(shù)、雙向閥值函數(shù)、S型函數(shù)、雙曲正切函數(shù)、高斯函數(shù)等。當(dāng)f(x)為階躍函數(shù)，且不考慮輸入、輸出之間的延時(shí)，只處理0和1二值信息時(shí)，這種閥值單元模型稱(chēng)為MP模型，是美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts在1943年提出的。 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互連而成的網(wǎng)絡(luò)，按其拓?fù)浣Y(jié)構(gòu)來(lái)分，可以分成兩大類(lèi)：層次網(wǎng)絡(luò)模型，互連網(wǎng)絡(luò)模型。 層次網(wǎng)絡(luò)模型神經(jīng)元分成若干層順序連接，在輸入層上加入輸入（刺激）信息，通過(guò)中間各層，加權(quán)后傳遞到輸出層后輸出（(a)），其中有的在同一層中的各神經(jīng)元相互有連接（(b)），有的從輸出層到輸入層有反饋（(c)）?！?c) (b) (a) ……………… 互連網(wǎng)絡(luò)模型在這類(lèi)模型中，任意兩個(gè)神經(jīng)元之間都有相互連接的關(guān)系。在連接中，有的神經(jīng)元之間是雙向的，有的是單向的，按實(shí)際情況決定。若按連接方式，也可以分為：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。前饋型網(wǎng)絡(luò)的第I層的輸入只能與第I1層輸出相連，輸入和輸出節(jié)點(diǎn)和外界相連，而其它中間層則為隱層。反饋型網(wǎng)絡(luò)的所有節(jié)點(diǎn)都是計(jì)算單元，同時(shí)可接受輸入并向外。若按連接方式，也可以分為：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。前饋型網(wǎng)絡(luò)的第I層的輸入只能與第I1層輸出相連，輸入和輸出節(jié)點(diǎn)和外界相連，而其它中間層則為隱層。反饋型網(wǎng)絡(luò)的所有節(jié)點(diǎn)都是計(jì)算單元，同時(shí)可接受輸入并向外界輸出，其中每個(gè)連接線都是雙向的。從作用效果看，前饋型網(wǎng)絡(luò)主要是函數(shù)映射，可用于模式識(shí)別和函數(shù)逼近。按對(duì)能量函數(shù)的所有極小點(diǎn)的利用情況，可將反饋網(wǎng)絡(luò)分成兩類(lèi)：一類(lèi)是能量函數(shù)的所有極小點(diǎn)都起作用，主要用做各種聯(lián)想存儲(chǔ)器；另一類(lèi)只利用全局極小點(diǎn)，它主要用于求解優(yōu)化問(wèn)題[9]。若按神經(jīng)網(wǎng)絡(luò)的功能分類(lèi)，目前常用的有如下分類(lèi)：神經(jīng)網(wǎng)絡(luò)分類(lèi) 雙值輸入 有教師 Hamming網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)連續(xù)輸入 無(wú)教師——Kohonen網(wǎng)絡(luò) 有教師 單層感知器 多層感知器 無(wú)教師——Grossterg網(wǎng)絡(luò)，Carpenter網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法學(xué)習(xí)和記憶是人類(lèi)智能器官的最主要的功能，模擬人腦神經(jīng)系統(tǒng)的學(xué)習(xí)功能是人工神經(jīng)網(wǎng)絡(luò)的核心任務(wù)。由人工神經(jīng)元相連結(jié)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的全部“知識(shí)”，主要體現(xiàn)為網(wǎng)絡(luò)中全部神經(jīng)元之間的連結(jié)權(quán)值，調(diào)整權(quán)值也就相當(dāng)于人類(lèi)的學(xué)習(xí)過(guò)程。 學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)性能的改善是按某種預(yù)定的度量通過(guò)調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的，學(xué)習(xí)方式按環(huán)境提供信息量的多少分為三種：(1)無(wú)教師學(xué)習(xí)(a)所示，無(wú)教師學(xué)習(xí)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)，以表示外部輸入的某些固有特性。(2)有教師學(xué)習(xí)(b)所示，這種學(xué)習(xí)方式需要外界存在一個(gè)“教師”對(duì)給定輸入提供應(yīng)有的輸出（即訓(xùn)練樣本集），神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出和預(yù)定輸出的差值來(lái)調(diào)整系統(tǒng)參數(shù)。(3)強(qiáng)化學(xué)習(xí)(c)所示，該方式介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息，學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化那些受到好的評(píng)價(jià)的動(dòng)作來(lái)改善自身的性能。環(huán)境 教師 學(xué)習(xí)系統(tǒng)∑應(yīng)有 響應(yīng) 實(shí)際 響應(yīng) 誤差信號(hào) 環(huán)境 學(xué)習(xí)系統(tǒng) 輸入 動(dòng)作 環(huán)境 學(xué)習(xí) 系統(tǒng) 評(píng)價(jià) 輸出 (a) (b) (c) 學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)是通過(guò)一定的規(guī)則,根據(jù)神經(jīng)元的輸入狀態(tài)（或活性度）、當(dāng)時(shí)的連接權(quán)及有無(wú)教師示教的信息來(lái)調(diào)整權(quán)值的，這個(gè)規(guī)則就稱(chēng)為學(xué)習(xí)規(guī)則。常用的學(xué)習(xí)規(guī)則有以下幾種：（1）聯(lián)想式學(xué)習(xí)——Hebb規(guī)則心理學(xué)家Hebb在1949年提出突觸聯(lián)系的神經(jīng)群體理論，他指出，突觸前后兩個(gè)同時(shí)興奮（即活性度高，或稱(chēng)處于激發(fā)狀態(tài)）的神經(jīng)元之間的連接強(qiáng)度（權(quán)值）將增強(qiáng)，雖然他本人沒(méi)有給出數(shù)學(xué)表達(dá)式，但后來(lái)許多研究者用不同的數(shù)學(xué)公式來(lái)表示這一基本思想。Hebb提出的這一原則被稱(chēng)為Hebb規(guī)則。，從神經(jīng)元到神經(jīng)元之間的聯(lián)結(jié)權(quán)值為；與被“激活”的程度、稱(chēng)為活性度；與的輸出分別為與；教師的示教信號(hào)為。 教師示教信號(hào) Hebb學(xué)習(xí)規(guī)則 輸出、與活性度、有關(guān)，滿足如下關(guān)系： ……………………………………………………………（）其中、是傳遞函數(shù)。對(duì)于神經(jīng)元而言，其輸入（即的輸出）可以理解為學(xué)習(xí)的內(nèi)容，連接權(quán)值可以理解為學(xué)習(xí)的基礎(chǔ)，是教師的指導(dǎo)內(nèi)容，的活性度可以理解為學(xué)習(xí)的“積極性”。易知學(xué)習(xí)的方式和結(jié)構(gòu)與上述四個(gè)要素有關(guān)。在人工神經(jīng)網(wǎng)絡(luò)中，每一次學(xué)習(xí)，意味著一次權(quán)值的調(diào)整，因此權(quán)值變化Δ可以用下列函數(shù)式表示：………………………………（）采用不同的函數(shù)G和H，就有不同的學(xué)習(xí)規(guī)則。例如上述神經(jīng)元無(wú)教師示教信號(hào)時(shí)，H函數(shù)僅與成正比，則上式改成簡(jiǎn)單形式：…………………………………………………………（）式中是學(xué)習(xí)率常數(shù)（0）。上式表明，對(duì)一個(gè)神經(jīng)元而言，若該神經(jīng)元有較大的活性度或有較大的輸入（即）時(shí)，他們之間的聯(lián)結(jié)權(quán)值會(huì)變大。（2）誤差傳播式學(xué)習(xí)——Delta學(xué)習(xí)法則此時(shí)，：…………………………………………………（）式中為正數(shù)，把差值稱(chēng)為。函數(shù)H仍與神經(jīng)元的輸出成正比：……………………………………………………………（）式中為正數(shù)。根據(jù)Hebb學(xué)習(xí)規(guī)則可得……………………………………………………（）式中為學(xué)習(xí)率常數(shù)（0）。在式（）中，如將教師示教信號(hào)作為期望輸出，而把理解為實(shí)際輸出，則該式變?yōu)椋骸ǎ┦街袨槠谕敵雠c實(shí)際輸出的差值。稱(chēng)式（）為規(guī)則，又稱(chēng)誤差修正規(guī)則。根據(jù)這個(gè)規(guī)則可以設(shè)計(jì)一個(gè)算法，即通過(guò)反復(fù)迭代運(yùn)算，直至求出最佳的值，使達(dá)到最小。這個(gè)規(guī)則就是BP（反向傳播）網(wǎng)絡(luò)的算法基礎(chǔ)。從上述簡(jiǎn)化過(guò)程可知，在選用簡(jiǎn)化的G函數(shù)時(shí)，我們實(shí)際上令，也就是用了線性可分函數(shù)。故式（）不適合用于采用式（）的非線性函數(shù)的情況，此時(shí)就需要采用廣義的規(guī)則。不同狀態(tài)時(shí)實(shí)現(xiàn)聯(lián)結(jié)的概率來(lái)調(diào)整其間的權(quán)值：。式中為學(xué)習(xí)率，、分別是神經(jīng)元和在輸入、輸出固定狀態(tài)及系統(tǒng)為自由狀態(tài)時(shí)實(shí)現(xiàn)聯(lián)結(jié)的概率。調(diào)整的原則是：當(dāng)時(shí)增加權(quán)值，否則減小權(quán)值。（3）競(jìng)爭(zhēng)式學(xué)習(xí)這種學(xué)習(xí)是無(wú)教師示教學(xué)習(xí)，網(wǎng)絡(luò)分成不同的層，網(wǎng)絡(luò)中的神經(jīng)元之間分成興奮性聯(lián)結(jié)和抑制性聯(lián)結(jié)。在不同性的聯(lián)結(jié)機(jī)制中引入競(jìng)爭(zhēng)。競(jìng)爭(zhēng)的實(shí)質(zhì)是看哪個(gè)神經(jīng)元受到的刺激最大，由此來(lái)調(diào)整權(quán)值： （）式中是學(xué)習(xí)率，是外部刺激系列中第項(xiàng)刺激成分，是刺激激勵(lì)輸入單元的總數(shù)。在競(jìng)爭(zhēng)中，與輸入單元間聯(lián)結(jié)權(quán)值變化最大的為優(yōu)勝者，優(yōu)勝者的聯(lián)結(jié)權(quán)值按式（）改變，而失敗的單元，其為零。 學(xué)習(xí)與自適應(yīng)當(dāng)學(xué)習(xí)系統(tǒng)所處環(huán)境平穩(wěn)時(shí)（統(tǒng)計(jì)特性不隨時(shí)間變化），從理論上講通過(guò)監(jiān)督學(xué)習(xí)可以學(xué)到環(huán)境的統(tǒng)計(jì)特征，這些統(tǒng)計(jì)特征可被學(xué)習(xí)系統(tǒng)（神經(jīng)網(wǎng)絡(luò)）作為經(jīng)驗(yàn)記住。如果環(huán)境是非平穩(wěn)的（統(tǒng)計(jì)特征隨時(shí)間變化），通常的監(jiān)督學(xué)習(xí)沒(méi)有能力跟蹤這種變化，為解決此問(wèn)題，需要網(wǎng)絡(luò)有一定的自適應(yīng)能力，此時(shí)對(duì)每一不同輸入都作為一個(gè)新的例子對(duì)待。模型被當(dāng)作一個(gè)預(yù)估器，基于前一時(shí)刻輸入和模型在時(shí)刻的參數(shù)，它估計(jì)時(shí)刻的輸出，再將與實(shí)際值（作為應(yīng)有的正確答案）比較，若其差值，則不修正模型參數(shù)[6]。 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層神經(jīng)元相連，最上一層為輸出層，最下一層為輸入層。輸入層和中間層也稱(chēng)為隱層。隱層的層數(shù)可以是一層或多層，前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用十分廣泛，感知器、線性網(wǎng)絡(luò)、BP網(wǎng)絡(luò)都屬于這種類(lèi)型。 感知器美國(guó)學(xué)者Rosenblatt于1957年提出一種用于模式分類(lèi)的神經(jīng)網(wǎng)絡(luò)模型，稱(chēng)為感知器，它是一個(gè)單層神經(jīng)網(wǎng)絡(luò)，神經(jīng)元模型為閥值模型。與MP模型不同之處在于其聯(lián)結(jié)權(quán)值可變，因此它具有學(xué)習(xí)功能。感知器信息處理的規(guī)則為： 式中為時(shí)刻的輸出，為輸入向量的一個(gè)分量，為時(shí)刻第個(gè)輸入的權(quán)重，為閥值，為階躍函數(shù)。感知器的學(xué)習(xí)規(guī)則如下： ()其中為學(xué)習(xí)率（01），為期望輸出（又稱(chēng)教師信號(hào)），是實(shí)際輸出。 修正權(quán)值… _+d誤差 感知器感知器只有一層神經(jīng)元，這是由感知器學(xué)習(xí)規(guī)則所決定的，因?yàn)楦兄鲗W(xué)習(xí)規(guī)則只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)。感知器神經(jīng)網(wǎng)絡(luò)這種結(jié)構(gòu)上的局限性也在一定程度上限制了其應(yīng)用范圍。 線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)是最簡(jiǎn)單的一種神經(jīng)網(wǎng)絡(luò)，它由一個(gè)或多個(gè)線性神經(jīng)元構(gòu)成。線性神經(jīng)網(wǎng)絡(luò)采用線性函數(shù)作為傳遞函數(shù)，因此其輸出可取任意值。線性神經(jīng)網(wǎng)絡(luò)可以采用WidrowHoff學(xué)習(xí)規(guī)則來(lái)調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閥值，其收斂速度和精度都有較大的改進(jìn)。： 線性神經(jīng)元模型 和感知器神經(jīng)網(wǎng)絡(luò)一樣，線性神經(jīng)網(wǎng)絡(luò)只能反映輸入和輸出樣本矢量間的線性映射關(guān)系，它也只能解決線性可分問(wèn)題。線性神經(jīng)網(wǎng)絡(luò)在函數(shù)擬合、信號(hào)過(guò)濾、預(yù)測(cè)和控制方面都有著廣泛的應(yīng)用。 BP控制方法BP算法的基本思想是，學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差某種形式，通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)沒(méi)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)[12]。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 基于BP算法的多層前饋網(wǎng)絡(luò)模型利用BP算法的多層前饋網(wǎng)絡(luò)是至今為止應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)。在多層前饋網(wǎng)絡(luò)的應(yīng)用中。一般習(xí)慣將單隱層前饋網(wǎng)絡(luò)稱(chēng)為三層前饋網(wǎng)或三層感知器，所謂三層包括了輸入層、隱層和輸出層。三層前饋網(wǎng)中，輸入向量為,如加入,可為隱層神經(jīng)元引入閥值；隱層輸出向量, 如加入,可為輸出層神經(jīng)元引入閥值；輸出層輸出向量為。期望輸出向量為。輸入層到隱層之間的權(quán)值矩陣用V表示，,其中列向量為隱層第個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用W表示，,其中列向量為輸出層第個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量。下面分析各層信號(hào)之間的數(shù)學(xué)關(guān)系。x1 x2 xi xi+1 i層 k層 j層 y1 y1 _ + 訓(xùn)練信號(hào) 調(diào)整權(quán)值 誤差 輸入層（n個(gè)）隱層（p個(gè)） 輸出層（q個(gè)） BP網(wǎng)絡(luò)結(jié)構(gòu)及反向?qū)W習(xí) 對(duì)于輸出層，有 …………………………………（） …………………………………（）對(duì)于隱層，有 …………………………………（） …………………………………………………（）以上兩式中，轉(zhuǎn)移函數(shù)均為單極Sigmoid函數(shù) …………………………………………………………………（）具有連續(xù)、可導(dǎo)的特點(diǎn)，且有 ……………………………………………………… （）根據(jù)應(yīng)用需要，也可以采用雙極性Sigmoid（或稱(chēng)雙曲線正切函數(shù)）…………………………………………………………………（）式（）~ 式（）共同構(gòu)成了三層前饋網(wǎng)的數(shù)學(xué)模型。 BP學(xué)習(xí)算法下面以三層前饋網(wǎng)為例介紹BP學(xué)習(xí)算法，然后將所得結(jié)論推廣到一般多層前饋網(wǎng)的情況。網(wǎng)絡(luò)誤差與權(quán)值調(diào)整:當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時(shí)，存在輸出誤差E，定義如下……………………………（）將以上誤差定義式展開(kāi)至隱層，有………（）進(jìn)一步展開(kāi)至輸入層，有………………………（）由上式可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值、的函數(shù)，因此調(diào)整權(quán)值可改變誤差E。顯然，調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使權(quán)值調(diào)整量與誤差的負(fù)梯度成正比，即