【文章內(nèi)容簡介】 說明。 f oj ∑ wnj wij w1j j x1 … xi … xn )(T)t(xwf)1t(o jn1iiijj??????????????? ?? 神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的 6點假定。 多輸入單輸出 。 (n個輸入 。 1個輸出 ) 突觸分興奮性和抑制性 。 (wij可正可負(fù)、可大可小 ) 有空間整合特性和閥值特性 。 (∑求和 , Tj) 輸入與輸出間有固定的時滯 。 忽略時間整合作用和不應(yīng)期 。 非時變，即突觸時延和突觸強(qiáng)度為常數(shù)。 人工神經(jīng)網(wǎng)絡(luò)模型 生物神經(jīng)網(wǎng)絡(luò)由數(shù)以億計的生物神經(jīng)元連接而成，而人工神經(jīng)網(wǎng)絡(luò)限于物理實現(xiàn)的困難和為了計算簡便，是由相對少量的神經(jīng)元按一定規(guī)律構(gòu)成的網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點或處理單元，每個節(jié)點均具有相同的結(jié)構(gòu)，其動作在時間上同步。 人工神經(jīng)網(wǎng)絡(luò)的模型很多，可以按照不同的方法進(jìn)行分類。其中常見的兩種分類方法是， 按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類和按網(wǎng)絡(luò)內(nèi)部的信息流向分類 。 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 根據(jù)神經(jīng)元之間的連接方式，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類 (層次型結(jié)構(gòu) 和互連型結(jié)構(gòu) )。 層次型結(jié)構(gòu) (1/4) 層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能分成若干層，如輸入層、中間層（也稱為隱層）和輸出層，各層順序相連，如圖。 圖 單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 輸出層 中間層 (也稱隱層 ) 輸入層 圖 單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 輸出層 中間層 (也稱隱層 ) 輸入層 層次型結(jié)構(gòu) (2/4) 輸入層各神經(jīng)元負(fù)責(zé)接受來自外界的輸入信息，并傳遞給中間各隱層神經(jīng)元； 隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變換能力的需要，隱層可設(shè)計為 一層或多層 ； 最后一個隱層傳遞到輸出層各神經(jīng)元的信息經(jīng)近一步處理后，即完成一次從輸入到輸出的信息處理，由輸出層向外界（如執(zhí)行機(jī)構(gòu)或顯示設(shè)備）輸出信息處理結(jié)果。 層次型結(jié)構(gòu) (3/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。 (1)單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 如圖 ，神經(jīng)元分層排列，各層神經(jīng)元接受前一層輸入并輸出到下一層，層內(nèi)神經(jīng)元自身以及神經(jīng)元之間不存在連接通路。 圖 單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 層次型結(jié)構(gòu) (3/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。 (2)輸出層到輸入層有連接的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖 ，輸出層到輸入層有連接路徑。輸入層神經(jīng)元既可接受輸入，也具有信息處理功能。 層次型結(jié)構(gòu) (4/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。 (3)層內(nèi)有互連的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖 ，這種結(jié)構(gòu)的特點是在同一層內(nèi)引入神經(jīng)元間的側(cè)向作用，使得能同時激活的神經(jīng)元個數(shù)可控，以實現(xiàn)各層神經(jīng)元的自組織。 互連型結(jié)構(gòu) (1/2) 對于互連型網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)中任意兩個節(jié)點之間都可能存在連接路徑，因此根據(jù)網(wǎng)絡(luò)中節(jié)點的互連程度將互連型網(wǎng)絡(luò)結(jié)構(gòu)細(xì)分為 3種情況。 (1)全互連型 網(wǎng)絡(luò)中的每個節(jié)點均與所有其他節(jié)點連接，如圖。 互連型結(jié)構(gòu) (2/2) (2)局部互連型 網(wǎng)絡(luò)中的每個節(jié)點只與其鄰近的節(jié)點有連接，如圖 示。 (3)稀疏連接型 網(wǎng)絡(luò)中的節(jié)點只與少數(shù)相距較遠(yuǎn)的節(jié)點相連。 網(wǎng)絡(luò)信息流向類型 從神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來分，可分為兩種類型：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。 前饋型網(wǎng)絡(luò) (1/2) 單純前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點與圖 網(wǎng)絡(luò)完全相同，前饋是因信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行而得名。 從信息處理能力看，網(wǎng)絡(luò)中的節(jié)點可分為兩種：一種是輸入節(jié)點，只負(fù)責(zé)引入信息后向前傳遞給第一隱層；另一種是具有處理能力的節(jié)點，包括各隱層和輸出層節(jié)點。 前饋型網(wǎng)絡(luò) (2/2) 在前饋型網(wǎng)絡(luò)中，一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進(jìn)行的方向性，一般不存在反饋環(huán)路。 這類前饋型網(wǎng)絡(luò)很容易串聯(lián)起來建立多層前饋網(wǎng)絡(luò)。 多層前饋網(wǎng)絡(luò)可以看成是一個有向無環(huán)路的網(wǎng)絡(luò)。其中輸入層記為網(wǎng)絡(luò)的第一層，第一個隱層記為網(wǎng)絡(luò)的第二層，其余類推。 所以，當(dāng)提到具有單層計算神經(jīng)元的網(wǎng)絡(luò)時，指的應(yīng)是一個兩層前饋網(wǎng)絡(luò)（輸入層和輸出層），當(dāng)提到具有單隱層的網(wǎng)絡(luò)時，指的應(yīng)是一個三層前饋網(wǎng)絡(luò)（輸入層、隱層和輸出層）。 反饋型網(wǎng)絡(luò) 單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點與圖 構(gòu)完全相同，稱為反饋網(wǎng)絡(luò)是指其信息流向的特點。 在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。 反饋型網(wǎng)絡(luò) 單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點與圖 構(gòu)完全相同，稱為反饋網(wǎng)絡(luò)是指其信息流向的特點。 在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。 單層全互連結(jié)構(gòu)網(wǎng)絡(luò)是一種典型的反饋型網(wǎng)絡(luò)，可以用圖向圖表示。 x1 x2 ? xi ? xn T1 T2 ? Ti ? Ti 以上介紹的 人工神經(jīng)網(wǎng)絡(luò)模型 的分類方法、結(jié)構(gòu)形式和信息流向 只是對目前常見的網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象 。 實際應(yīng)用的神經(jīng)網(wǎng)絡(luò)，可能同時兼有其中一種或幾種形式。例如，從連接形式看，層次型網(wǎng)絡(luò)中可能出現(xiàn)局部的互連；從信息流向看，前饋網(wǎng)絡(luò)中可能出現(xiàn)局部反饋。 神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素， 其特點可歸納為分布式存儲記憶與分布式信息處理、高度互連性、高度并行性和結(jié)構(gòu)可塑性。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 人工神經(jīng)網(wǎng)絡(luò)的 功能特性 由 其連接的拓?fù)浣Y(jié)構(gòu) 和突觸連接強(qiáng)度，即 連接權(quán)值決定 。 神經(jīng)網(wǎng)絡(luò)的全體連接權(quán)值可用一個矩陣表示，其整體內(nèi)容反映了神經(jīng)網(wǎng)絡(luò)對于所解決問題的知識存儲。 神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。 這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是對可變權(quán)值的動態(tài)調(diào)整 。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素，因此有關(guān)學(xué)習(xí)的研究在神經(jīng)網(wǎng)絡(luò)研究中具有重要地位。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法 （亦稱訓(xùn)練規(guī)則或訓(xùn)練算法），如果只是單個處理單元，無論采用哪種學(xué)習(xí)規(guī)則進(jìn)行調(diào)整，其算法都十分簡單。但當(dāng)大量處理單元集體進(jìn)行權(quán)值調(diào)整時，網(wǎng)絡(luò)就呈現(xiàn)出 “ 智能 ” 特性，其中有意義的信息就分布地存儲在調(diào)整后的權(quán)值矩陣中。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法很多，根據(jù)一種廣泛采用的分類方法，可將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法歸納為三類： 一是有導(dǎo)師學(xué)習(xí)； 二為無導(dǎo)師學(xué)習(xí)； 三是死記式學(xué)習(xí)。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 有導(dǎo)師學(xué)習(xí) 也稱為有監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯規(guī)則。 在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò) 成對地提供 一個輸入模式和一個期望網(wǎng)絡(luò)正確輸出的模式，稱為“教師信號”。 將神經(jīng)網(wǎng)絡(luò)的 實際輸出 與 期望輸出 進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號不符時，根據(jù)差錯的方向和大小 按一定的規(guī)則調(diào)整權(quán)值 ，以使網(wǎng)絡(luò)的輸出更接近期望的輸出。 對于有導(dǎo)師學(xué)習(xí)，網(wǎng)絡(luò)在執(zhí)行工作任務(wù)之前必須先學(xué)習(xí)訓(xùn)練，當(dāng)網(wǎng)絡(luò)輸入均能產(chǎn)生所期望的輸出時，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會”了訓(xùn)練數(shù)據(jù)集中包含的知識和規(guī)則，可以用來進(jìn)行工作了。網(wǎng)絡(luò)工作時，網(wǎng)絡(luò)的 權(quán)值不再調(diào)整。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 無導(dǎo)師學(xué)習(xí) 也稱為無監(jiān)督學(xué)習(xí)。在學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息。 網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時能根據(jù)網(wǎng)絡(luò)的功能和輸入信息 調(diào)整權(quán)值 ，這個過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動分類。 在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的 權(quán)值調(diào)整 不取決于外來教師信號的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評價標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。 對于無導(dǎo)師學(xué)習(xí)，網(wǎng)絡(luò)也是學(xué)習(xí)訓(xùn)練，后用來進(jìn)行工作。網(wǎng)絡(luò)工作時，網(wǎng)絡(luò)的 權(quán)值不再調(diào)整。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 有導(dǎo)師學(xué)習(xí) 和 無導(dǎo)師學(xué)習(xí) ，哪種學(xué)習(xí)好了？ 在有導(dǎo)師學(xué)習(xí)中，提供給神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的外部指導(dǎo)信息越多，神經(jīng)網(wǎng)絡(luò)學(xué)會并掌握的知識越多，解決問題的能力也就超強(qiáng)。但是，有時神經(jīng)網(wǎng)絡(luò)所解決的問題的先驗信息很少，甚至沒有，這種情況下無導(dǎo)師學(xué)習(xí)就顯得更有實際意義。 死記式學(xué)習(xí) 是指網(wǎng)絡(luò)事先設(shè)計成能記憶特定的例子，在使用時，當(dāng)給定有關(guān)該例子的輸入信息時，例子便被回憶起來。 在死記式學(xué)習(xí)中，網(wǎng)絡(luò)的權(quán)值一旦設(shè)計好了就不再變動，因此其學(xué)習(xí)是一次性的 (設(shè)計 )，而不是一個訓(xùn)練過程。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 網(wǎng)絡(luò)的運(yùn)行一般分為 訓(xùn)練和工作 兩個階段。 訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識和規(guī)律，并存儲于網(wǎng)絡(luò)中供工作階段使用。 在訓(xùn)練時，可以認(rèn)為，一個神經(jīng)元是一個自適應(yīng)單元，其權(quán)值可以根據(jù)它所接受的 輸入信號 、它的 輸出信號 以及對應(yīng)的 監(jiān)督信號 (希望的輸出 )進(jìn)行調(diào)整。 一種神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則，如圖。 ? ? )( 3X (t)(t)dX (t),(t),Wηr(t)ΔW jjj ? 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 通用學(xué)習(xí)規(guī)則可表達(dá)為：權(quán)向量 Wj在 t時刻的調(diào)整量 ΔWj(t)與 t時刻的輸入向量 X(t)和學(xué)習(xí)信號 r的乘積成正比。用數(shù)學(xué)式表示為 式中， η為正數(shù) , 稱為學(xué)習(xí)常數(shù) , 其值決定了學(xué)習(xí)速率 , 也稱學(xué)習(xí)率。 圖中 r=r(Wj, X,dj)，代表 學(xué)習(xí)信號 ，該信號通常是 Wj和 X的函數(shù)，也是教師信號 dj的函數(shù)。 ? ? )( 4X (t)(t)dX (t),(t),Wηr(t)W jjj ?? 不同的學(xué)習(xí)規(guī)則，對 r(Wj, X, dj)有不同的定義，從而形成各種各樣的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則：下面對常用學(xué)習(xí)規(guī)則作一簡要介紹，其具體應(yīng)用將在后續(xù)各章中展開。 基于離散時間調(diào)整時，下一時刻的權(quán)向量應(yīng)為 167。 Hebbian學(xué)習(xí)規(guī)則 167。 Perceptron（感知器）學(xué)習(xí)規(guī)則 167。 δ(Delta)學(xué)習(xí)規(guī)則 167。 WidrowHoff學(xué)習(xí)規(guī)則 167。 Correlation（相關(guān)）學(xué)習(xí)規(guī)則 167。 WinnerTakeAll（勝者為王）學(xué)習(xí)規(guī)則 167。 Outstar（外星）學(xué)習(xí)規(guī)則 167。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) (t)ΔW(t)W1)(tW jjj ??? Hebbian學(xué)習(xí)規(guī)則（ 1/3） )( 2 . 1 5X)f(Wr Tj?)( 2 .1 6 aX ) Xη f ( WΔW Tjj ? 1949年，心理學(xué)家 D. O. Hebb最早提出了關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的 “突觸修正” 的假設(shè)。 該假設(shè)指出，當(dāng)神經(jīng)元的突觸前膜電位與后膜電位同時為正時，突觸傳導(dǎo)增強(qiáng)，當(dāng)前膜電位與后膜電位正負(fù)相反時，突觸傳導(dǎo)減弱，也就是說，當(dāng)神經(jīng)元與神經(jīng)元同時處于興奮狀態(tài)時，兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。 根據(jù)該假設(shè)定義的權(quán)值調(diào)整方法，稱為 Hebbian學(xué)習(xí)規(guī)則。 在 Hebbian學(xué)習(xí)規(guī)則中 , 學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出 權(quán)向量的調(diào)整公式為 權(quán)向量中 , 每個分量的調(diào)整由下式確定 )(2 . 16 bxηoX )xη f (WΔw jjiTjij ?? 上式表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。 在這種情況下， Hebbian學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時出現(xiàn)權(quán)值無約束增長。 此外，權(quán)值還要初始化，即在學(xué)習(xí)開始前 (t=0)，先對 Wj(0)賦予零附近的小隨機(jī)數(shù)。 下面用一個簡單的例子說明