【文章內(nèi)容簡(jiǎn)介】 說(shuō)明。 f oj ∑ wnj wij w1j j x1 … xi … xn )(T)t(xwf)1t(o jn1iiijj??????????????? ?? 神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的 6點(diǎn)假定。 多輸入單輸出 。 (n個(gè)輸入 。 1個(gè)輸出 ) 突觸分興奮性和抑制性 。 (wij可正可負(fù)、可大可小 ) 有空間整合特性和閥值特性 。 (∑求和 , Tj) 輸入與輸出間有固定的時(shí)滯 。 忽略時(shí)間整合作用和不應(yīng)期 。 非時(shí)變，即突觸時(shí)延和突觸強(qiáng)度為常數(shù)。 人工神經(jīng)網(wǎng)絡(luò)模型 生物神經(jīng)網(wǎng)絡(luò)由數(shù)以?xún)|計(jì)的生物神經(jīng)元連接而成，而人工神經(jīng)網(wǎng)絡(luò)限于物理實(shí)現(xiàn)的困難和為了計(jì)算簡(jiǎn)便，是由相對(duì)少量的神經(jīng)元按一定規(guī)律構(gòu)成的網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱(chēng)為節(jié)點(diǎn)或處理單元，每個(gè)節(jié)點(diǎn)均具有相同的結(jié)構(gòu)，其動(dòng)作在時(shí)間上同步。 人工神經(jīng)網(wǎng)絡(luò)的模型很多，可以按照不同的方法進(jìn)行分類(lèi)。其中常見(jiàn)的兩種分類(lèi)方法是， 按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類(lèi)和按網(wǎng)絡(luò)內(nèi)部的信息流向分類(lèi) 。 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類(lèi)型 根據(jù)神經(jīng)元之間的連接方式，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類(lèi) (層次型結(jié)構(gòu) 和互連型結(jié)構(gòu) )。 層次型結(jié)構(gòu) (1/4) 層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能分成若干層，如輸入層、中間層（也稱(chēng)為隱層）和輸出層，各層順序相連，如圖。 圖 單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 輸出層 中間層 (也稱(chēng)隱層 ) 輸入層 圖 單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 輸出層 中間層 (也稱(chēng)隱層 ) 輸入層 層次型結(jié)構(gòu) (2/4) 輸入層各神經(jīng)元負(fù)責(zé)接受來(lái)自外界的輸入信息，并傳遞給中間各隱層神經(jīng)元； 隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變換能力的需要，隱層可設(shè)計(jì)為 一層或多層 ； 最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息經(jīng)近一步處理后，即完成一次從輸入到輸出的信息處理，由輸出層向外界（如執(zhí)行機(jī)構(gòu)或顯示設(shè)備）輸出信息處理結(jié)果。 層次型結(jié)構(gòu) (3/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。 (1)單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 如圖 ，神經(jīng)元分層排列，各層神經(jīng)元接受前一層輸入并輸出到下一層，層內(nèi)神經(jīng)元自身以及神經(jīng)元之間不存在連接通路。 圖 單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 層次型結(jié)構(gòu) (3/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。 (2)輸出層到輸入層有連接的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖 ，輸出層到輸入層有連接路徑。輸入層神經(jīng)元既可接受輸入，也具有信息處理功能。 層次型結(jié)構(gòu) (4/4) 層次型網(wǎng)絡(luò)結(jié)構(gòu)有 3種典型的結(jié)合方式。 (3)層內(nèi)有互連的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖 ，這種結(jié)構(gòu)的特點(diǎn)是在同一層內(nèi)引入神經(jīng)元間的側(cè)向作用，使得能同時(shí)激活的神經(jīng)元個(gè)數(shù)可控，以實(shí)現(xiàn)各層神經(jīng)元的自組織。 互連型結(jié)構(gòu) (1/2) 對(duì)于互連型網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑，因此根據(jù)網(wǎng)絡(luò)中節(jié)點(diǎn)的互連程度將互連型網(wǎng)絡(luò)結(jié)構(gòu)細(xì)分為 3種情況。 (1)全互連型 網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)均與所有其他節(jié)點(diǎn)連接，如圖。 互連型結(jié)構(gòu) (2/2) (2)局部互連型 網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)只與其鄰近的節(jié)點(diǎn)有連接，如圖 示。 (3)稀疏連接型 網(wǎng)絡(luò)中的節(jié)點(diǎn)只與少數(shù)相距較遠(yuǎn)的節(jié)點(diǎn)相連。 網(wǎng)絡(luò)信息流向類(lèi)型 從神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來(lái)分，可分為兩種類(lèi)型：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。 前饋型網(wǎng)絡(luò) (1/2) 單純前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖 網(wǎng)絡(luò)完全相同，前饋是因信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行而得名。 從信息處理能力看，網(wǎng)絡(luò)中的節(jié)點(diǎn)可分為兩種：一種是輸入節(jié)點(diǎn)，只負(fù)責(zé)引入信息后向前傳遞給第一隱層；另一種是具有處理能力的節(jié)點(diǎn)，包括各隱層和輸出層節(jié)點(diǎn)。 前饋型網(wǎng)絡(luò) (2/2) 在前饋型網(wǎng)絡(luò)中，一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進(jìn)行的方向性，一般不存在反饋環(huán)路。 這類(lèi)前饋型網(wǎng)絡(luò)很容易串聯(lián)起來(lái)建立多層前饋網(wǎng)絡(luò)。 多層前饋網(wǎng)絡(luò)可以看成是一個(gè)有向無(wú)環(huán)路的網(wǎng)絡(luò)。其中輸入層記為網(wǎng)絡(luò)的第一層，第一個(gè)隱層記為網(wǎng)絡(luò)的第二層，其余類(lèi)推。 所以，當(dāng)提到具有單層計(jì)算神經(jīng)元的網(wǎng)絡(luò)時(shí)，指的應(yīng)是一個(gè)兩層前饋網(wǎng)絡(luò)（輸入層和輸出層），當(dāng)提到具有單隱層的網(wǎng)絡(luò)時(shí)，指的應(yīng)是一個(gè)三層前饋網(wǎng)絡(luò)（輸入層、隱層和輸出層）。 反饋型網(wǎng)絡(luò) 單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖 構(gòu)完全相同，稱(chēng)為反饋網(wǎng)絡(luò)是指其信息流向的特點(diǎn)。 在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接受輸入，同時(shí)又可以向外界輸出。 反饋型網(wǎng)絡(luò) 單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖 構(gòu)完全相同，稱(chēng)為反饋網(wǎng)絡(luò)是指其信息流向的特點(diǎn)。 在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接受輸入，同時(shí)又可以向外界輸出。 單層全互連結(jié)構(gòu)網(wǎng)絡(luò)是一種典型的反饋型網(wǎng)絡(luò)，可以用圖向圖表示。 x1 x2 ? xi ? xn T1 T2 ? Ti ? Ti 以上介紹的 人工神經(jīng)網(wǎng)絡(luò)模型 的分類(lèi)方法、結(jié)構(gòu)形式和信息流向 只是對(duì)目前常見(jiàn)的網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象 。 實(shí)際應(yīng)用的神經(jīng)網(wǎng)絡(luò)，可能同時(shí)兼有其中一種或幾種形式。例如，從連接形式看，層次型網(wǎng)絡(luò)中可能出現(xiàn)局部的互連；從信息流向看，前饋網(wǎng)絡(luò)中可能出現(xiàn)局部反饋。 神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素， 其特點(diǎn)可歸納為分布式存儲(chǔ)記憶與分布式信息處理、高度互連性、高度并行性和結(jié)構(gòu)可塑性。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 人工神經(jīng)網(wǎng)絡(luò)的 功能特性 由 其連接的拓?fù)浣Y(jié)構(gòu) 和突觸連接強(qiáng)度，即 連接權(quán)值決定 。 神經(jīng)網(wǎng)絡(luò)的全體連接權(quán)值可用一個(gè)矩陣表示，其整體內(nèi)容反映了神經(jīng)網(wǎng)絡(luò)對(duì)于所解決問(wèn)題的知識(shí)存儲(chǔ)。 神經(jīng)網(wǎng)絡(luò)能夠通過(guò)對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。 這一過(guò)程稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是對(duì)可變權(quán)值的動(dòng)態(tài)調(diào)整 。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素，因此有關(guān)學(xué)習(xí)的研究在神經(jīng)網(wǎng)絡(luò)研究中具有重要地位。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 改變權(quán)值的規(guī)則稱(chēng)為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法 （亦稱(chēng)訓(xùn)練規(guī)則或訓(xùn)練算法），如果只是單個(gè)處理單元，無(wú)論采用哪種學(xué)習(xí)規(guī)則進(jìn)行調(diào)整，其算法都十分簡(jiǎn)單。但當(dāng)大量處理單元集體進(jìn)行權(quán)值調(diào)整時(shí)，網(wǎng)絡(luò)就呈現(xiàn)出 “ 智能 ” 特性，其中有意義的信息就分布地存儲(chǔ)在調(diào)整后的權(quán)值矩陣中。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法很多，根據(jù)一種廣泛采用的分類(lèi)方法，可將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法歸納為三類(lèi)： 一是有導(dǎo)師學(xué)習(xí)； 二為無(wú)導(dǎo)師學(xué)習(xí)； 三是死記式學(xué)習(xí)。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 有導(dǎo)師學(xué)習(xí) 也稱(chēng)為有監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯(cuò)規(guī)則。 在學(xué)習(xí)訓(xùn)練過(guò)程中需要不斷給網(wǎng)絡(luò) 成對(duì)地提供 一個(gè)輸入模式和一個(gè)期望網(wǎng)絡(luò)正確輸出的模式，稱(chēng)為“教師信號(hào)”。 將神經(jīng)網(wǎng)絡(luò)的 實(shí)際輸出 與 期望輸出 進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號(hào)不符時(shí)，根據(jù)差錯(cuò)的方向和大小 按一定的規(guī)則調(diào)整權(quán)值 ，以使網(wǎng)絡(luò)的輸出更接近期望的輸出。 對(duì)于有導(dǎo)師學(xué)習(xí)，網(wǎng)絡(luò)在執(zhí)行工作任務(wù)之前必須先學(xué)習(xí)訓(xùn)練，當(dāng)網(wǎng)絡(luò)輸入均能產(chǎn)生所期望的輸出時(shí)，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會(huì)”了訓(xùn)練數(shù)據(jù)集中包含的知識(shí)和規(guī)則，可以用來(lái)進(jìn)行工作了。網(wǎng)絡(luò)工作時(shí)，網(wǎng)絡(luò)的 權(quán)值不再調(diào)整。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 無(wú)導(dǎo)師學(xué)習(xí) 也稱(chēng)為無(wú)監(jiān)督學(xué)習(xí)。在學(xué)習(xí)過(guò)程中，需要不斷地給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息。 網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息 調(diào)整權(quán)值 ，這個(gè)過(guò)程稱(chēng)為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對(duì)屬于同一類(lèi)的模式進(jìn)行自動(dòng)分類(lèi)。 在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的 權(quán)值調(diào)整 不取決于外來(lái)教師信號(hào)的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。 對(duì)于無(wú)導(dǎo)師學(xué)習(xí)，網(wǎng)絡(luò)也是學(xué)習(xí)訓(xùn)練，后用來(lái)進(jìn)行工作。網(wǎng)絡(luò)工作時(shí)，網(wǎng)絡(luò)的 權(quán)值不再調(diào)整。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 有導(dǎo)師學(xué)習(xí) 和 無(wú)導(dǎo)師學(xué)習(xí) ，哪種學(xué)習(xí)好了？ 在有導(dǎo)師學(xué)習(xí)中，提供給神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的外部指導(dǎo)信息越多，神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)并掌握的知識(shí)越多，解決問(wèn)題的能力也就超強(qiáng)。但是，有時(shí)神經(jīng)網(wǎng)絡(luò)所解決的問(wèn)題的先驗(yàn)信息很少，甚至沒(méi)有，這種情況下無(wú)導(dǎo)師學(xué)習(xí)就顯得更有實(shí)際意義。 死記式學(xué)習(xí) 是指網(wǎng)絡(luò)事先設(shè)計(jì)成能記憶特定的例子，在使用時(shí)，當(dāng)給定有關(guān)該例子的輸入信息時(shí)，例子便被回憶起來(lái)。 在死記式學(xué)習(xí)中，網(wǎng)絡(luò)的權(quán)值一旦設(shè)計(jì)好了就不再變動(dòng)，因此其學(xué)習(xí)是一次性的 (設(shè)計(jì) )，而不是一個(gè)訓(xùn)練過(guò)程。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 網(wǎng)絡(luò)的運(yùn)行一般分為 訓(xùn)練和工作 兩個(gè)階段。 訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識(shí)和規(guī)律，并存儲(chǔ)于網(wǎng)絡(luò)中供工作階段使用。 在訓(xùn)練時(shí)，可以認(rèn)為，一個(gè)神經(jīng)元是一個(gè)自適應(yīng)單元，其權(quán)值可以根據(jù)它所接受的 輸入信號(hào) 、它的 輸出信號(hào) 以及對(duì)應(yīng)的 監(jiān)督信號(hào) (希望的輸出 )進(jìn)行調(diào)整。 一種神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則，如圖。 ? ? )( 3X (t)(t)dX (t),(t),Wηr(t)ΔW jjj ? 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 通用學(xué)習(xí)規(guī)則可表達(dá)為：權(quán)向量 Wj在 t時(shí)刻的調(diào)整量 ΔWj(t)與 t時(shí)刻的輸入向量 X(t)和學(xué)習(xí)信號(hào) r的乘積成正比。用數(shù)學(xué)式表示為 式中， η為正數(shù) , 稱(chēng)為學(xué)習(xí)常數(shù) , 其值決定了學(xué)習(xí)速率 , 也稱(chēng)學(xué)習(xí)率。 圖中 r=r(Wj, X,dj)，代表 學(xué)習(xí)信號(hào) ，該信號(hào)通常是 Wj和 X的函數(shù)，也是教師信號(hào) dj的函數(shù)。 ? ? )( 4X (t)(t)dX (t),(t),Wηr(t)W jjj ?? 不同的學(xué)習(xí)規(guī)則，對(duì) r(Wj, X, dj)有不同的定義，從而形成各種各樣的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則：下面對(duì)常用學(xué)習(xí)規(guī)則作一簡(jiǎn)要介紹，其具體應(yīng)用將在后續(xù)各章中展開(kāi)。 基于離散時(shí)間調(diào)整時(shí)，下一時(shí)刻的權(quán)向量應(yīng)為 167。 Hebbian學(xué)習(xí)規(guī)則 167。 Perceptron（感知器）學(xué)習(xí)規(guī)則 167。 δ(Delta)學(xué)習(xí)規(guī)則 167。 WidrowHoff學(xué)習(xí)規(guī)則 167。 Correlation（相關(guān)）學(xué)習(xí)規(guī)則 167。 WinnerTakeAll（勝者為王）學(xué)習(xí)規(guī)則 167。 Outstar（外星）學(xué)習(xí)規(guī)則 167。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) (t)ΔW(t)W1)(tW jjj ??? Hebbian學(xué)習(xí)規(guī)則（ 1/3） )( 2 . 1 5X)f(Wr Tj?)( 2 .1 6 aX ) Xη f ( WΔW Tjj ? 1949年，心理學(xué)家 D. O. Hebb最早提出了關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的 “突觸修正” 的假設(shè)。 該假設(shè)指出，當(dāng)神經(jīng)元的突觸前膜電位與后膜電位同時(shí)為正時(shí)，突觸傳導(dǎo)增強(qiáng)，當(dāng)前膜電位與后膜電位正負(fù)相反時(shí)，突觸傳導(dǎo)減弱，也就是說(shuō)，當(dāng)神經(jīng)元與神經(jīng)元同時(shí)處于興奮狀態(tài)時(shí)，兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。 根據(jù)該假設(shè)定義的權(quán)值調(diào)整方法，稱(chēng)為 Hebbian學(xué)習(xí)規(guī)則。 在 Hebbian學(xué)習(xí)規(guī)則中 , 學(xué)習(xí)信號(hào)簡(jiǎn)單地等于神經(jīng)元的輸出 權(quán)向量的調(diào)整公式為 權(quán)向量中 , 每個(gè)分量的調(diào)整由下式確定 )(2 . 16 bxηoX )xη f (WΔw jjiTjij ?? 上式表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。 在這種情況下， Hebbian學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時(shí)出現(xiàn)權(quán)值無(wú)約束增長(zhǎng)。 此外，權(quán)值還要初始化，即在學(xué)習(xí)開(kāi)始前 (t=0)，先對(duì) Wj(0)賦予零附近的小隨機(jī)數(shù)。 下面用一個(gè)簡(jiǎn)單的例子說(shuō)明