【文章內(nèi)容簡介】 級網(wǎng) … … x1 x2 … xn o1 o2 on wnm w11 w1m w2m wn1 輸出層 輸入層 33 ? 單層網(wǎng)絡結構有時也稱兩層網(wǎng)絡結構 單層或兩層神經(jīng)網(wǎng)絡結構是早期神經(jīng)網(wǎng)絡模型的互連模式，這種互連模式是最簡單的層次結構。 ? 1）不允許屬于同一層次間的神經(jīng)元互連。 ? 2）允許同一層次間的神經(jīng)元互連，則稱為 帶側抑制的連接（或橫向反饋） 。 ? 此外，在有些雙層神經(jīng)網(wǎng)絡中，還允許不同層之間有反饋連接。 輸出層 x1 o1 w11 w1m x2 o2 w2m … … … xn om wn1 輸入層 V 34 ? 多層網(wǎng)絡結構 通常把三層和三層以上的神經(jīng)網(wǎng)絡結構稱為 多層神經(jīng)網(wǎng)絡結構 。所有神經(jīng)元按功能分為若干層。一般有 輸入層 、 隱層（中間層） 和 輸出層 。 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 35 ? 多層網(wǎng)絡結構 ? 1） 輸入層 節(jié)點上的神經(jīng)元接受外部環(huán)境的輸入模式，并由它傳遞給相連隱層上的各個神經(jīng)元。 2） 隱層 是神經(jīng)元網(wǎng)絡的內(nèi)部處理層，這些神經(jīng)元再在網(wǎng)絡內(nèi)部構成中間層，由于它們不直接與外部輸入、輸出打交道，故稱隱層。人工神經(jīng)網(wǎng)絡所具有的模式變換能力主要體現(xiàn)在隱層的神經(jīng)元上。 3） 輸出層 用于產(chǎn)生神經(jīng)網(wǎng)絡的輸出模式。 較有代表性的多層網(wǎng)絡模型有： 前向網(wǎng)絡模型 、 多層側抑制神經(jīng)網(wǎng)絡模型 和 帶有反饋的多層神經(jīng)網(wǎng)絡模型 等。 36 ? 多層前向神經(jīng)網(wǎng)絡 多層前向神經(jīng)網(wǎng)絡模型 如圖 58所示。輸入模式：由輸入層進入網(wǎng)絡，經(jīng)中間各層的順序變換，最后由輸出層產(chǎn)生一個輸出模式，便完成一次網(wǎng)絡更新。 前向網(wǎng)絡的連接模式不具有側抑制和反饋的連接方式。 ……… ……… ……… 圖 58 多層前向神經(jīng)網(wǎng)絡模型 37 ? 多層側抑制神經(jīng)網(wǎng) 同一層內(nèi)有相互連接 的多層前向網(wǎng)絡，它允許網(wǎng)絡中同一層上的神經(jīng)元之間相互連接，如圖 59所示。這種連接方式將形成同一層的神經(jīng)元彼此之間的牽制作用，可實現(xiàn)同一層上神經(jīng)元之間的橫向抑制或興奮的機制。這樣可以用來限制同一層內(nèi)能同時激活神經(jīng)元的個數(shù)，或者把每一層內(nèi)的神經(jīng)元分成若干組，讓每組作為一個整體來動作。 ……… ……… ……… 圖 59 多層側抑制神經(jīng)網(wǎng)絡 38 ? 帶有反饋的多層神經(jīng)網(wǎng)絡 這是一種允許輸出層 隱層，隱層中各層之間，隱層 輸入層之間具有反饋連接的方式，反饋的結果將構成封閉環(huán)路。 x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … 39 ? 帶有反饋的多層神經(jīng)網(wǎng)絡 這種神經(jīng)網(wǎng)絡和前向多層神經(jīng)網(wǎng)絡不同。多層前向神經(jīng)網(wǎng)絡屬于非循環(huán)連接模式，它的每個神經(jīng)元的輸入都沒有包含該神經(jīng)元先前的輸出，因此可以說是沒有 “ 短期記憶 ” 的。但帶反饋的多層神經(jīng)網(wǎng)絡則不同，它的每個神經(jīng)元的輸入都有可能包含有該神經(jīng)元先前的輸出反饋信息。因此，它的輸出要由當前的輸入和先前的輸出兩者來決定，這有點類似于人類短期記憶的性質(zhì)。 40 ?人工神經(jīng)網(wǎng)絡的運行一般分為學習和工作兩個階段。 41 ?人工神經(jīng)網(wǎng)絡學習 人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習能力。 人工神經(jīng)網(wǎng)絡學習和記憶的心理學基礎 學習和記憶是人類智能的一個重要特征。有一種觀點認為，人類的學習過程實際上是一種經(jīng)過訓練而使個體在行為上產(chǎn)生較為持久改變的過程。按照這種觀點，學習離不開訓練。 42 ?人工神經(jīng)網(wǎng)絡學習 學習和記憶同樣也應該是人工神經(jīng)網(wǎng)絡的一個重要特征。 人工神經(jīng)網(wǎng)絡的 學習過程就是它的訓練過程 。人工神經(jīng)網(wǎng)絡的功能特性由其連接的 拓撲結構 和突觸 連接強度 （即連接權值）來確定。神經(jīng)網(wǎng)絡訓練的實質(zhì)是通過對樣本集的輸入 /輸出模式反復作用于網(wǎng)絡，網(wǎng)絡按照一定的學習算法自動調(diào)節(jié)神經(jīng)元之間的連接強度 （閾值） 或拓撲結構，當網(wǎng)絡的實際輸出滿足期望要求，或者趨于穩(wěn)定時，則認為學習圓滿結束。 43 ? 現(xiàn)以人工神經(jīng)網(wǎng)絡對手寫 “ A” 、 “ B” 兩個字母的識別為例進行說明，規(guī)定當 “ A” 輸入網(wǎng)絡時，應該輸出 “ 1” ，而當輸入為 “ B” 時，輸出為 “ 0” 。 ? 網(wǎng)絡學習的準則應該是：如果網(wǎng)絡作出錯誤的的判決，則通過網(wǎng)絡的學習，應使得網(wǎng)絡減少下次犯同樣錯誤的可能性。首先，給網(wǎng)絡的各連接權值賦予(0， 1)區(qū)間內(nèi)的隨機值，將 “ A” 所對應的圖象模式輸入給網(wǎng)絡，網(wǎng)絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網(wǎng)絡的輸出。在此情況下，網(wǎng)絡輸出為 “ 1” 和 “ 0” 的概率各為 50%，也就是說是完全隨機的。這時如果輸出為 “ 1” (結果正確 )，則使連接權值增大，以便使網(wǎng)絡再次遇到“ A” 模式輸入時，仍然能作出正確的判斷。 ? 如果輸出為 “ 0” (即結果錯誤 )，則把網(wǎng)絡連接權值朝著減小綜合輸入加權值的方向調(diào)整，其目的在于使網(wǎng)絡下次再遇到 “ A” 模式輸入時，減小犯同樣錯誤的可能性。如此操作調(diào)整，當給網(wǎng)絡輪番輸入若干個手寫字母 “ A” 、“ B” 后，經(jīng)過網(wǎng)絡按以上學習方法進行若干次學習后，網(wǎng)絡判斷的正確率將大大提高。這說明網(wǎng)絡對這兩個模式的學習已經(jīng)獲得了成功，它已將這兩個模式分布地記憶在網(wǎng)絡的各個連接權值上。當網(wǎng)絡再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。一般說來，網(wǎng)絡中所含的神經(jīng)元個數(shù)越多，則它能記憶、識別的模式也就越多。 44 ?人工神經(jīng)網(wǎng)絡的學習算法 ?學習算法是人工神經(jīng)網(wǎng)絡研究中的核心問題 神經(jīng)網(wǎng)絡學習算法有很多，大體可分為 有導師學習（ Supervised Learning）、 和 無導師學習 （ Unsupervised Learning） 兩大類，另外還有一類死記式學習。 45 有導師學習 一般需要事先收集樣本數(shù)據(jù)。將數(shù)據(jù)分為訓練集和檢驗集兩部分，以保證所訓練出的神經(jīng)網(wǎng)絡同時具有擬合精度和泛化能力。 46 47 48 ? 神經(jīng)網(wǎng)絡的學習規(guī)則 日本著名神經(jīng)網(wǎng)絡學者 Amari 于 1990年提出一種神經(jīng)網(wǎng)絡權值訓練的通用學習規(guī)則。 η 是一正的常量，其值決定了學習的速率，也稱為 學習率或學習因子 ； t時刻權值的調(diào)整量與 t時刻的輸入量和 學習信號 r的乘積成正比。 49 ? Hebb