【文章內容簡介】 用此種 。 輸出到輸入層有反響 .對復雜圖形的順序選擇和識別字符需要此類網絡 。 (3)屬有導師學習型網絡 (輸出值 教師信號 誤差 實現(xiàn)權值自適應 ) (4)屬于非線性映射網絡 第三十五頁，共六十三頁。 當提到具有單層計算神經元的網絡時，指的應是一個兩層前饋網絡〔輸入層和輸出層〕，當提到具有單隱層的網絡時，指的應是一個三層前饋網絡〔輸入層、隱層和輸出層〕。 2 反響型網絡 反響網絡是指其信息流向的特點。在反響網絡中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。 一般來說 :互連型網絡結構 屬于反響型網絡 第三十六頁，共六十三頁。 上面介紹的分類方法、結構形式和信息流向只是對目前常見的網絡結構的概括和抽象。實際應用的神經網絡可能同時兼有其中一種或幾種形式。 例如，從連接形式看，層次型網絡中可能出現(xiàn)局部的互連；從信息流向看，前饋網絡中可能出現(xiàn)局部反響。 綜合來看，前述的網絡模型可分別稱為：前饋層次型、前饋層內互連型、輸入輸出有反響的前饋層次型反響全互連型和反響局部互連型。 反響網絡特點 : (1)反響關系 全互聯(lián)網絡 。局部互聯(lián)網絡 . (2)屬于無導師學習網絡 (3)屬于非線性動力學系統(tǒng)網絡 第三十七頁，共六十三頁。 前饋層次型 前饋層內互連型 輸入輸出有反響的前饋層次型 反響全互連型 反響局部互連型 神經網絡的拓撲結構是決定神經網絡特性的第二大要素。 第三十八頁，共六十三頁。 神經網絡的開發(fā)工作分兩個階段 : 學習階段 (期 ):也稱自適應期或設計期 ,通過學習樣本或其他方法訓練權矩陣 。 工作階段 (期 ):各連接權成熟 (不再改變 ),求解實際問題 ,單元狀態(tài)變遷 ,以求到達穩(wěn)態(tài)解 . 第三十九頁，共六十三頁。 ? 人工神經網絡連接權確實定通常有兩種方法 ? 根據具體要求，直接計算，如 Hopfield網絡作優(yōu)化計算 ? 通過學習得到的。大多數人工神經網絡都采用這種方法 ? 學習是改變各神經元連接權值的有效方法，也是表達人工神經網絡智能特性最主要的標志。離開了學習，神經網絡就失去了誘人的自適應、自組織能力 學習方法是人工神經網絡研究中的核心問題 第四十頁，共六十三頁。 人類具有學習能力 ,人類的知識和智慧是在不斷的學習與實踐中逐漸形成和開展起來的。學習可定義為：“根據與環(huán)境的相互作用而發(fā)生的行為改變，其結果導致對外界刺激產生反響的新模式的建立〞。 學習過程離不開訓練 ,學習過程就是一種經過訓練而使個體在行為上產生較為持久改變的過程 .例如 ,游泳等體育技能的學習需要反復的訓練才能提高 ,數學等理論知識的掌握需要通過大量的習題進行練習 .一般來說 ,學習效果隨著訓練量的增加而提高 ,這就是學習的進步 . 網絡的運行一般分為學習〔訓練〕和工作兩個階段。學習的目的是為了從訓練數據中提取隱含的知識和規(guī)律，并存儲于網絡中供工作階段使用。 第四十一頁，共六十三頁。 學習的神經機制 ,涉及神經元如何分布、處理和存儲信息等。這樣的問題單用行為研究是不能答復的，必須把研究深入到細胞和分子水平。每一種心理功能，如記憶與思想，均歸因于神經細胞組群的活動。大腦中，功能性的神經元連接、突觸的形成是關鍵，醫(yī)學研究說明：神經元之間的突觸聯(lián)系，其根本局部是先天就有的，但其他局部是由于學習過程中頻繁地給予刺激而成長起來的。突觸的形成、穩(wěn)定與修飾等均與刺激有關，隨外界給予的刺激性質不同，能形成和改變神經元的突觸聯(lián)系。 神經網絡的全體連接權值可用一個矩陣 W表示，其整體內容反映了神經網絡對于所解決問題的知識存儲，神經網絡能夠通過對樣本的學習訓練，不斷改變網絡的連接權值以及拓撲結構，以使網絡的輸出不斷地接近期望輸出。這一過程稱為神經網絡的學習或訓練，其本質是對可變權值的動態(tài)調整。 第四十二頁，共六十三頁。 把修正權值的算法稱為學習規(guī)那么〔學習算法等〕。對單個處理單元，無論采用哪種學習規(guī)那么進行調整，其算法都十分簡單。但當大量處理單元集體進行權值調整時，網絡就呈現(xiàn)出“智能〞特性，其中有意義的信息就分布地存儲在調整后的權值矩陣 W中。 神經網絡具有學習功能是其最主要的特征之一 ,各種學習算法的研究在 ANN理論與實踐開展過程中起著重要作用 . 人工神經網絡的學習和計算機的機器學習有類似的分類，一類有導師學習 (從例子中學習 )，一類無導師學習 ,還有一類為死記式學習。在ANN中，學習規(guī)那么是修正權的一個算法，以獲得滿意的系統(tǒng)性能。 現(xiàn)有的學習規(guī)那么大體上可分為以下幾類： 第四十三頁，共六十三頁。 〔 1〕有導師學習規(guī)那么 (糾錯規(guī)那么 ) 依賴關于輸出節(jié)點的外部反響來改變權系數，使實際結點的輸出與外部的期望輸出相一致 ,即有導師學習規(guī)那么。從方法上看，基于或等效于梯度下降方法，通過在局部最大改善的方向上，按照小步逐次進行修正，力圖到達表示函數功能問題的全局解，但不能保證得到全局最優(yōu)解，同時還要求有大量的訓練樣本，因而收斂速度變慢。此外，這種規(guī)那么對樣本的表示次序變化比較敏感。 〔 2〕無導師學習規(guī)那么 學習表現(xiàn)為自適應于輸入空間的檢測規(guī)那么。該規(guī)那么的關鍵在于調整參數以反映觀察事件的分布，即是將事件空間分類成輸入活動區(qū)域，并有選擇地對這些區(qū)域響應。 〔 3〕死記式學習 (相關規(guī)那么 ) 僅根據連接之間的激活水平改變權系數。常用于自聯(lián)想網絡，執(zhí)行特殊記憶狀態(tài)的死記式學習。 第四十四頁，共六十三頁。 現(xiàn)在將要分別介紹常用的、根本的學習規(guī)那么。 可以認為，一個神經元是一個自適應單元，其權值可以根據它所接受的輸入信號、它的輸出信號以及對應的監(jiān)督信號進行調整。日本著名神經網絡學者 Amari于 1990年提出一種神經網絡權值調整的通用學習規(guī)那么，該規(guī)那么的圖解表示見以下圖。 學習信號發(fā)生 器jX r ( W j, X , d j) Δ W jη圖 權通用學習規(guī)則d jyjww 1j0j w i j w n jx 1 x i x nX1圖中的神經元 j是神經網絡中的某個節(jié)點，其輸入用向量 X表示，該輸入可以來自網絡外部，也可以來自其他神經元的輸出。 第四十五頁，共六十三頁。 學習信號發(fā)生 器jX r ( W j, X , d j) Δ W jη圖 權通用學習規(guī)則d jyjww 1j0j w i j w n jx 1 x i x nX1 第 i個輸入與神經元 j的連接權情用 wij表示，連接到神經元 j的全部權值構成了權向量Wj。應當注意的是，該神經元的閾值，對應的輸入分量 x0恒為 1。圖中， r＝ r(Wj， X，dj)稱學習信號，該信號通常是 W和 X的函數，而在有導師學習時，它也是教師信號 dj的函數。通用學習規(guī)那么可表達為：權向量 Wj在 t時刻的調整量 ΔWj〔 t〕與 t時刻的輸入向量X〔 t〕和學習信號 r的乘積成正比。用數學式表示為 ΔWj〔 t〕 =ηr[Wj〔 t〕 ,X(t),dj(t)]X〔 t〕 第四十六頁，共六十三頁。 ΔWj〔 t〕 =ηr[Wj〔 t〕 ,X(t),dj(t)]X〔 t〕 式中， η為正數，稱為學習常數，其值決定了學習速率，也稱學習率。 基于離散時間調整時，下一時刻的權向量應為