hopfield神經網絡及其應用教學課件ppt(編輯修改稿)
2024-11-14 13:10 本頁面
【文章內容簡介】 29 DHNN ? DHNN – 取 b＝ 0， wii＝ 0 – 權矩陣中有 wij＝ wji 2021/11/10 30 DHNN – DHNN網絡結構可以用一個加權向量圖表示 2021/11/10 31 ?穩(wěn)定狀態(tài) –若網絡從某一時刻以后，狀態(tài)不再發(fā)生變化，則稱網絡處于穩(wěn)定狀態(tài) –網絡為對稱連接，即；神經元自身無連接 – 能量函數在網絡運行中不斷降低，最后達到穩(wěn)定 n n n11 11E2 ij i j i iij ii j j iw v v b v?? ???? ? ?? ? ?( ) ( ) 0v t t v t t? ? ? ? ?2021/11/10 32 ? 網絡中神經元能量函數變化量 n11E2i ij i j i iiijw v v b v??? ? ??? ?nn11n1E E ( 1 ) E ( )11( 1 ) ( 1 ) ( ) ( )221( 1 ) ( )2i i iij i j i i ij i j i iiii j i ji i ij j iiijttw v t v b v t w v t v b v tv t v t w v b??????? ? ? ?? ? ? ? ? ?????? ? ? ??????????－＝E0i??Hopfield網絡狀態(tài)向著能量函數減小的方向演化。由于能量函數有界，所以系統(tǒng)必然會趨于穩(wěn)定狀態(tài) 。 2021/11/10 33 CHNN ? 將霍普菲爾德網絡推廣到輸入和輸出都取連續(xù)數值的情形 ? 網絡的基本結構不變，狀態(tài)輸出方程形式上也相同。則網絡的狀態(tài)轉移方程可寫為 2021/11/10 34 CHNN ? 神經元的激活函數 f為 S型的函數 (或線性飽和函數） 2021/11/10 35 CHNN ? 神經元的激活函數 f為 S型的函數 (或線性飽和函數） 2021/11/10 36 聯想記憶與優(yōu)化計算 ? 聯想記憶問題 – 穩(wěn)定狀態(tài)已知并且通過學習和設計算法尋求合適的權值矩陣將穩(wěn)定狀態(tài)存儲到網絡中 ? 優(yōu)化計算 – 權值矩陣 W已知，目的為尋找具有最小能量 E的穩(wěn)定狀態(tài) – 主要工作為設計相應的 W和能量函數公式 2021/11/10 37 三、 DHNN 神經元狀態(tài)更新方式 網絡學習 網絡記憶容量 權值設計 2021/11/10 38 狀態(tài)更新 ? 由 1變?yōu)?1；由 1變?yōu)?1；狀態(tài)保持不變 ? 串行異步方式 – 任意時刻隨機地或確定性地選擇網絡中的一個神經元進行狀態(tài)更新，而其余神經元的狀態(tài)保持不變 2021/11/10 39 狀態(tài)更新 ? 串行異步方式 – 任一時刻，網絡中只有一個神經元被選擇進行狀態(tài)更新或保持，所以異步狀態(tài)更新的網絡從某一初態(tài)開始需經過多次更新狀態(tài)后才可以達到某種穩(wěn)態(tài)。 – 實現上容易，每個神經元有自己的狀態(tài)更新時刻，不需要同步機制； – 異步狀態(tài)更新更接近實際的生物神經系統(tǒng)的表現 ? 并行同步方式 – 任意時刻網絡中部分神經元 (比如同一層的神經元 )的狀態(tài)同時更新。如果任意時刻網絡中全部神經元同時進行狀態(tài)更新，那么稱之為全并行同步方式 2021/11/10 40 網絡學習 ?聯想記憶 – 聯想記憶功能是 DHNN的一個重要應用范圍。 – 反饋網絡實現聯想記憶必須具備的兩個基本條件 ? 網絡能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息； ? 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息 ? 學習目的 – 具有 q個不同的輸入樣本組 Pr q＝ [P1, P2 … Pq] – 通過學習方式調節(jié)計算有限的權值矩陣 W – 以每一組輸入樣本 Pk， k=1， 2， … ， q 作為系統(tǒng)的初始值 – 經過網絡工作運行后，系統(tǒng)能收斂到各自輸入樣本矢量本身 2021/11/10 41 網絡學習 ? DHNN中運用海布調節(jié)規(guī)則 (hebb) – 海布法則是一種無指導的死記式學習算法 – 當神經元輸入與輸出節(jié)點的狀態(tài)相同 (即同時興奮或抑制 )時，從第 j個到第 i個神經元之間的連接強度則增強，否則減弱 ? 當 k＝ 1時，對于第 i個神經元，由海布學習規(guī)則可得網絡權值對輸入矢量的學習關系式為 – 其中， α ＞ 0， i＝ 1， 2… ， r； j=1， 2… ， r。在實際學習規(guī)則的運用中，一般取 α ＝ 1或 1/r 2021/11/10 42 網絡學習 ? 當 k由 1增加到 2，直至 q時，是在原有己設計出的權值的基礎上，增加一個新量 pjkpik， k＝ 2… , q ? 對網絡所有輸入
教學課件相關推薦
鄂ICP備17016276號-1