人工神經(jīng)網(wǎng)絡及其應用第5講hopfield網(wǎng)絡(編輯修改稿)
2024-11-04 15:32 本頁面
【文章內(nèi)容簡介】 的存儲的加入并不改變原有的存儲，且與原存儲無關(guān) 2020/11/4 29 聯(lián)想記憶與優(yōu)化計算 ? 聯(lián)想記憶問題 – 穩(wěn)定狀態(tài)已知并且通過學習和設計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡中 ? 優(yōu)化計算 – 權(quán)值矩陣 W已知，目的為尋找具有最小能量 E的穩(wěn)定狀態(tài) – 主要工作為設計相應的 W和能量函數(shù)公式 2020/11/4 30 三、 DHNN 神經(jīng)元狀態(tài)更新方式 網(wǎng)絡學習 網(wǎng)絡記憶容量 權(quán)值設計 2020/11/4 31 狀態(tài)更新 ? 由 1變?yōu)?1；由 1變?yōu)?1；狀態(tài)保持不變 ? 串行異步方式 – 任意時刻隨機地或確定性地選擇網(wǎng)絡中的一個神經(jīng)元進行狀態(tài)更新，而其余神經(jīng)元的狀態(tài)保持不變 ? 并行同步方式 – 任意時刻網(wǎng)絡中部分神經(jīng)元 (比如同一層的神經(jīng)元 )的狀態(tài)同時更新。如果任意時刻網(wǎng)絡中全部神經(jīng)元同時進行狀態(tài)更新，那么稱之為全并行同步方式 2020/11/4 32 狀態(tài)更新 ? 串行異步方式 – 任一時刻，網(wǎng)絡中只有一個神經(jīng)元被選擇進行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達到某種穩(wěn)態(tài)。 – 實現(xiàn)上容易，每個神經(jīng)元有自己的狀態(tài)更新時刻，不需要同步機制； – 異步狀態(tài)更新更接近實際的生物神經(jīng)系統(tǒng)的表現(xiàn) ? 并行同步方式 2020/11/4 33 網(wǎng)絡學習 ? 聯(lián)想記憶 – 聯(lián)想記憶功能是 DHNN的一個重要應用范圍。 – DHNN用于聯(lián)想記憶有兩個突出的特點，即記憶是分布式的，而聯(lián)想是動態(tài)的 – 反饋網(wǎng)絡實現(xiàn)聯(lián)想記憶必須具備的兩個基本條件 ? 網(wǎng)絡能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息； ? 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息 ? 學習目的 – 具有 q個不同的輸入樣本組 Pr q＝ [P1, P2 … Pq] – 通過學習方式調(diào)節(jié)計算有限的權(quán)值矩陣 W – 以每一組輸入樣本 Pk， k=1， 2， … ， q 作為系統(tǒng)的初始值 – 經(jīng)過網(wǎng)絡工作運行后，系統(tǒng)能收斂到各自輸入樣本矢量本身 2020/11/4 34 網(wǎng)絡學習 ? DHNN中運用海布調(diào)節(jié)規(guī)則 – 海布法則是一種無指導的死記式學習算法 – 當神經(jīng)元輸入與輸出節(jié)點的狀態(tài)相同 (即同時興奮或抑制 )時，從第 j個到第 i個神經(jīng)元之間的連接強度則增強，否則減弱 ? 當 k＝ 1時，對于第 i個神經(jīng)元，由海布學習規(guī)則可得網(wǎng)絡權(quán)值對輸入矢量的學習關(guān)系式為 – 其中， α ＞ 0， i＝ 1， 2… ， r； j=1， 2… ， r。在實際學習規(guī)則的運用中，一般取 α ＝ 1或 1/r 2020/11/4 35 網(wǎng)絡學習 ? 當 k由 1增加到 2，直至 q時，是在原有己設計出的權(quán)值的基礎上，增加一個新量 pjkpik， k＝ 2… , q ? 對網(wǎng)絡所有輸入樣本記憶權(quán)值的設計公式為 – 其中， α ＞ 0， i＝ 1， 2… ， r； j=1， 2… ， r。在實際學習規(guī)則的運用中，一般取 α ＝ 1或 1/r 2020/11/4 36 網(wǎng)絡學習 ? 向量形式表示 ? α ＝ 1時 ? 神經(jīng)網(wǎng)絡工具箱中采用海布公式求解網(wǎng)絡權(quán)矩陣變化的函數(shù)為 。 后者為帶有衰減學習速率的函數(shù) – dW＝ 1earnh(P， A， lr) – dW＝ learnhd(W， P， A， lr， dr)； – 對于簡單的情況 ， lr可以選擇 1；對于復雜的應用 ， 可取 lr＝~， dr＝ lr／ 3 2020/11/4 37 網(wǎng)絡學習 ? 簡單驗證 – q＝ 1， α ＝ l – 求出的權(quán)值 wij是否能夠保證 ai＝ pi？ – 對于第 i個輸出節(jié)點，有 2020/11/4 38 記憶容量 ? 設計 DHNN網(wǎng)絡的目的，是希望通過所設計的權(quán)值矩陣 W儲存多個期望模式 ? 當網(wǎng)絡只記憶一個穩(wěn)定模式時，該模式肯定被網(wǎng)絡準確無誤地記憶住，即所設計的 W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系 ? 但當需要記憶的模式增多時，網(wǎng)絡記憶可能出現(xiàn)問題 – 權(quán)值移動 – 交叉干擾 2020/11/4
教學課件相關(guān)推薦
鄂ICP備17016276號-1