神經(jīng)網(wǎng)絡(luò)－h(huán)opfield網(wǎng)絡(luò)(論文資料)(編輯修改稿)
2025-01-31 15:19 本頁面
【文章內(nèi)容簡介】 圖 霍普菲爾德網(wǎng)絡(luò)圖 由圖 (a)，考慮到 DHNN的權(quán)值特性 wij＝ wji，網(wǎng)絡(luò)各節(jié)點加權(quán)輸入和分別為： 對于以符號函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為： 聯(lián)想記憶 聯(lián)想記憶功能是 DHNN的一個重要應(yīng)用范圍。要想實現(xiàn)聯(lián)想記憶，反饋網(wǎng)絡(luò)必須具有兩個基本條件： ① 網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息； ② 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。 DHNN實現(xiàn)聯(lián)想記憶的過程分為兩個階段：學(xué)習(xí)記憶階段和聯(lián)想回憶階段。 在學(xué)習(xí)記憶階段中，設(shè)計者通過某一設(shè)計方法確定一組合適的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點。聯(lián)想回憶階段則是網(wǎng)絡(luò)的工作過程。 反饋網(wǎng)絡(luò)有兩種基本的工作方式：串行異步和并行同步方式。 1) 串行異步方式： 2) 并行同步方式： 在狀態(tài)更新過程中，包括三種情況：由 1變?yōu)?1；由 1變?yōu)?1及狀態(tài)保持不變。 在任一時刻，網(wǎng)絡(luò)中只有一個神經(jīng)元被選擇進行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達到某種穩(wěn)態(tài)。 這種更新方式的特點是： ① 實現(xiàn)上容易，每個神經(jīng)元有自己的狀態(tài)更新時刻，不需要同步機制； ② 功能上的串行狀態(tài)更新可以限制網(wǎng)絡(luò)的輸出狀態(tài)，避免不同穩(wěn)態(tài)等概率的出現(xiàn)； ③ 異步狀態(tài)更新更接近實際的生物神經(jīng)系統(tǒng)的表現(xiàn)。 DHNN的海布 (Hebb)學(xué)習(xí)規(guī)則 在 DHNN的網(wǎng)絡(luò)訓(xùn)練過程中，運用的是海布調(diào)節(jié)規(guī)則： 當(dāng)神經(jīng)元輸入與輸出節(jié)點的狀態(tài)相同 (即同時興奮或抑制 )時，從第 j個到第 i個神經(jīng)元之間的連接強度則增強，否則則減弱。 海布法則是一種無指導(dǎo)的死記式學(xué)習(xí)算法。 離散型霍普菲爾德網(wǎng)絡(luò)的學(xué)習(xí)目的： 對具有 q個不同的輸入樣本組 Pr q＝ [P1, P2 …P q]，希望通過調(diào)節(jié)計算有限的權(quán)值矩陣 W，使得當(dāng)每一組輸入樣本 Pk， k=1， 2， … ， q，作為系統(tǒng)的初始值，經(jīng)過網(wǎng)絡(luò)的工作運行后，系統(tǒng)能夠收斂到各自輸入樣本矢量本身。 當(dāng) k＝ 1時，對于第 i個神經(jīng)元，由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對輸入矢量的學(xué)習(xí)關(guān)系式為： 其中， α＞ 0， i＝ 1， 2… ， r； j=1， 2… ， r。在實際學(xué)習(xí)規(guī)則的運用中，一般取 α＝ 1或 1/r。 那么由上式求出的權(quán)值 wij是否能夠保證 ai＝ pi？ 取 α＝ l，我們來驗證一下，對于第 i個輸出節(jié)點，有： 根據(jù)海布規(guī)則的權(quán)值設(shè)計方法，當(dāng) k由 1增加到 2，直至 q時，則是在原有己設(shè)計出的權(quán)值的基礎(chǔ)上，增加一個新量 pjkpik， k＝ 2…, q ，所以對網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計公式為： 式中矢量 T為記憶樣本， T＝ P。上式稱為推廣的學(xué)習(xí)調(diào)節(jié)規(guī)則。當(dāng)系數(shù) α＝ 1時，稱上式為 T的外積和公式。 DHNN的設(shè)計目的是使任意輸入矢量經(jīng)過網(wǎng)絡(luò)循環(huán)最終收斂到網(wǎng)絡(luò)所記憶的某個樣本上 。 因為霍普菲爾德網(wǎng)絡(luò)有 wij＝ wji， 所以完整的霍普菲爾德網(wǎng)絡(luò)權(quán)值設(shè)計公式應(yīng)當(dāng)為： 用向量形式表示為： 當(dāng) α ＝ 1時有： 其中， I為單位對角矩陣。 在神經(jīng)網(wǎng)絡(luò)工具箱中有關(guān)采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為 ， 后者為帶有衰減學(xué)習(xí)速率的函數(shù)： dW＝ 1earnh(P， A， lr)； 或 dW＝ learnhd(W， P， A， lr
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1