神經(jīng)網(wǎng)絡(luò)－h(huán)opfield網(wǎng)絡(luò)(論文資料)(編輯修改稿)
2025-01-31 15:19 本頁面
【文章內(nèi)容簡介】 圖 霍普菲爾德網(wǎng)絡(luò)圖 由圖 (a)，考慮到 DHNN的權(quán)值特性 wij＝ wji，網(wǎng)絡(luò)各節(jié)點(diǎn)加權(quán)輸入和分別為： 對于以符號函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為： 聯(lián)想記憶 聯(lián)想記憶功能是 DHNN的一個(gè)重要應(yīng)用范圍。要想實(shí)現(xiàn)聯(lián)想記憶，反饋網(wǎng)絡(luò)必須具有兩個(gè)基本條件： ① 網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息； ② 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。 DHNN實(shí)現(xiàn)聯(lián)想記憶的過程分為兩個(gè)階段：學(xué)習(xí)記憶階段和聯(lián)想回憶階段。 在學(xué)習(xí)記憶階段中，設(shè)計(jì)者通過某一設(shè)計(jì)方法確定一組合適的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點(diǎn)。聯(lián)想回憶階段則是網(wǎng)絡(luò)的工作過程。 反饋網(wǎng)絡(luò)有兩種基本的工作方式：串行異步和并行同步方式。 1) 串行異步方式： 2) 并行同步方式： 在狀態(tài)更新過程中，包括三種情況：由 1變?yōu)?1；由 1變?yōu)?1及狀態(tài)保持不變。 在任一時(shí)刻，網(wǎng)絡(luò)中只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達(dá)到某種穩(wěn)態(tài)。 這種更新方式的特點(diǎn)是： ① 實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有自己的狀態(tài)更新時(shí)刻，不需要同步機(jī)制； ② 功能上的串行狀態(tài)更新可以限制網(wǎng)絡(luò)的輸出狀態(tài)，避免不同穩(wěn)態(tài)等概率的出現(xiàn)； ③ 異步狀態(tài)更新更接近實(shí)際的生物神經(jīng)系統(tǒng)的表現(xiàn)。 DHNN的海布 (Hebb)學(xué)習(xí)規(guī)則 在 DHNN的網(wǎng)絡(luò)訓(xùn)練過程中，運(yùn)用的是海布調(diào)節(jié)規(guī)則： 當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的狀態(tài)相同 (即同時(shí)興奮或抑制 )時(shí)，從第 j個(gè)到第 i個(gè)神經(jīng)元之間的連接強(qiáng)度則增強(qiáng)，否則則減弱。 海布法則是一種無指導(dǎo)的死記式學(xué)習(xí)算法。 離散型霍普菲爾德網(wǎng)絡(luò)的學(xué)習(xí)目的： 對具有 q個(gè)不同的輸入樣本組 Pr q＝ [P1, P2 …P q]，希望通過調(diào)節(jié)計(jì)算有限的權(quán)值矩陣 W，使得當(dāng)每一組輸入樣本 Pk， k=1， 2， … ， q，作為系統(tǒng)的初始值，經(jīng)過網(wǎng)絡(luò)的工作運(yùn)行后，系統(tǒng)能夠收斂到各自輸入樣本矢量本身。 當(dāng) k＝ 1時(shí)，對于第 i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對輸入矢量的學(xué)習(xí)關(guān)系式為： 其中， α＞ 0， i＝ 1， 2… ， r； j=1， 2… ， r。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取 α＝ 1或 1/r。 那么由上式求出的權(quán)值 wij是否能夠保證 ai＝ pi？ 取 α＝ l，我們來驗(yàn)證一下，對于第 i個(gè)輸出節(jié)點(diǎn)，有： 根據(jù)海布規(guī)則的權(quán)值設(shè)計(jì)方法，當(dāng) k由 1增加到 2，直至 q時(shí)，則是在原有己設(shè)計(jì)出的權(quán)值的基礎(chǔ)上，增加一個(gè)新量 pjkpik， k＝ 2…, q ，所以對網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計(jì)公式為： 式中矢量 T為記憶樣本， T＝ P。上式稱為推廣的學(xué)習(xí)調(diào)節(jié)規(guī)則。當(dāng)系數(shù) α＝ 1時(shí)，稱上式為 T的外積和公式。 DHNN的設(shè)計(jì)目的是使任意輸入矢量經(jīng)過網(wǎng)絡(luò)循環(huán)最終收斂到網(wǎng)絡(luò)所記憶的某個(gè)樣本上 。 因?yàn)榛羝辗茽柕戮W(wǎng)絡(luò)有 wij＝ wji， 所以完整的霍普菲爾德網(wǎng)絡(luò)權(quán)值設(shè)計(jì)公式應(yīng)當(dāng)為： 用向量形式表示為： 當(dāng) α ＝ 1時(shí)有： 其中， I為單位對角矩陣。 在神經(jīng)網(wǎng)絡(luò)工具箱中有關(guān)采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為 ， 后者為帶有衰減學(xué)習(xí)速率的函數(shù)： dW＝ 1earnh(P， A， lr)； 或 dW＝ learnhd(W， P， A， lr
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1