人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第5講hopfield網(wǎng)絡(luò)-全文預(yù)覽
【正文】 2 … Pq]，設(shè)網(wǎng)絡(luò)輸出可以寫成一個(gè)與輸入樣本相對(duì)應(yīng)的矩陣 A，輸入和輸出之間可用一個(gè)權(quán)矩陣 W來映射，即有： W*P＝ N， A＝ sgn(N)，由此可得 W＝ N*P* – 其中 P*為 P的偽逆，有 P*＝ (PTP)1PT – 如果樣本之間是線性無關(guān)的，則 PTP滿秩，其逆存在，則可求出權(quán)矩陣 W – 但當(dāng)記憶樣本之間是線性相關(guān)的，由海布法所設(shè)計(jì)出的網(wǎng)絡(luò)存在的問題，偽逆法也解決不了，甚至無法求解，相比之下，由于存在求逆等運(yùn)算，偽逆法較為繁瑣，而海布法則要容易求得多 2020/11/4 45 權(quán)值設(shè)計(jì) ? 正交化的權(quán)值設(shè)計(jì) – 這一方法的基本思想和出發(fā)點(diǎn) ? 1)保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性； ? 2)保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己； ? 3)使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少； ? 4)使穩(wěn)定點(diǎn)的吸引域盡可能的大。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取 α ＝ 1或 1/r 2020/11/4 36 網(wǎng)絡(luò)學(xué)習(xí) ? 向量形式表示 ? α ＝ 1時(shí) ? 神經(jīng)網(wǎng)絡(luò)工具箱中采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為 。如果任意時(shí)刻網(wǎng)絡(luò)中全部神經(jīng)元同時(shí)進(jìn)行狀態(tài)更新，那么稱之為全并行同步方式 2020/11/4 32 狀態(tài)更新 ? 串行異步方式 – 任一時(shí)刻，網(wǎng)絡(luò)中只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達(dá)到某種穩(wěn)態(tài)。在狀態(tài)空間中，從初始狀態(tài) N(t0)＝ N(t0+t)，最后到達(dá) N*。)為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò) 2020/11/4 7 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡 – 設(shè)狀態(tài)矢量 N=[n1, n2, … ， nr]，網(wǎng)絡(luò)的輸出矢量為 A＝ [a1， a2… ， as]T – 在一個(gè) r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況 – 從初始值 N(t0)出發(fā)，N(t0+Δt)→N(t 0+2Δt)→ … →N(t 0+mΔt) ，這些在空間上的點(diǎn)組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合，我們稱這個(gè)狀態(tài)空間為相空間 2020/11/4 8 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡 – 離散與連續(xù)軌跡 2020/11/4 9 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡分類：對(duì)于不同的連接權(quán)值 wij和輸入Pj(i, j=1, 2, … r)，反饋網(wǎng)絡(luò)可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡 – 軌跡為穩(wěn)定點(diǎn) – 軌跡為極限環(huán) – 軌跡為混沌現(xiàn)象 – 軌跡發(fā)散 2020/11/4 10 網(wǎng)絡(luò)穩(wěn)定性 ? 穩(wěn)定軌跡 – 狀態(tài)軌跡從系統(tǒng)在 t0時(shí)狀態(tài)的初值 N(t0)開始，經(jīng)過一定的時(shí)間 t(t＞ 0)后，到達(dá) N(t0+t)。人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第 5講 Hopfield網(wǎng)絡(luò) 何建華 電信系，華中科技大學(xué) 2020年 3月 3日 2020/11/4 2 一、反饋網(wǎng)絡(luò) 二、 Hopfield網(wǎng)絡(luò)簡介 三、 DHNN網(wǎng)絡(luò) 四、穩(wěn)定性與應(yīng)用 五、內(nèi)容小結(jié) 內(nèi)容安排 2020/11/4 3 ? 反饋網(wǎng)絡(luò)如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果 ? 關(guān)心網(wǎng)絡(luò)的穩(wěn)定性問題 ? 研究重點(diǎn)為怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò) 要點(diǎn) 2020/11/4 4 反饋網(wǎng)絡(luò)簡介 網(wǎng)絡(luò)穩(wěn)定性 一、反饋網(wǎng)絡(luò) 2020/11/4 5 反饋網(wǎng)絡(luò)簡介 ?反饋網(wǎng)絡(luò) (Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò) – 其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。)是一個(gè)二值型的硬函數(shù)，即 ai＝sgn(ni)， i＝ l, 2, … r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)； – 如果 f( – 一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會(huì)發(fā)生的，除非神經(jīng)元的輸入輸出激活函數(shù)是線性的 2020/11/4 15 網(wǎng)絡(luò)工作方式 ? 目前的反饋神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定的特定軌跡來解決某些問題 – 如果視系統(tǒng)的穩(wěn)定點(diǎn)為一個(gè)記憶，則從初始狀態(tài)朝此穩(wěn)定點(diǎn)移動(dòng)的過程即為尋找該記憶
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1