人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第5講hopfield網(wǎng)絡(luò)(已修改)
2025-10-10 15:32 本頁(yè)面
【正文】 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第 5講 Hopfield網(wǎng)絡(luò) 何建華 電信系，華中科技大學(xué) 2020年 3月 3日 2020/11/4 2 一、反饋網(wǎng)絡(luò) 二、 Hopfield網(wǎng)絡(luò)簡(jiǎn)介 三、 DHNN網(wǎng)絡(luò) 四、穩(wěn)定性與應(yīng)用 五、內(nèi)容小結(jié) 內(nèi)容安排 2020/11/4 3 ? 反饋網(wǎng)絡(luò)如何通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果 ? 關(guān)心網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題 ? 研究重點(diǎn)為怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò) 要點(diǎn) 2020/11/4 4 反饋網(wǎng)絡(luò)簡(jiǎn)介 網(wǎng)絡(luò)穩(wěn)定性 一、反饋網(wǎng)絡(luò) 2020/11/4 5 反饋網(wǎng)絡(luò)簡(jiǎn)介 ?反饋網(wǎng)絡(luò) (Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò) – 其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 ?反饋網(wǎng)絡(luò)能表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)動(dòng)態(tài)特性 – 網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)； – 系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中 2020/11/4 6 反饋網(wǎng)絡(luò)簡(jiǎn)介 ? 反饋網(wǎng)絡(luò)分類 – 如果激活函數(shù) f()是一個(gè)二值型的硬函數(shù)，即 ai＝sgn(ni)， i＝ l, 2, … r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)； – 如果 f()為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò) 2020/11/4 7 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡 – 設(shè)狀態(tài)矢量 N=[n1, n2, … ， nr]，網(wǎng)絡(luò)的輸出矢量為 A＝ [a1， a2… ， as]T – 在一個(gè) r維狀態(tài)空間上，可以用一條軌跡來(lái)描述狀態(tài)變化情況 – 從初始值 N(t0)出發(fā)，N(t0+Δt)→N(t 0+2Δt)→ … →N(t 0+mΔt) ，這些在空間上的點(diǎn)組成的確定軌跡，是演化過(guò)程中所有可能狀態(tài)的集合，我們稱這個(gè)狀態(tài)空間為相空間 2020/11/4 8 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡 – 離散與連續(xù)軌跡 2020/11/4 9 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡分類：對(duì)于不同的連接權(quán)值 wij和輸入Pj(i, j=1, 2, … r)，反饋網(wǎng)絡(luò)可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡 – 軌跡為穩(wěn)定點(diǎn) – 軌跡為極限環(huán) – 軌跡為混沌現(xiàn)象 – 軌跡發(fā)散 2020/11/4 10 網(wǎng)絡(luò)穩(wěn)定性 ? 穩(wěn)定軌跡 – 狀態(tài)軌跡從系統(tǒng)在 t0時(shí)狀態(tài)的初值 N(t0)開始，經(jīng)過(guò)一定的時(shí)間 t(t＞ 0)后，到達(dá) N(t0+t)。如果N(t0+t+Δt)=N(t 0+t)， Δt ＞ 0，則狀態(tài) N(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)，或平衡點(diǎn) – 反饋網(wǎng)絡(luò)從任一初始態(tài) P(0)開始運(yùn)動(dòng)，若存在某一有限時(shí)刻 t，從 t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化（ P(t+Δt)= P(t) ， Δt ＞ 0）則稱網(wǎng)絡(luò)是穩(wěn)定的 – 處于穩(wěn)定時(shí)的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子 2020/11/4 11 網(wǎng)絡(luò)穩(wěn)定性 ? 穩(wěn)定點(diǎn)分類 – 在一個(gè)反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn) – 穩(wěn)定點(diǎn)收斂域 ? 漸近穩(wěn)定點(diǎn)：在穩(wěn)定點(diǎn) Ne周圍的 N(σ) 區(qū)域內(nèi)，從任一個(gè)初始狀態(tài) N(t0)出發(fā)，當(dāng) t→∞ 時(shí)都收斂于 Ne，則稱 Ne為漸近穩(wěn)定點(diǎn) ? 不穩(wěn)定平衡點(diǎn) Nen：在某些特定的軌跡演化過(guò)程中，網(wǎng)絡(luò)能夠到達(dá)穩(wěn)定點(diǎn) Nen，但對(duì)其它方向上任意小的區(qū)域 N(σ) ，不管 N(σ) 取多么小，其軌跡在時(shí)間 t以后總是偏離 Nen； – 期望解 ? 網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)的解； ? 網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解 2020/11/4 12 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡為極限環(huán) – 在某些參數(shù)的情況下，狀態(tài) N(t)的軌跡是一個(gè)圓，或一個(gè)環(huán) – 狀態(tài) N(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時(shí)的輸出A(t)也出現(xiàn)周期變化（即出現(xiàn)振蕩） – 如果在 r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為 r – 對(duì)于離散反饋網(wǎng)絡(luò)，軌跡變化可能在兩種狀態(tài)下來(lái)回跳動(dòng)，其極限環(huán)為 2
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1