人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第5講hopfield網(wǎng)絡(luò)(已修改)
2024-10-15 15:32 本頁面
【正文】 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第 5講 Hopfield網(wǎng)絡(luò) 何建華 電信系，華中科技大學(xué) 2020年 3月 3日 2020/11/4 2 一、反饋網(wǎng)絡(luò) 二、 Hopfield網(wǎng)絡(luò)簡介 三、 DHNN網(wǎng)絡(luò) 四、穩(wěn)定性與應(yīng)用 五、內(nèi)容小結(jié) 內(nèi)容安排 2020/11/4 3 ? 反饋網(wǎng)絡(luò)如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲或優(yōu)化計算的結(jié)果 ? 關(guān)心網(wǎng)絡(luò)的穩(wěn)定性問題 ? 研究重點為怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò) 要點 2020/11/4 4 反饋網(wǎng)絡(luò)簡介 網(wǎng)絡(luò)穩(wěn)定性 一、反饋網(wǎng)絡(luò) 2020/11/4 5 反饋網(wǎng)絡(luò)簡介 ?反饋網(wǎng)絡(luò) (Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò) – 其目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的平衡點上。 ?反饋網(wǎng)絡(luò)能表現(xiàn)出非線性動力學(xué)系統(tǒng)動態(tài)特性 – 網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)； – 系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中 2020/11/4 6 反饋網(wǎng)絡(luò)簡介 ? 反饋網(wǎng)絡(luò)分類 – 如果激活函數(shù) f()是一個二值型的硬函數(shù)，即 ai＝sgn(ni)， i＝ l, 2, … r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)； – 如果 f()為一個連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò) 2020/11/4 7 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡 – 設(shè)狀態(tài)矢量 N=[n1, n2, … ， nr]，網(wǎng)絡(luò)的輸出矢量為 A＝ [a1， a2… ， as]T – 在一個 r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況 – 從初始值 N(t0)出發(fā)，N(t0+Δt)→N(t 0+2Δt)→ … →N(t 0+mΔt) ，這些在空間上的點組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合，我們稱這個狀態(tài)空間為相空間 2020/11/4 8 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡 – 離散與連續(xù)軌跡 2020/11/4 9 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡分類：對于不同的連接權(quán)值 wij和輸入Pj(i, j=1, 2, … r)，反饋網(wǎng)絡(luò)可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡 – 軌跡為穩(wěn)定點 – 軌跡為極限環(huán) – 軌跡為混沌現(xiàn)象 – 軌跡發(fā)散 2020/11/4 10 網(wǎng)絡(luò)穩(wěn)定性 ? 穩(wěn)定軌跡 – 狀態(tài)軌跡從系統(tǒng)在 t0時狀態(tài)的初值 N(t0)開始，經(jīng)過一定的時間 t(t＞ 0)后，到達 N(t0+t)。如果N(t0+t+Δt)=N(t 0+t)， Δt ＞ 0，則狀態(tài) N(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點，或平衡點 – 反饋網(wǎng)絡(luò)從任一初始態(tài) P(0)開始運動，若存在某一有限時刻 t，從 t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化（ P(t+Δt)= P(t) ， Δt ＞ 0）則稱網(wǎng)絡(luò)是穩(wěn)定的 – 處于穩(wěn)定時的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子 2020/11/4 11 網(wǎng)絡(luò)穩(wěn)定性 ? 穩(wěn)定點分類 – 在一個反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點 – 穩(wěn)定點收斂域 ? 漸近穩(wěn)定點：在穩(wěn)定點 Ne周圍的 N(σ) 區(qū)域內(nèi)，從任一個初始狀態(tài) N(t0)出發(fā)，當(dāng) t→∞ 時都收斂于 Ne，則稱 Ne為漸近穩(wěn)定點 ? 不穩(wěn)定平衡點 Nen：在某些特定的軌跡演化過程中，網(wǎng)絡(luò)能夠到達穩(wěn)定點 Nen，但對其它方向上任意小的區(qū)域 N(σ) ，不管 N(σ) 取多么小，其軌跡在時間 t以后總是偏離 Nen； – 期望解 ? 網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計人員期望的穩(wěn)定點，且該穩(wěn)定點又是漸近穩(wěn)定點，那么這個點稱為網(wǎng)絡(luò)的解； ? 網(wǎng)絡(luò)的偽穩(wěn)定點：網(wǎng)絡(luò)最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網(wǎng)絡(luò)設(shè)計所要求的解 2020/11/4 12 網(wǎng)絡(luò)穩(wěn)定性 ? 狀態(tài)軌跡為極限環(huán) – 在某些參數(shù)的情況下，狀態(tài) N(t)的軌跡是一個圓，或一個環(huán) – 狀態(tài) N(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時的輸出A(t)也出現(xiàn)周期變化（即出現(xiàn)振蕩） – 如果在 r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為 r – 對于離散反饋網(wǎng)絡(luò)，軌跡變化可能在兩種狀態(tài)下來回跳動，其極限環(huán)為 2
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1