神經(jīng)網(wǎng)絡(luò)信號處理ppt課件(編輯修改稿)
2025-02-01 15:31 本頁面
【文章內(nèi)容簡介】 的局部極小點(diǎn)。隨機(jī)算法則是用于尋找全局最小點(diǎn)，而是以最大概率達(dá)到全局最小點(diǎn)。 下面討論稱為模擬退火的隨機(jī)學(xué)習(xí)算法。 模擬退火學(xué)習(xí)算法有四個步驟： ①產(chǎn)生新狀態(tài) ； ②計算新狀態(tài)的能量函數(shù) ； ③判斷是否接受新狀態(tài)； ④降低溫度 前向網(wǎng)絡(luò)可以用具體自組織特性的無導(dǎo)師學(xué)習(xí)算法訓(xùn)練權(quán)值，然而，將前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)組合在一起進(jìn)行無導(dǎo)師訓(xùn)練時，顯示出了更強(qiáng)的自組織處理能力。 ? ?1wk?? ?1Ek?? ?w? 反饋網(wǎng)絡(luò)及其能量函數(shù) ? 反饋網(wǎng)絡(luò)與線性 IIR網(wǎng)絡(luò)一樣存在著穩(wěn)定性問題，本節(jié)先介紹動態(tài)系統(tǒng)穩(wěn)定性的基本概念和分析方法，然后討論離散和連續(xù)型單層反饋網(wǎng)絡(luò)的動態(tài)特性和網(wǎng)絡(luò)權(quán)值設(shè)計、復(fù)合型反饋網(wǎng)絡(luò)等問題，主要討論 Hopfield網(wǎng)絡(luò)。 ? 非線性動態(tài)系統(tǒng)的穩(wěn)定性 ? 在期望輸出的模式設(shè)計成網(wǎng)絡(luò)的穩(wěn)定平衡態(tài)，存儲在權(quán)值中，這兩個吸引子都是孤立的點(diǎn)，稱為不動吸引子。有些吸引子是同期循環(huán)的狀態(tài)序列，稱為極限環(huán)，猶如數(shù)字循環(huán)計數(shù)器的穩(wěn)定循環(huán)狀態(tài)。另外還有些更復(fù)雜的吸引子結(jié)構(gòu)。向某個吸引子演化的所有初始狀態(tài)稱為這個吸引子的收斂域。 一個非線性動態(tài)系統(tǒng)是否存在吸引子，這些吸引子是否穩(wěn)定， 這是首先要解決的問題。非線性動態(tài)系統(tǒng)用非線性微分方程或非線 性差分方程描述。而非線性方程的解不一定能容易求得。李雅普諾 夫穩(wěn)定性理論提供了從方程本身來判斷吸引子的存在和穩(wěn)定的方 法。李雅普諾夫定理簡述如下： 考慮非線性微分方程組： ，寫成矢量 形式為 ，它的解是時間 t的函數(shù)，且與 初始值有關(guān)，記 為 。當(dāng) 時，有 ，稱 為系統(tǒng)的平衡 態(tài)。所謂穩(wěn)定性是考慮微分方程的解 是否趨向平衡態(tài)。 以孤立平衡點(diǎn) 附近的點(diǎn) 作為初始態(tài)，若系統(tǒng)的運(yùn)動軌跡 仍在 附近，則稱平衡態(tài) 是穩(wěn)定的。嚴(yán)格的定義為：若 對每個實(shí)數(shù) ，存在一實(shí)數(shù) ，使得當(dāng)初始態(tài)滿足 時，系統(tǒng)運(yùn)動軌跡滿足 ，則稱平衡態(tài) 在李雅普 諾夫意義下是穩(wěn)定的。進(jìn)一步，若 ,就稱 是漸近 穩(wěn)定的。 1 2 3( , , , . . . , 。 ) , 1 , 2 , . . . ,n indx f x x x x t i ndt ??( , )dX F X tdt ? 0X0( 。 )tX? 0 0XXdXdt? ? 0( , ) 0 ,eF X t t t?? eX0( 。 )tX?eX0( 。 )tX? eX eX0?? ? 0 eXX ???00( 。 ) ,et X X t t??? ? ? eX0l im ( 。 ) 0et t X X??? ?? eX系統(tǒng)的平衡點(diǎn) 是漸近穩(wěn)定的一個條件是：能找到一個 X的連 續(xù)函數(shù) ，使得 稱 為李雅普諾夫函數(shù)。以下幾點(diǎn)需要注意： (1)物理上的能量函數(shù)一般可作為李雅普諾夫函數(shù)，因此，李雅普諾夫函數(shù)也稱為計算能量函數(shù)。一個物理系統(tǒng)總是在能量最低狀態(tài)下是最穩(wěn)定的。穩(wěn)定的非線性動態(tài)系統(tǒng)也總是朝能量低的方向運(yùn)動。實(shí)際上，作為能量函數(shù)， E可正可負(fù)，只要有下界且 即可。 (2)對給定的動態(tài)系統(tǒng)，其李雅譜諾夫函數(shù)不是唯一的?？梢哉业皆S多不同的李雅譜諾夫函數(shù)。 (3)若找不到系統(tǒng)的李雅譜諾夫函數(shù)，并不說明系統(tǒng)不穩(wěn)定。 (4)還沒有統(tǒng)一的找李雅譜諾夫函數(shù)的辦法，一般是根據(jù)系統(tǒng)的物理意義或類似能量的概念寫出李雅譜諾夫函數(shù)。 eX( ) , ( )E X E X R?( 1 ) ( ) 0 。 ( 2 ) 0dEEX dt??()EX0dEdt ?(5)對于離散時間非線性動態(tài)系統(tǒng)，用非線性差分方程描述，也有計算能量函數(shù)的定理：只要找到一個有下界函數(shù) ,其增量 是非正的，即 則該函數(shù)就是計算能量函數(shù)，且說明該離散動態(tài)系統(tǒng)也朝著減小能 量的方向運(yùn)動，最后趨于穩(wěn)定平衡點(diǎn)，即有 。 離散型 Hopfield單層反饋網(wǎng)絡(luò) 離散型 Hopfield單層反饋網(wǎng)絡(luò)的結(jié)構(gòu)如圖 ，由 n個神經(jīng) 元組成， 為輸入， 為輸出， 為閥值， 。時延表現(xiàn)在 圖中變換函數(shù)的狀態(tài)轉(zhuǎn)換的時序。這種網(wǎng)絡(luò)是離散時間、離散型變 換函數(shù)網(wǎng)絡(luò)。 ()EX ()EX?,0E M E? ? ?( ) 0eEX??ix iy i? , 1, 2 , ... ,i j n? 設(shè)第 i個單元的凈輸入為 ，有 式中， k為時間變量，變換涵數(shù)取雙極性階躍函數(shù)，即 網(wǎng)絡(luò)狀態(tài)的轉(zhuǎn)變有兩種方式：異步方式和同步方式。 (1)異步方式。在某一時刻 k只允許一個單元更新輸出狀態(tài)，其余單元保持不變，則有 iu1( ) ( ) , 1 , 2 , . . . ,ni i j j i iju k y k x i n???? ? ? ??1 , 0sgn ( ) 1 0=0ii i iiuy u uu????? ? ? ????當(dāng) 時， 當(dāng) 時維 持 原 態(tài) ， 當(dāng) 時( 1 ) s g n [ ( ) ] , i( 1 ) ( ) ,iijjy k u ky k y k j i????? ? ? ???順 序 或 隨 機(jī) 選 擇(2)同步方式。在任何時刻，所有單元的狀態(tài)都同時更新，則有 定義計算能量函數(shù) E為： 由于 或 1，且設(shè)權(quán)值 、閥值 和輸入 都有界，則有 這意味著 E有界。 考慮存儲 L個樣本矢量 。注意到
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1