boltzmann神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法(編輯修改稿)
2025-01-31 14:36 本頁面
【文章內(nèi)容簡介】 . 10 . 20 . 30 . 40 . 50 . 6 1501510 20T 0 . 25T 4T 1橫坐標(biāo)表示神經(jīng)元的輸入總和，縱坐標(biāo)表示概率 網(wǎng)絡(luò)能量函數(shù) ?? ??? ????niiininjjiij IvvvwE1 1 121 WVVE T21?? 與 Hopfield神經(jīng)網(wǎng)絡(luò)一樣， BM神經(jīng)網(wǎng)絡(luò)用能量函數(shù)作為描述網(wǎng)絡(luò)狀態(tài)的函數(shù)，能量函數(shù)采用與Hopfield網(wǎng)絡(luò)相同形式 或 由上式可以看出，如果相應(yīng)于具有相同狀態(tài)的元vi和 vj之間權(quán)值 wij大多取正值，而具有相反狀態(tài) wij大多取負(fù)值， E才會具有最低的值；反之， E就相對較高。顯然低能量的網(wǎng)絡(luò)狀態(tài)表達著網(wǎng)絡(luò)的更加有序性，這與熱力學(xué)系統(tǒng)是完全對應(yīng)的，也是與 Hebb規(guī)則相呼應(yīng)的。 E降至其全局最小點時，網(wǎng)絡(luò)即達到其最佳狀態(tài)，這就是我們要搜索的最優(yōu)解。 Boltzmann機學(xué)習(xí)算法 ?算法原理 ?Boltzmann機可視為一動力系統(tǒng)，其能量函數(shù)的極小值對應(yīng)系統(tǒng)的穩(wěn)定平衡點 ?將待求解優(yōu)化問題的目標(biāo)函數(shù)與網(wǎng)絡(luò)的能量函數(shù)相對應(yīng)，神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就對應(yīng)優(yōu)化目標(biāo)的極小值 ?算法分類 ?狀態(tài)更新算法 用于解決優(yōu)化組合問題 ?聯(lián)想記憶算法 用于解決依照一定概率重現(xiàn)記憶的問題 BM網(wǎng)絡(luò)狀態(tài)演變的能量特征 為簡化討論，假設(shè) BM神經(jīng)網(wǎng)絡(luò)按異步方式運行，每次只改變一個神經(jīng)元的狀態(tài)。設(shè) xi取 0和取 1時系統(tǒng)的能量函數(shù)的差值為Δ Ei，則 Δ Ei=Exi=0Exi=1=ui . 式中 ui是 i號神經(jīng)元的凈輸入。 在 HNN中，我們很容易證明了 Δ E0,在 BM中則必須按概率的觀點來考慮問題。 BM網(wǎng)絡(luò)狀態(tài)演變的能量特征 若 Δ Ei0,說明網(wǎng)絡(luò)在其第 i號神經(jīng)元取 1時的能量小于取 0時的能量，這時可計算出 即在下一個時刻 xi取 1的概率當(dāng)然高于取 0的概率。反之，則可計算出 )0()1( ??? ii vPvP)0()1( ??? ii vPvPBM網(wǎng)絡(luò)狀態(tài)演變的能量特征 可見，網(wǎng)絡(luò)運行過程總是以更大的概率朝能量下降的方向演化。不過，這是概率事件，完全存在朝能量上升方向演化的可能。而從概率的角度來看，如果 Δ Ei越是一個大正數(shù)， xi取 1的概率越大， Δ Ei越是一個大負(fù)數(shù)， xi取 0的概率越大。這樣我們就把（ 1）（ 2）轉(zhuǎn)換成網(wǎng)絡(luò)狀態(tài)出現(xiàn)概率與兌現(xiàn)這種狀態(tài)時網(wǎng)絡(luò)能量的變化，以及它們對溫度 T的依賴聯(lián)系在一起 TEi ievP ?????11)1(BM網(wǎng)絡(luò)狀態(tài)演變的能量特征
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1