boltzmann神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法(編輯修改稿)
2025-01-31 14:36 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 . 10 . 20 . 30 . 40 . 50 . 6 1501510 20T 0 . 25T 4T 1橫坐標(biāo)表示神經(jīng)元的輸入總和，縱坐標(biāo)表示概率 網(wǎng)絡(luò)能量函數(shù) ?? ??? ????niiininjjiij IvvvwE1 1 121 WVVE T21?? 與 Hopfield神經(jīng)網(wǎng)絡(luò)一樣， BM神經(jīng)網(wǎng)絡(luò)用能量函數(shù)作為描述網(wǎng)絡(luò)狀態(tài)的函數(shù)，能量函數(shù)采用與Hopfield網(wǎng)絡(luò)相同形式 或 由上式可以看出，如果相應(yīng)于具有相同狀態(tài)的元vi和 vj之間權(quán)值 wij大多取正值，而具有相反狀態(tài) wij大多取負(fù)值， E才會(huì)具有最低的值；反之， E就相對(duì)較高。顯然低能量的網(wǎng)絡(luò)狀態(tài)表達(dá)著網(wǎng)絡(luò)的更加有序性，這與熱力學(xué)系統(tǒng)是完全對(duì)應(yīng)的，也是與 Hebb規(guī)則相呼應(yīng)的。 E降至其全局最小點(diǎn)時(shí)，網(wǎng)絡(luò)即達(dá)到其最佳狀態(tài)，這就是我們要搜索的最優(yōu)解。 Boltzmann機(jī)學(xué)習(xí)算法 ?算法原理 ?Boltzmann機(jī)可視為一動(dòng)力系統(tǒng)，其能量函數(shù)的極小值對(duì)應(yīng)系統(tǒng)的穩(wěn)定平衡點(diǎn) ?將待求解優(yōu)化問(wèn)題的目標(biāo)函數(shù)與網(wǎng)絡(luò)的能量函數(shù)相對(duì)應(yīng)，神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就對(duì)應(yīng)優(yōu)化目標(biāo)的極小值 ?算法分類(lèi) ?狀態(tài)更新算法 用于解決優(yōu)化組合問(wèn)題 ?聯(lián)想記憶算法 用于解決依照一定概率重現(xiàn)記憶的問(wèn)題 BM網(wǎng)絡(luò)狀態(tài)演變的能量特征 為簡(jiǎn)化討論，假設(shè) BM神經(jīng)網(wǎng)絡(luò)按異步方式運(yùn)行，每次只改變一個(gè)神經(jīng)元的狀態(tài)。設(shè) xi取 0和取 1時(shí)系統(tǒng)的能量函數(shù)的差值為Δ Ei，則 Δ Ei=Exi=0Exi=1=ui . 式中 ui是 i號(hào)神經(jīng)元的凈輸入。 在 HNN中，我們很容易證明了 Δ E0,在 BM中則必須按概率的觀點(diǎn)來(lái)考慮問(wèn)題。 BM網(wǎng)絡(luò)狀態(tài)演變的能量特征 若 Δ Ei0,說(shuō)明網(wǎng)絡(luò)在其第 i號(hào)神經(jīng)元取 1時(shí)的能量小于取 0時(shí)的能量，這時(shí)可計(jì)算出 即在下一個(gè)時(shí)刻 xi取 1的概率當(dāng)然高于取 0的概率。反之，則可計(jì)算出 )0()1( ??? ii vPvP)0()1( ??? ii vPvPBM網(wǎng)絡(luò)狀態(tài)演變的能量特征 可見(jiàn)，網(wǎng)絡(luò)運(yùn)行過(guò)程總是以更大的概率朝能量下降的方向演化。不過(guò)，這是概率事件，完全存在朝能量上升方向演化的可能。而從概率的角度來(lái)看，如果 Δ Ei越是一個(gè)大正數(shù)， xi取 1的概率越大， Δ Ei越是一個(gè)大負(fù)數(shù)， xi取 0的概率越大。這樣我們就把（ 1）（ 2）轉(zhuǎn)換成網(wǎng)絡(luò)狀態(tài)出現(xiàn)概率與兌現(xiàn)這種狀態(tài)時(shí)網(wǎng)絡(luò)能量的變化，以及它們對(duì)溫度 T的依賴聯(lián)系在一起 TEi ievP ?????11)1(BM網(wǎng)絡(luò)狀態(tài)演變的能量特征
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1