神經(jīng)網(wǎng)絡(luò)第五章ppt課件-資料下載頁
2025-01-05 15:50本頁面
【正文】 僅讓 隱含層 的各神經(jīng)元按 Boltzmann工作規(guī)則進行狀態(tài)更新 ， 當更新次數(shù)足夠大并認為網(wǎng)絡(luò)已達到平衡狀態(tài)之后神經(jīng)元 i和 j同時輸出為 1的概率 (也稱 ui與 uj之間的對稱概率 )。 式中 表示當 整個神經(jīng)元 按 Boltzmann工作規(guī)則進行狀態(tài)更新 、 并達到平衡狀態(tài)之后 ， 神經(jīng)元 i與 j同時輸出為 l的概率 。 學習結(jié)束后的網(wǎng)絡(luò)在進行回想時 ， 可使網(wǎng)絡(luò)從任何初始狀態(tài)出發(fā) ， 技工作規(guī)則進行若干次狀態(tài)轉(zhuǎn)移 ，則網(wǎng)絡(luò)可視層各個狀態(tài)的出現(xiàn)概率分布將符合網(wǎng)絡(luò)學習時所希望的概率分布 。 下面介紹 Boltzmann機 網(wǎng)絡(luò)的互聯(lián)想記憶學習規(guī)則 。這一規(guī)則與自聯(lián)想記憶學習規(guī)則 十分相似 。 在對每一組學習模式進行訓練時 ， 輸入部分的狀念總是 固定在某個輸入模式的狀態(tài) 。 學習結(jié)束后的網(wǎng)絡(luò)在進行回想時 ， 當給網(wǎng)絡(luò)的輸入部分提供一輸入模式后 ， 對網(wǎng)絡(luò)除輸入部分按網(wǎng)絡(luò)工作規(guī)則進行狀態(tài)更新 ， 在網(wǎng)絡(luò)的輸出部分各狀態(tài)出現(xiàn)的概率分布將符合學習過的希望概率分布 。 網(wǎng)絡(luò)小結(jié) 介紹模擬退火算法及 Boltzmann機網(wǎng)絡(luò)的工作和學習規(guī)則時曾多次指出：這一算法可使網(wǎng)絡(luò)的能量函數(shù)收斂于全局最小值 ， 從而可以得到應(yīng)用問題的最優(yōu)解 。 但是實際情況有時并不是這樣 ， 所得到的解是近似的最優(yōu)解 。 這是什么原因呢 ? 只不過前兩種出現(xiàn)的概率較小而已 。 由于算法的這一特點 ， 使網(wǎng)絡(luò)在陷入局部最小時有機會跳出來；但也正是由于這一點 ， 使得當前狀態(tài)所對應(yīng)的網(wǎng)絡(luò)能量有可能比前一個狀態(tài)所對應(yīng)的網(wǎng)絡(luò)能量大 。 尤其是當網(wǎng)絡(luò)的初始溫度不夠大 、 降溫過程太快且結(jié)束溫度不夠小的情況下 ， 這種可能性會更大 。 甚至會產(chǎn)生當前解比中間所經(jīng)歷的最好解差得多的現(xiàn)象 。 這就是為什么有時模擬退火算法的結(jié)果反不如其它算法結(jié)果好的原因 。 針對模擬退火算法存在的這種缺點 ， 人們又提出了一種改進的算法 (Improved Annealing Procedure，簡稱 IAP算法 )。 可參考有關(guān)文獻 。 盡管模擬退火算法仍然存在著一些不足 ， 但它比快速下降的 “ 貪心 ” 算法： ? 得到最優(yōu)解的概率高得多； ? 算法具有很強的 通用性 ； ? 除了適用于神經(jīng)網(wǎng)絡(luò)之外 ， 還可以應(yīng)用于圖像識別 、大規(guī)模集成電路設(shè)計等眾多的組合優(yōu)化問題； ? 特別是當待解決的問題復 雜性較高 、 規(guī)模較大 ， 對問題所處的領(lǐng)域的有關(guān)知識了解甚少 的情況下 ， 這一算法具有明顯的優(yōu)越性 。 因為它不象其它算法那樣 ， 需要過多的依賴于問題所處領(lǐng)域的知識來提高算法的性能 。 但是也應(yīng)當看到： 當已知了大量有關(guān) 待 解問題的背景知識之后 ， 這一算法卻無法充分利用它們 ， 算法的優(yōu)點變成了缺點：另外 ， 在 Boltzmann學習規(guī)則中 ， 包含著其工作規(guī)則 ，學習與反學習交替進行 ， 因此 ， 網(wǎng)絡(luò) 計算量猛增 。特別是當溫度 下降 速度較慢時 ， 網(wǎng)絡(luò)收斂過程 十 分緩慢 ， 這也是制約這種網(wǎng)絡(luò)應(yīng)用的主要障礙 。
教學課件相關(guān)推薦
鄂ICP備17016276號-1