神經(jīng)網(wǎng)絡(luò)第五章ppt課件-資料下載頁(yè)
2025-01-05 15:50本頁(yè)面
【正文】 僅讓 隱含層 的各神經(jīng)元按 Boltzmann工作規(guī)則進(jìn)行狀態(tài)更新 ， 當(dāng)更新次數(shù)足夠大并認(rèn)為網(wǎng)絡(luò)已達(dá)到平衡狀態(tài)之后神經(jīng)元 i和 j同時(shí)輸出為 1的概率 (也稱 ui與 uj之間的對(duì)稱概率 )。 式中 表示當(dāng) 整個(gè)神經(jīng)元 按 Boltzmann工作規(guī)則進(jìn)行狀態(tài)更新 、 并達(dá)到平衡狀態(tài)之后 ， 神經(jīng)元 i與 j同時(shí)輸出為 l的概率 。 學(xué)習(xí)結(jié)束后的網(wǎng)絡(luò)在進(jìn)行回想時(shí) ， 可使網(wǎng)絡(luò)從任何初始狀態(tài)出發(fā) ， 技工作規(guī)則進(jìn)行若干次狀態(tài)轉(zhuǎn)移 ，則網(wǎng)絡(luò)可視層各個(gè)狀態(tài)的出現(xiàn)概率分布將符合網(wǎng)絡(luò)學(xué)習(xí)時(shí)所希望的概率分布 。 下面介紹 Boltzmann機(jī) 網(wǎng)絡(luò)的互聯(lián)想記憶學(xué)習(xí)規(guī)則 。這一規(guī)則與自聯(lián)想記憶學(xué)習(xí)規(guī)則 十分相似 。 在對(duì)每一組學(xué)習(xí)模式進(jìn)行訓(xùn)練時(shí) ， 輸入部分的狀念總是 固定在某個(gè)輸入模式的狀態(tài) 。 學(xué)習(xí)結(jié)束后的網(wǎng)絡(luò)在進(jìn)行回想時(shí) ， 當(dāng)給網(wǎng)絡(luò)的輸入部分提供一輸入模式后 ， 對(duì)網(wǎng)絡(luò)除輸入部分按網(wǎng)絡(luò)工作規(guī)則進(jìn)行狀態(tài)更新 ， 在網(wǎng)絡(luò)的輸出部分各狀態(tài)出現(xiàn)的概率分布將符合學(xué)習(xí)過(guò)的希望概率分布 。 網(wǎng)絡(luò)小結(jié) 介紹模擬退火算法及 Boltzmann機(jī)網(wǎng)絡(luò)的工作和學(xué)習(xí)規(guī)則時(shí)曾多次指出：這一算法可使網(wǎng)絡(luò)的能量函數(shù)收斂于全局最小值 ， 從而可以得到應(yīng)用問(wèn)題的最優(yōu)解 。 但是實(shí)際情況有時(shí)并不是這樣 ， 所得到的解是近似的最優(yōu)解 。 這是什么原因呢 ? 只不過(guò)前兩種出現(xiàn)的概率較小而已 。 由于算法的這一特點(diǎn) ， 使網(wǎng)絡(luò)在陷入局部最小時(shí)有機(jī)會(huì)跳出來(lái)；但也正是由于這一點(diǎn) ， 使得當(dāng)前狀態(tài)所對(duì)應(yīng)的網(wǎng)絡(luò)能量有可能比前一個(gè)狀態(tài)所對(duì)應(yīng)的網(wǎng)絡(luò)能量大 。 尤其是當(dāng)網(wǎng)絡(luò)的初始溫度不夠大 、 降溫過(guò)程太快且結(jié)束溫度不夠小的情況下 ， 這種可能性會(huì)更大 。 甚至?xí)a(chǎn)生當(dāng)前解比中間所經(jīng)歷的最好解差得多的現(xiàn)象 。 這就是為什么有時(shí)模擬退火算法的結(jié)果反不如其它算法結(jié)果好的原因 。 針對(duì)模擬退火算法存在的這種缺點(diǎn) ， 人們又提出了一種改進(jìn)的算法 (Improved Annealing Procedure，簡(jiǎn)稱 IAP算法 )。 可參考有關(guān)文獻(xiàn) 。 盡管模擬退火算法仍然存在著一些不足 ， 但它比快速下降的 “ 貪心 ” 算法： ? 得到最優(yōu)解的概率高得多； ? 算法具有很強(qiáng)的 通用性 ； ? 除了適用于神經(jīng)網(wǎng)絡(luò)之外 ， 還可以應(yīng)用于圖像識(shí)別 、大規(guī)模集成電路設(shè)計(jì)等眾多的組合優(yōu)化問(wèn)題； ? 特別是當(dāng)待解決的問(wèn)題復(fù) 雜性較高 、 規(guī)模較大 ， 對(duì)問(wèn)題所處的領(lǐng)域的有關(guān)知識(shí)了解甚少 的情況下 ， 這一算法具有明顯的優(yōu)越性 。 因?yàn)樗幌笃渌惴菢?， 需要過(guò)多的依賴于問(wèn)題所處領(lǐng)域的知識(shí)來(lái)提高算法的性能 。 但是也應(yīng)當(dāng)看到： 當(dāng)已知了大量有關(guān) 待 解問(wèn)題的背景知識(shí)之后 ， 這一算法卻無(wú)法充分利用它們 ， 算法的優(yōu)點(diǎn)變成了缺點(diǎn)：另外 ， 在 Boltzmann學(xué)習(xí)規(guī)則中 ， 包含著其工作規(guī)則 ，學(xué)習(xí)與反學(xué)習(xí)交替進(jìn)行 ， 因此 ， 網(wǎng)絡(luò) 計(jì)算量猛增 。特別是當(dāng)溫度 下降 速度較慢時(shí) ， 網(wǎng)絡(luò)收斂過(guò)程 十 分緩慢 ， 這也是制約這種網(wǎng)絡(luò)應(yīng)用的主要障礙 。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1