神經(jīng)網(wǎng)絡(luò)第五章ppt課件(編輯修改稿)
2025-02-01 15:50 本頁面
【文章內(nèi)容簡(jiǎn)介】 連接 。 與 Hopfield網(wǎng)絡(luò)所 不同的是 : Boltzmann機(jī)網(wǎng)絡(luò)一般把整個(gè)神經(jīng)元分為可視層與隱含層兩大部分 ， 可視層又可分為輸入部分和輸出部分 。 但它與一般的階層網(wǎng)絡(luò)結(jié)構(gòu)不同之處是 網(wǎng)絡(luò)沒有明顯的層次界限 ， 且 神經(jīng)元之間不是單向連接而是雙向連接的 ， 如圖所示 。 Bo1tzmann機(jī)網(wǎng)絡(luò)的算法根據(jù)其兩大用途分為： 工作規(guī)則 ：也就是網(wǎng)絡(luò)的狀態(tài)更新規(guī)則 ， 主要用于 優(yōu)化組合問題 。 學(xué)習(xí)規(guī)則 ：也就是網(wǎng)絡(luò)連接權(quán)和輸出閾值的修正規(guī) 則 ， 主要用于以網(wǎng)絡(luò)作為一種外界概率 分布的模擬機(jī) 。 這也是 Boltzmann機(jī)網(wǎng)絡(luò) 的一個(gè)獨(dú)特的用途 。 Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則與 Hopfield網(wǎng)絡(luò)工作規(guī)則十分相似 ， 只是以 概率方式 取代階躍函數(shù)方式來決定網(wǎng)絡(luò)根據(jù)其神經(jīng)元的內(nèi)部狀態(tài)而進(jìn)行的狀態(tài)更新 ，并且網(wǎng)絡(luò)的 溫度參數(shù) 隨著網(wǎng)絡(luò)狀態(tài)更新的進(jìn)行而逐漸減小 。 實(shí)際上 ， 可以說 Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則就是模擬退火算法的具體體現(xiàn) 。 現(xiàn)將其步驟歸納如下： 4)關(guān)于降溫策略 ， 由于在 Boltzmann機(jī)工作規(guī)則中引入了概率 ，所以網(wǎng)絡(luò)不是收斂于 1個(gè)狀態(tài)而是收斂于平衡狀態(tài) 。 即在 N次網(wǎng)絡(luò)狀態(tài)更新過程中 ， 網(wǎng)絡(luò)各個(gè)狀態(tài)出現(xiàn)的概率分布保持不變 ， 符合 Boltzmann分布 。 由這一分布可知 ， 溫度參數(shù) T對(duì)收斂概率分布有很大影響 。 當(dāng)溫度參數(shù) 時(shí) ， 最小能量的狀態(tài)實(shí)現(xiàn)概率為 1， 這也正是我們所期望的 。 但是如果開始就以 T＝ 0進(jìn)行狀態(tài)更新 ， 則網(wǎng)絡(luò)狀態(tài)很可能陷入局部極小點(diǎn) 。 因此需采用 逐漸降溫法實(shí)現(xiàn)狀態(tài)更新 ， 而且只有降溫速度合適才能保證網(wǎng)絡(luò)狀態(tài)收斂于全局最小點(diǎn) 。 現(xiàn)己證明 ：按所示降溫方案 ． 能夠保證網(wǎng)絡(luò)收斂于全局最小值 。 但用此方法也存在著一個(gè)很大缺陷 ，即網(wǎng)絡(luò)的收斂時(shí)間太長(zhǎng) 。 為此 ， 也可用下式所示方法實(shí)施降溫 這種降溫方法稱為快速 降 溫方案 。 同 Hopfield網(wǎng)絡(luò)在優(yōu)化組合中的應(yīng)用一樣 ， 當(dāng)把問題的約束條件及目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的目標(biāo)函數(shù)之后 ，按 Boltzmann工作規(guī)則進(jìn)行網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移 ， 最終能得到問題的最優(yōu)解 。 由于 Boltzmann機(jī)網(wǎng)絡(luò)的工作規(guī)則可使網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移 ， 無論從任何初始狀態(tài)出發(fā) ， 都可以收斂到網(wǎng)絡(luò)能量函數(shù)的最小值 ， 能量函數(shù)的各個(gè)局部極小值無 法 被 利 用 來 作 為 記 憶 模 式 的 存 貯 點(diǎn) 。 所以Boltzmann機(jī)網(wǎng)絡(luò)不能充當(dāng)一般意義上的多記憶模式的聯(lián)想記憶器使用 。 Boltzmann機(jī)學(xué)習(xí)規(guī)則 Boltzmann機(jī)網(wǎng)絡(luò)除了可以解決優(yōu)化組合問題外 ， 還可以通 過網(wǎng)絡(luò)訓(xùn)練模擬外界給出的概率分布 ， Boltzmann網(wǎng)絡(luò)訓(xùn)練模擬外界給出的概率分布 ， 實(shí)現(xiàn)概率意義上的聯(lián)想記憶 。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1