神經網絡第五章ppt課件(編輯修改稿)
2025-02-01 15:50 本頁面
【文章內容簡介】 連接 。 與 Hopfield網絡所 不同的是 : Boltzmann機網絡一般把整個神經元分為可視層與隱含層兩大部分 ， 可視層又可分為輸入部分和輸出部分 。 但它與一般的階層網絡結構不同之處是 網絡沒有明顯的層次界限 ， 且 神經元之間不是單向連接而是雙向連接的 ， 如圖所示 。 Bo1tzmann機網絡的算法根據其兩大用途分為： 工作規(guī)則 ：也就是網絡的狀態(tài)更新規(guī)則 ， 主要用于 優(yōu)化組合問題 。 學習規(guī)則 ：也就是網絡連接權和輸出閾值的修正規(guī) 則 ， 主要用于以網絡作為一種外界概率 分布的模擬機 。 這也是 Boltzmann機網絡 的一個獨特的用途 。 Boltzmann機網絡工作規(guī)則與 Hopfield網絡工作規(guī)則十分相似 ， 只是以 概率方式 取代階躍函數方式來決定網絡根據其神經元的內部狀態(tài)而進行的狀態(tài)更新 ，并且網絡的 溫度參數 隨著網絡狀態(tài)更新的進行而逐漸減小 。 實際上 ， 可以說 Boltzmann機網絡工作規(guī)則就是模擬退火算法的具體體現 。 現將其步驟歸納如下： 4)關于降溫策略 ， 由于在 Boltzmann機工作規(guī)則中引入了概率 ，所以網絡不是收斂于 1個狀態(tài)而是收斂于平衡狀態(tài) 。 即在 N次網絡狀態(tài)更新過程中 ， 網絡各個狀態(tài)出現的概率分布保持不變 ， 符合 Boltzmann分布 。 由這一分布可知 ， 溫度參數 T對收斂概率分布有很大影響 。 當溫度參數 時 ， 最小能量的狀態(tài)實現概率為 1， 這也正是我們所期望的 。 但是如果開始就以 T＝ 0進行狀態(tài)更新 ， 則網絡狀態(tài)很可能陷入局部極小點 。 因此需采用 逐漸降溫法實現狀態(tài)更新 ， 而且只有降溫速度合適才能保證網絡狀態(tài)收斂于全局最小點 。 現己證明 ：按所示降溫方案 ． 能夠保證網絡收斂于全局最小值 。 但用此方法也存在著一個很大缺陷 ，即網絡的收斂時間太長 。 為此 ， 也可用下式所示方法實施降溫 這種降溫方法稱為快速 降 溫方案 。 同 Hopfield網絡在優(yōu)化組合中的應用一樣 ， 當把問題的約束條件及目標函數轉化為網絡的目標函數之后 ，按 Boltzmann工作規(guī)則進行網絡的狀態(tài)轉移 ， 最終能得到問題的最優(yōu)解 。 由于 Boltzmann機網絡的工作規(guī)則可使網絡的狀態(tài)轉移 ， 無論從任何初始狀態(tài)出發(fā) ， 都可以收斂到網絡能量函數的最小值 ， 能量函數的各個局部極小值無 法 被 利 用 來 作 為 記 憶 模 式 的 存 貯 點 。 所以Boltzmann機網絡不能充當一般意義上的多記憶模式的聯想記憶器使用 。 Boltzmann機學習規(guī)則 Boltzmann機網絡除了可以解決優(yōu)化組合問題外 ， 還可以通 過網絡訓練模擬外界給出的概率分布 ， Boltzmann網絡訓練模擬外界給出的概率分布 ， 實現概率意義上的聯想記憶 。
教學課件相關推薦
鄂ICP備17016276號-1