【正文】 X1 Xn o1 om … … … … … … 3/10/2024 5 第五頁，共七十三頁。第 7章 循環(huán)網(wǎng)絡 ? 主要內(nèi)容 ? Hopfield網(wǎng)絡實現(xiàn)的自相聯(lián)存儲 ? 穩(wěn)定性分析 ? 統(tǒng)計 Hopfield網(wǎng)與 Boltzmann機 ? 根本雙聯(lián)存儲器 (BAM)的結構與訓練 ? 幾種相聯(lián)存儲網(wǎng)絡 ? 用 Hopfield網(wǎng)解決 TSP問題 。 循環(huán)網(wǎng)絡的組織 ?聯(lián)接： 神經(jīng)元之間都是互聯(lián)的 wij， 每個神經(jīng)元都沒有到自身的聯(lián)接 wii=0。 ??skjkik yy1?權矩陣 ： wij= i≠ j 3/10/2024 10 第十頁，共七十三頁。 最根本的 Hopfield網(wǎng) ? 激活函數(shù)： ? 改為 S形函數(shù)后，系統(tǒng)就成為一個連續(xù)系統(tǒng) ? 多級循環(huán)網(wǎng)絡 ? 除輸出向量被反響到輸入層外，其它各層之間的信號傳送均執(zhí)行如下規(guī)定：第 i1層神經(jīng)元的輸出經(jīng)過第 i個連接矩陣被送入第 i層。 穩(wěn)定性分析 ? 網(wǎng)絡的穩(wěn)定性是與收斂性不同的問題 ? Cohen和 Grossberg[1983年 ]:Hopfield網(wǎng)絡的穩(wěn)定性定理 ? 如果 Hopfield網(wǎng)絡的聯(lián)接權矩陣是對角線為 0的對稱矩陣，那么它是穩(wěn)定的 ? 用著名的 Lyapunov函數(shù)作為 Hopfield網(wǎng)絡的能量函數(shù) ? 網(wǎng)絡的穩(wěn)定性與吸引子 3/10/2024 17 第十七頁，共七十三頁。 網(wǎng)絡的穩(wěn)定性與下面將要介紹的能量函數(shù)密切相關，利用網(wǎng)絡的能量函數(shù)可實現(xiàn)優(yōu)化求解功能。假設把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子，當輸入含有局部記憶信息的樣本時，網(wǎng)絡的演變過程便是從局部信息尋找全部信息，即聯(lián)想回憶的過程。 定義 7． 3 假設對某些 X，有 X弱吸引到吸引子 Xa，那么稱這些 X的集合為 Xa的弱吸引域；假設對某些 X，有 X強吸引到吸引子 Xa，那么稱這些 X的集合為 Xa的強吸引域。 ①檢驗吸引子 由吸引子定義 3/10/2024 26 第二十六頁，共七十三頁。 令網(wǎng)絡初態(tài) X(0)＝ X3＝ (1,1, － 1, － 1)T，它與兩個吸引子的海明距離相等。 3/10/2024 32 第三十二頁，共七十三頁。 當 ANk的狀態(tài)從 ok變成 ok′ ANk不是輸入神經(jīng)元 kkkkkkhkj1jkjjkhkj1jjkkjhkj1jjjn1jjjhki1ihkj1jjiijooow21oow21oow21ooxoow21E??????? ??? ???? ????? ????????????? ??kkhkjjjkkjhkjjjjnjjjhkiihkjjjiijooowooxoow????????????? ???????? ????1111 1213/10/2024 37 第三十七頁，共七十三頁。 3/10/2024 41 第四十一頁，共七十三頁。 Boltzmann機的訓練 ? 如果 ΔΕi0， 神經(jīng)元 ANi處于狀態(tài) 1的概率就應該越大 ， 否那么 ， 神經(jīng)元 ANi處于狀態(tài)0的概就應該越大 。 Boltzmann機的訓練 ?1986年 ， Hinton和 Sejnowski訓練方法 –自由概率 Pij： 沒有輸入時 ANi和 ANj同時處于激發(fā)狀態(tài)的概率 。 應用 CHNN網(wǎng)解決優(yōu)化計算問題 用 CHNN網(wǎng)解決優(yōu)化問題一般需要以下幾個步驟： (1)對于特定的問題，要選擇一種適宜的表示方法，使得神經(jīng)網(wǎng)絡的輸出與問題的解相對應； (2)構造網(wǎng)絡能量函數(shù)，使其最小值對應于問題的最佳答案解； (3)將能量函數(shù)與 Lyapunov函數(shù)標準形式進行比較，可推出神經(jīng)網(wǎng)絡的權值與偏流的表達式，從而確定了網(wǎng)絡的結構； (4)由網(wǎng)絡結構建立網(wǎng)絡的電子線路并運行，其穩(wěn)態(tài)就是在一定條件下的問題優(yōu)化解。即使是 n＝ 20個城市，也需求解 350年。鑒于 TSP的解是 n個城市的有序排列，因此可用一個由 n n個神經(jīng)元構成的矩陣 (稱為換位陣 )來描述旅行路線。為了用神經(jīng)元的狀態(tài)表示某城市在某一有效路線中的位置，采用雙下標 Yxi，第一個下標 x表示城市名，χ＝ 1， 2， … ， n；第二個下標 i表示該城市在訪問路線中的位置， i＝ 1， 2， … ， n。 TSP問題的能量函數(shù)由 4局部組成： (1)能量 E1———城市行約束 當每個城市行中的 1不多于一個時，應有第 x行的全部元素 vxi按順序兩兩相乘之和為 0，即 從而全部 n行的所有元素按順序兩兩相乘之和也應為零，即 11 1 10n n nx i x jx i j ivv?? ? ? ??? ? ?111nnx i x ji j ivv?? ? ??? =0 3/10/2024 62 第六十二頁，共七十三頁。因此，還需引入第三個約束條件 ——全局約束條件，以確保換位陣中 1的數(shù)目等于城市數(shù) n，即 121 1 112n n nx i y ii x y xB vvE?? ? ? ?? ? ? ?111nnxixinv??????3/10/2024 64 第六十四頁，共七十三頁。訪問這兩個城市有兩種途徑，從 x到 y，相應的表達式為 dxy(vxi ,vy,i+1)；從 y到 x，那么相應的表達式為 dyx(vxi ,vy,i－ 1) 。 圖給出用 CHNN網(wǎng)解決 10城市 TSP問題的結果。在 Hopfield經(jīng)典算法根底上將所有城市分成 3局部后，求得最短路徑為15 904km。改為 S形函數(shù)后，系統(tǒng)就成為一個連續(xù)系統(tǒng)。 1 如果 i=j。 3/10/2024 72 第七十二頁，共七十三頁。 3/10/2024 70 第七十頁，共七十三頁。因此，有 dxy[(vxi,vy,i＋ 1) ＋ (vxi,vy,i－ 1]＝ dxy。那么 E3＝ 0可保證換位陣中 1的數(shù)目正好等于 n。顯然，當 E1＝ 0時可保證對每個城市訪問的次數(shù)不超過一次。 圖 7．8中的換位陣所表示的旅行路線為 : 4→2→5→8→1→3→7→6→4 ，旅行路線總長為d42+d25+d58+d81+d13+d37+d76+d64。 3/10/2024 57 第五十七頁，共七十三頁。 3/10/2024 55 第五十五頁，共七十三頁。 3/10/2024 54 第五十四頁，共七十三頁。 –聯(lián)接權修改量 ： Δ wij=α ( Pij+ Pij) 3/10/2024 50 第五十頁，共七十三頁。 反之