【正文】 X1 Xn o1 om … … … … … … 3/10/2024 5 第五頁，共七十三頁。第 7章 循環(huán)網(wǎng)絡(luò) ? 主要內(nèi)容 ? Hopfield網(wǎng)絡(luò)實(shí)現(xiàn)的自相聯(lián)存儲(chǔ) ? 穩(wěn)定性分析 ? 統(tǒng)計(jì) Hopfield網(wǎng)與 Boltzmann機(jī) ? 根本雙聯(lián)存儲(chǔ)器 (BAM)的結(jié)構(gòu)與訓(xùn)練 ? 幾種相聯(lián)存儲(chǔ)網(wǎng)絡(luò) ? 用 Hopfield網(wǎng)解決 TSP問題 。 循環(huán)網(wǎng)絡(luò)的組織 ?聯(lián)接： 神經(jīng)元之間都是互聯(lián)的 wij， 每個(gè)神經(jīng)元都沒有到自身的聯(lián)接 wii=0。 ??skjkik yy1?權(quán)矩陣 ： wij= i≠ j 3/10/2024 10 第十頁，共七十三頁。 最根本的 Hopfield網(wǎng) ? 激活函數(shù)： ? 改為 S形函數(shù)后，系統(tǒng)就成為一個(gè)連續(xù)系統(tǒng) ? 多級(jí)循環(huán)網(wǎng)絡(luò) ? 除輸出向量被反響到輸入層外，其它各層之間的信號(hào)傳送均執(zhí)行如下規(guī)定：第 i1層神經(jīng)元的輸出經(jīng)過第 i個(gè)連接矩陣被送入第 i層。 穩(wěn)定性分析 ? 網(wǎng)絡(luò)的穩(wěn)定性是與收斂性不同的問題 ? Cohen和 Grossberg[1983年 ]:Hopfield網(wǎng)絡(luò)的穩(wěn)定性定理 ? 如果 Hopfield網(wǎng)絡(luò)的聯(lián)接權(quán)矩陣是對(duì)角線為 0的對(duì)稱矩陣，那么它是穩(wěn)定的 ? 用著名的 Lyapunov函數(shù)作為 Hopfield網(wǎng)絡(luò)的能量函數(shù) ? 網(wǎng)絡(luò)的穩(wěn)定性與吸引子 3/10/2024 17 第十七頁，共七十三頁。 網(wǎng)絡(luò)的穩(wěn)定性與下面將要介紹的能量函數(shù)密切相關(guān)，利用網(wǎng)絡(luò)的能量函數(shù)可實(shí)現(xiàn)優(yōu)化求解功能。假設(shè)把需記憶的樣本信息存儲(chǔ)于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有局部記憶信息的樣本時(shí)，網(wǎng)絡(luò)的演變過程便是從局部信息尋找全部信息，即聯(lián)想回憶的過程。 定義 7． 3 假設(shè)對(duì)某些 X，有 X弱吸引到吸引子 Xa，那么稱這些 X的集合為 Xa的弱吸引域；假設(shè)對(duì)某些 X，有 X強(qiáng)吸引到吸引子 Xa，那么稱這些 X的集合為 Xa的強(qiáng)吸引域。 ①檢驗(yàn)吸引子 由吸引子定義 3/10/2024 26 第二十六頁，共七十三頁。 令網(wǎng)絡(luò)初態(tài) X(0)＝ X3＝ (1,1, － 1, － 1)T，它與兩個(gè)吸引子的海明距離相等。 3/10/2024 32 第三十二頁，共七十三頁。 當(dāng) ANk的狀態(tài)從 ok變成 ok′ ANk不是輸入神經(jīng)元 kkkkkkhkj1jkjjkhkj1jjkkjhkj1jjjn1jjjhki1ihkj1jjiijooow21oow21oow21ooxoow21E??????? ??? ???? ????? ????????????? ??kkhkjjjkkjhkjjjjnjjjhkiihkjjjiijooowooxoow????????????? ???????? ????1111 1213/10/2024 37 第三十七頁，共七十三頁。 3/10/2024 41 第四十一頁，共七十三頁。 Boltzmann機(jī)的訓(xùn)練 ? 如果 ΔΕi0， 神經(jīng)元 ANi處于狀態(tài) 1的概率就應(yīng)該越大 ， 否那么 ， 神經(jīng)元 ANi處于狀態(tài)0的概就應(yīng)該越大 。 Boltzmann機(jī)的訓(xùn)練 ?1986年 ， Hinton和 Sejnowski訓(xùn)練方法 –自由概率 Pij： 沒有輸入時(shí) ANi和 ANj同時(shí)處于激發(fā)狀態(tài)的概率 。 應(yīng)用 CHNN網(wǎng)解決優(yōu)化計(jì)算問題 用 CHNN網(wǎng)解決優(yōu)化問題一般需要以下幾個(gè)步驟： (1)對(duì)于特定的問題，要選擇一種適宜的表示方法，使得神經(jīng)網(wǎng)絡(luò)的輸出與問題的解相對(duì)應(yīng)； (2)構(gòu)造網(wǎng)絡(luò)能量函數(shù)，使其最小值對(duì)應(yīng)于問題的最佳答案解； (3)將能量函數(shù)與 Lyapunov函數(shù)標(biāo)準(zhǔn)形式進(jìn)行比較，可推出神經(jīng)網(wǎng)絡(luò)的權(quán)值與偏流的表達(dá)式，從而確定了網(wǎng)絡(luò)的結(jié)構(gòu)； (4)由網(wǎng)絡(luò)結(jié)構(gòu)建立網(wǎng)絡(luò)的電子線路并運(yùn)行，其穩(wěn)態(tài)就是在一定條件下的問題優(yōu)化解。即使是 n＝ 20個(gè)城市，也需求解 350年。鑒于 TSP的解是 n個(gè)城市的有序排列，因此可用一個(gè)由 n n個(gè)神經(jīng)元構(gòu)成的矩陣 (稱為換位陣 )來描述旅行路線。為了用神經(jīng)元的狀態(tài)表示某城市在某一有效路線中的位置，采用雙下標(biāo) Yxi，第一個(gè)下標(biāo) x表示城市名，χ＝ 1， 2， … ， n；第二個(gè)下標(biāo) i表示該城市在訪問路線中的位置， i＝ 1， 2， … ， n。 TSP問題的能量函數(shù)由 4局部組成： (1)能量 E1———城市行約束 當(dāng)每個(gè)城市行中的 1不多于一個(gè)時(shí)，應(yīng)有第 x行的全部元素 vxi按順序兩兩相乘之和為 0，即 從而全部 n行的所有元素按順序兩兩相乘之和也應(yīng)為零，即 11 1 10n n nx i x jx i j ivv?? ? ? ??? ? ?111nnx i x ji j ivv?? ? ??? =0 3/10/2024 62 第六十二頁，共七十三頁。因此，還需引入第三個(gè)約束條件 ——全局約束條件，以確保換位陣中 1的數(shù)目等于城市數(shù) n，即 121 1 112n n nx i y ii x y xB vvE?? ? ? ?? ? ? ?111nnxixinv??????3/10/2024 64 第六十四頁，共七十三頁。訪問這兩個(gè)城市有兩種途徑，從 x到 y，相應(yīng)的表達(dá)式為 dxy(vxi ,vy,i+1)；從 y到 x，那么相應(yīng)的表達(dá)式為 dyx(vxi ,vy,i－ 1) 。 圖給出用 CHNN網(wǎng)解決 10城市 TSP問題的結(jié)果。在 Hopfield經(jīng)典算法根底上將所有城市分成 3局部后，求得最短路徑為15 904km。改為 S形函數(shù)后，系統(tǒng)就成為一個(gè)連續(xù)系統(tǒng)。 1 如果 i=j。 3/10/2024 72 第七十二頁，共七十三頁。 3/10/2024 70 第七十頁，共七十三頁。因此，有 dxy[(vxi,vy,i＋ 1) ＋ (vxi,vy,i－ 1]＝ dxy。那么 E3＝ 0可保證換位陣中 1的數(shù)目正好等于 n。顯然，當(dāng) E1＝ 0時(shí)可保證對(duì)每個(gè)城市訪問的次數(shù)不超過一次。 圖 7．8中的換位陣所表示的旅行路線為 : 4→2→5→8→1→3→7→6→4 ，旅行路線總長(zhǎng)為d42+d25+d58+d81+d13+d37+d76+d64。 3/10/2024 57 第五十七頁，共七十三頁。 3/10/2024 55 第五十五頁，共七十三頁。 3/10/2024 54 第五十四頁，共七十三頁。 –聯(lián)接權(quán)修改量 ： Δ wij=α ( Pij+ Pij) 3/10/2024 50 第五十頁，共七十三頁。 反之