【正文】 。111111 1?????? ??????????????????????????????????? ??????????于是，當(dāng) ωij= ωji 時(shí)， 0)(2139。1 ????????? ???dtdVVgCdtdE iniii80 且當(dāng) 時(shí) 。 因此 ， 隨時(shí)間的增長(zhǎng) ， 神經(jīng)網(wǎng)絡(luò)在狀態(tài)空間中的軌跡總是向 能量函數(shù)減小的方向變化 ， 且網(wǎng)絡(luò)的穩(wěn)定點(diǎn)就是能量函數(shù)的 極小點(diǎn) 。 連續(xù)型 Hopfield 網(wǎng)絡(luò)廣泛用于聯(lián)想記憶和優(yōu)化計(jì)算 問題 。 0?dtdv i 0?dtdE Hopfield神經(jīng)網(wǎng)絡(luò) 如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么 Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問題。 81 ? 關(guān)于連續(xù) Hopfield網(wǎng)絡(luò)有如下結(jié)論： 1. 具有良好的收斂性。即從任意非平衡軌跡出發(fā)，網(wǎng)絡(luò)將最終收斂于某個(gè)平衡狀態(tài)； 2. 具有有限個(gè)平衡點(diǎn)； 3. 如果平衡點(diǎn)是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)定的； 4. 漸進(jìn)穩(wěn)定平衡點(diǎn)為其能量函數(shù)的極小點(diǎn)； 5. 通過(guò)適當(dāng)?shù)膶W(xué)習(xí)，該網(wǎng)絡(luò)能將任意一組正交矢量存儲(chǔ)起來(lái)作為漸進(jìn)穩(wěn)定平衡點(diǎn)； 6. 連續(xù) Hopfield網(wǎng)絡(luò)的信息存儲(chǔ)表現(xiàn)為神經(jīng)元之間互聯(lián)的分布式動(dòng)態(tài)存儲(chǔ)； 7. 連續(xù) Hopfield網(wǎng)絡(luò)以大規(guī)模非線性連續(xù)時(shí)間并行方式處理信息，其計(jì)算時(shí)間就是系統(tǒng)趨于平衡點(diǎn)的時(shí)間。 Hopfield神經(jīng)網(wǎng)絡(luò) 82 ? Hopfield網(wǎng)絡(luò)的應(yīng)用： Hopfield網(wǎng)絡(luò)已成功地用于多個(gè)領(lǐng)域，應(yīng)用方式主要有兩種： 聯(lián)想存取和優(yōu)化計(jì)算 。不同應(yīng)用的基本思想可以歸納如下： 1. 對(duì)于特定的問題，選擇一種合適的表示方法，使得神經(jīng)網(wǎng)絡(luò)得輸出與問題的解對(duì)應(yīng)起來(lái) 。 2. 構(gòu)造神經(jīng)網(wǎng)絡(luò)的能量函數(shù)，使其最小值對(duì)應(yīng)于問題的最佳解 。 3. 由能量函數(shù)反推出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 。 4. 由網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)造網(wǎng)絡(luò)，讓其運(yùn)行，則穩(wěn)定狀態(tài)在一定條件下就是問題的解 . Hopfield神經(jīng)網(wǎng)絡(luò) 83 Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 ?組合優(yōu)化問題，就是在給定約束條件下，求出使目標(biāo)函數(shù)極?。ɑ驑O大）的變量組合問題 。 ?將 Hopfield網(wǎng)絡(luò)應(yīng)用于求解組合優(yōu)化問題，就是 把目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的能量函數(shù) ，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)。這樣 當(dāng)網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時(shí)，問題的最優(yōu)解也隨之求出。 84 ? TSP問題 所謂 TSP(Traveling Salesman Problem)問題，即“旅行商問題”是 一個(gè)十分有名的難以求解的優(yōu)化問題，其要求很簡(jiǎn)單：在 n個(gè)城市的 集合中， 從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出 發(fā)城市。要求找出一條最短的巡回路線。 如果已知城市 A， B， C， D， ? ，之間的距離為 dAB， dBC， dCD? ；那么 總的距離 d＝ dAB+dBC+dCD+? ，對(duì)于這種動(dòng)態(tài)規(guī)化問題，要去求其 min(d)的解。 因?yàn)閷?duì)于 n個(gè)城市的全排列共有 n!種，而 TSP并沒有限定路徑的方 向，即為全組合，所以對(duì)于固定的城市數(shù) n的條件下，其路徑總數(shù) Sn 為 Sn＝ n!／ 2n (n≥4) Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 85 n＝ 4時(shí)的 TSP路徑圖 城市數(shù)和對(duì)應(yīng)的旅行方案數(shù) Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 86 采用連續(xù)時(shí)間的霍普菲爾德網(wǎng)絡(luò)模型來(lái)求解 TSP，開辟了一條解決這一問題的新途徑。 其基本思想是把 TSP映射到 CHNN上，通過(guò)網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)演化逐步趨向穩(wěn)態(tài)而自動(dòng)地搜索出優(yōu)化解。 TSP的解是若干城市的有序排列，任何一個(gè)城市在最終路徑上的位置可用一個(gè) n維的 0、 1矢量表示，對(duì)于所有 n個(gè)城市，則需要一個(gè) n n維矩陣，例如以 5個(gè)城市為例，一種可能的排列矩陣為： 該矩陣唯一地確定了一條有效的行程路徑： C→A→D→B→E Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 87 約束條件和最優(yōu)條件 問題的約束條件和最優(yōu)條件如下： （ 1) 一個(gè)城市只能被訪問一次 =換位矩陣每行只有一個(gè)“ 1”。 （ 2） 一次只能訪問一個(gè)城市 =換拉矩陣每列只有一個(gè)“ 1”。 （ 3） 總共有 N個(gè)城市 =換位矩陣元素之和為 N。 (4）求巡回路徑最短 =網(wǎng)絡(luò)能量函數(shù)的最小值對(duì)應(yīng)于TSP的最短路徑。 Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 88 TSP的最優(yōu)解是求長(zhǎng)度 dxy為最短的一條有效的路徑。 (2)目標(biāo)函數(shù) f(V) (1)約束條件 g(V) 約束條件要保證關(guān)聯(lián)矩陣的每一行每一列中只有一個(gè)值為 1，其他值均為零，用三項(xiàng)表示為： Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 89 (3)總的能量函數(shù) E Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 第一項(xiàng)表示當(dāng)且僅當(dāng)每一城市行只包含一個(gè) “ 1”元素時(shí)取極小值 0； 第二項(xiàng)表示當(dāng)且僅當(dāng)每一旅行位置只包含一個(gè) “ 1”元素時(shí)取極小值 0； 第三項(xiàng)表示當(dāng)且僅當(dāng)置換矩陣中 “ 1”元素個(gè)數(shù)之和為 N時(shí)取極小值 0； “ 元素時(shí)取極小值 第四項(xiàng)表示路徑長(zhǎng)度信息，它隨著路徑長(zhǎng)度的較小而減小。 前三項(xiàng)保證了所有路徑的有效性，當(dāng)收斂到有效解時(shí)，前三項(xiàng)均為“ 0”。最后一項(xiàng)對(duì)應(yīng)經(jīng)過(guò)的路徑長(zhǎng)度就是一個(gè)最優(yōu)解或者至少是次優(yōu)解。 21 1111 1 111 1)(222? ?? ? ? ? ? ?? ???? ?? ??? ??????NxNixiNxNiNijNiNxNxyyixixjxiNTSQE?????),(2 111 1 1??? ? ??? ? ? ? iyiyNxNyNixy xidP ??? 90 考慮 CHNN模型的能量函數(shù)式，這樣能量函數(shù)中的積分項(xiàng)可以忽略不計(jì)，求解得網(wǎng)絡(luò)的聯(lián)接權(quán)值為： 式中： 外部輸入偏置電流為： Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 該連接權(quán)值中，系數(shù) S只影響同一行各神經(jīng)元之間的連接系數(shù)，系數(shù) Q只影響同一列各神經(jīng)元之間的連接系數(shù)，系數(shù) T與所有的權(quán)系數(shù)都相關(guān)，系數(shù) P只涉及路徑順序相鄰項(xiàng)。 91 求解 TSP的連接神經(jīng)網(wǎng)絡(luò)模型的運(yùn)動(dòng)方程可表示為： 霍普菲爾德和泰克 (Tank)經(jīng)過(guò)實(shí)驗(yàn)，認(rèn)為取初始值為： S＝ Q＝ P＝ 500， T＝ 200， RC＝ 1， U0＝ ，其求解 10個(gè)城市的 TSP得到良好的效果。 人們后來(lái)發(fā)現(xiàn)，用連續(xù)霍普菲爾德網(wǎng)絡(luò)求解像 TSP這樣約束優(yōu)化問題時(shí)，系統(tǒng) S、 Q、 P、 T的取值對(duì)求解過(guò)程有很大影響。 Hopfield網(wǎng)絡(luò)在組合優(yōu)化中的應(yīng)用 92 小腦神經(jīng)網(wǎng)絡(luò) ?BP神經(jīng)網(wǎng)絡(luò)是一種靜態(tài)非線性映射，通過(guò)簡(jiǎn)單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。 ?Hopfield網(wǎng)絡(luò)是一種動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型，實(shí)質(zhì)是其節(jié)點(diǎn)方程用微分方程或差分方程來(lái)表示而不是簡(jiǎn)單的非線性代數(shù)方程來(lái)表示。 ?在以上結(jié)構(gòu)中，各神經(jīng)元之間的連接關(guān)系是全連接的，學(xué)習(xí)過(guò)程也表現(xiàn)為在得到每一個(gè)樣本后，所有的連接系數(shù)都將更新一次。因此這種結(jié)構(gòu)屬于多輸入多輸出非線性系統(tǒng)的全局逼近。 ?這種權(quán)系數(shù)全局更新的方式使得系統(tǒng)本身一些局部結(jié)構(gòu)變得模糊不清且學(xué)習(xí)速率較慢，更嚴(yán)重的是全局逼近的網(wǎng)絡(luò)結(jié)構(gòu)，其逼近精度對(duì)于訓(xùn)練樣本數(shù)據(jù)過(guò)于敏感。 93 小腦神經(jīng)網(wǎng)絡(luò) 小腦模型關(guān)節(jié)控制器（ CMAC）是由 Albus最初于 1975年基于神經(jīng)生理學(xué)提出的，它是一種基于局部逼近的簡(jiǎn)單快速的神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習(xí)任意多維非線性映射 , 迄今已廣泛用于許多領(lǐng)域。 針對(duì)輸入空間的某一點(diǎn)只有一小部分權(quán)系數(shù)能被激活。 CMAC的缺點(diǎn)： ? 每一權(quán)系數(shù)只對(duì)局部的輸出誤差的有效部分負(fù)責(zé) 94 小腦神經(jīng)網(wǎng)絡(luò) CMAC的優(yōu)點(diǎn)： ? 是基于局部學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它把信息存儲(chǔ)在局部結(jié)構(gòu)上，使每次修正的權(quán)很少，在保證函數(shù)非線性逼近性能的前提下，學(xué)習(xí)速度快，適合于實(shí)時(shí)控制； ? 只要再訓(xùn)練的樣本空間數(shù)據(jù)域原有的樣本空間數(shù)據(jù)相距較遠(yuǎn)，則 CMAC網(wǎng)絡(luò)可以很方便的繼續(xù)進(jìn)行訓(xùn)練而又不會(huì)影響原有網(wǎng)絡(luò)已經(jīng)訓(xùn)練好的輸入輸出對(duì)應(yīng)關(guān)系。 ? 作為非線性逼近器，它對(duì)學(xué)習(xí)數(shù)據(jù)出現(xiàn)的次序不敏感。 95 CMAC神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 小腦神經(jīng)網(wǎng)絡(luò) 實(shí)現(xiàn)兩個(gè)映射 概念映射 : U AC 實(shí)際映射 : AC AP 96 小腦神經(jīng)網(wǎng)絡(luò) ?概念映射 （ conceptual mapping) 從輸入空間 U到概念存儲(chǔ)器 AC的一個(gè)映射。 ?實(shí)際映射 實(shí)際映射是由概念存儲(chǔ)器 AC中的 c個(gè)單元，用雜散編碼技術(shù)映射至實(shí)際存儲(chǔ)器 AP的 c個(gè)單元， c個(gè)單元中存放著相應(yīng)權(quán)值。網(wǎng)絡(luò)的輸出為 AP中 c個(gè)單元的權(quán)值的和。 97