【正文】 是形成網(wǎng)絡(luò)能量函數(shù)極小點(diǎn)的網(wǎng)絡(luò)狀態(tài) 。 以上前三項(xiàng)只有當(dāng)滿足問題的約束條件時(shí)才能為 0，因此這三項(xiàng)保證了所得路徑的有效性 。 從一般意義上講 ， 這三項(xiàng)是針對(duì)優(yōu)化組合問題約束條件而設(shè)置的 ， 稱為懲罰項(xiàng) (意思是：不滿足約束 條件 ， 這些項(xiàng)就不為 0， 網(wǎng)絡(luò)能量函數(shù)就不可能達(dá)到極小值 )。 第四項(xiàng)對(duì)應(yīng)問題的目標(biāo) ， 即優(yōu)化要求 ， 其最小值就是最短路徑長(zhǎng)度 。 綜合這四項(xiàng)可得到網(wǎng)絡(luò)能量函數(shù)的最后表達(dá)形式 上式符合網(wǎng)絡(luò)能量函數(shù)的定義 ， 且只能當(dāng)達(dá)到問題的最優(yōu)解時(shí) ， E取得極小值 ， 由此時(shí)的網(wǎng)絡(luò)狀態(tài) vij 構(gòu)成的換位矩陣表達(dá)了最佳旅行路線 。 為使網(wǎng)絡(luò)能收斂到全局極小值 ， 可按以下設(shè)置網(wǎng)絡(luò)各連接權(quán)的初值 。 實(shí)際上 ， 將上式代入 Hopfield網(wǎng)絡(luò)能量函數(shù)式 ,則得到 TSP問題能量函數(shù)式 (只相差一常數(shù) N2 )。 也可以說 ， 比較 ， 則可得到連接權(quán)表達(dá)式 。 將式代人 Hopfield網(wǎng)絡(luò)運(yùn)行方程 ， 則得求解 TSP的網(wǎng)絡(luò)迭代方程 這樣做的目的是使網(wǎng)絡(luò)因初始狀態(tài)的不同而引起競(jìng)爭(zhēng) ， 從而使網(wǎng)絡(luò)朝收斂方向發(fā)展 。 注意：在每進(jìn)行一遍巡回之后 ， 要檢查運(yùn)行結(jié)果即旅 行路徑的合法性 。 主要有三方面： (1) 每個(gè)神經(jīng)元的輸出狀態(tài)必須是 “ 0”或 “ 1”。 (2) 換位矩陣每行有且僅有一個(gè)為 1的單元 。 (3) 換位矩陣每列有且僅有一個(gè)為 l的單元 。 這里只要 神經(jīng)元輸出 ＜ 0． 0l， 則可視為 0， ＞ 0． 99 則可視為 1。 當(dāng)網(wǎng)絡(luò)的運(yùn)行迭代次數(shù)大于事先給定 的回?cái)?shù)時(shí) ， 經(jīng)檢查運(yùn)行結(jié)果仍屬非法時(shí) ， 說明從 這一初始狀態(tài)網(wǎng)絡(luò)不能收斂到全局最小值 。 這時(shí) 需要更換一組網(wǎng)絡(luò)初始狀態(tài) (即重新設(shè) 置 )。 從步驟 ② 開始再進(jìn)行網(wǎng)絡(luò)迭代 ， 直到網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài) 。 如圖所示 。 經(jīng)驗(yàn)表明 ， 當(dāng)選擇合適的參數(shù) ， 如 A＝ 500， D＝500， C＝ 200， D＝ 500， S函數(shù)時(shí)間常數(shù) τ0＝ 100時(shí) ，網(wǎng)絡(luò)能得到較滿意的收斂結(jié)果 。 但是應(yīng)該指出 ， 用 Hopfield網(wǎng)絡(luò)解決 TSP問題 并不是每次都能收斂到最小值 ， 而時(shí)常會(huì) “ 凍結(jié) ” 在無(wú)意義的旅行路線上 。 這 說 明 Hopfield 網(wǎng) 絡(luò) 模 型 具 有 不 穩(wěn) 健 性 (Non Robustness)， 關(guān)于這方面的問題 ， 有關(guān)文獻(xiàn)進(jìn)行了深入的研究 ， 并提出了一些改進(jìn)設(shè)想 。 這里不再詳述 。 總結(jié)以上用神經(jīng)網(wǎng)絡(luò)解決優(yōu)化組合問題的方法 ， 其主要思想是根據(jù)問題的性質(zhì) ， 把目標(biāo)函數(shù)與網(wǎng)絡(luò)的能量函數(shù)聯(lián)系在一起 ， 把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)單元狀態(tài) ， 通過網(wǎng)絡(luò)運(yùn)行時(shí)能量函數(shù)的最小化趨勢(shì)得到問題的最優(yōu)解 。 由于網(wǎng)絡(luò)是以迅速收斂的迭代方式 運(yùn)行的 ， 所以那些有 “ 組合爆炸 ” 危險(xiǎn)的復(fù)雜問題可以變?yōu)榭捎?jì)算的簡(jiǎn)單問題 。 而運(yùn)用這一方法 的 關(guān)鍵是 恰當(dāng)?shù)貙懗鰡栴}的網(wǎng)絡(luò)能量函數(shù) ， 構(gòu)造出網(wǎng)絡(luò)能量函數(shù)的一般方法可用 下 式表示 ： 2． A／ D轉(zhuǎn)換 Hopfield網(wǎng)絡(luò)用于優(yōu)化的另一個(gè)實(shí)例就是利用人工神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)一種典型電路 A／ D變換器 ， 這種電路與傳統(tǒng)的 A／ D變換電路相比較 ， 具有結(jié)構(gòu)簡(jiǎn)單 、提高工作速度等優(yōu)點(diǎn) 。 1989年 IEEE的固態(tài)電路雜志上發(fā)表了 “ 用修改的 Hopfield網(wǎng)絡(luò)設(shè)計(jì)以神經(jīng)元為基礎(chǔ)的 A／ D變換器 ” 文章中提出用附加的邏輯電路消除遲滯 ， 并做出實(shí)驗(yàn)芯片 ， 這種電路結(jié)構(gòu)比較復(fù)雜而且工作速度降低 。 1991年鄭君里和張寧在電路與系統(tǒng)學(xué)報(bào)上發(fā)表了文章 ， 分析了遲滯 (局部最小 )現(xiàn)象出現(xiàn)的條件 ， 導(dǎo)出了約束公式 ， 并且提出利用非對(duì)稱 Hopfield網(wǎng)絡(luò)構(gòu)作A／ D變換器 ． 可以消除遲滯現(xiàn)象 ， 電路結(jié)構(gòu)十分簡(jiǎn)單 ， 工作速度也下降了 。 3． Hopfield連續(xù)模型用于線性時(shí)不變系統(tǒng)的辨識(shí)和非 線性系統(tǒng)的辨識(shí) 。 4． 用于求解線性和非線性規(guī)劃 。 5． 圖像處理 、 聯(lián)想記憶 、 運(yùn)動(dòng)物體的速度場(chǎng)計(jì)算等等 。 以上部分因篇幅關(guān)系 ， 這里不介紹 。 有興趣的請(qǐng)查閱有關(guān)文獻(xiàn) 。 網(wǎng)絡(luò)應(yīng)用與網(wǎng)絡(luò)能量函數(shù) 我們已介紹了人工神經(jīng)網(wǎng)絡(luò)在三個(gè)主要方面的應(yīng)用 ，即 模式識(shí)別與分類 聯(lián)想記憶 最優(yōu)化 。 可以發(fā)現(xiàn) :這三方面的應(yīng)用實(shí)際上都是在 利用神經(jīng)網(wǎng)絡(luò)能量的收斂特性 的基礎(chǔ)上得以實(shí)現(xiàn)的 ， 只不過利用的角度不同而已 。 （ 1） 聯(lián)想記憶：利用了網(wǎng)絡(luò)能量函數(shù)的所有極小值 ， 每一個(gè)極小值對(duì)應(yīng)一個(gè)記憶模式 。 （ 2） 只利用網(wǎng)絡(luò)能量函數(shù)的全局極小值即最小值 ， 最 小值所對(duì)應(yīng)的網(wǎng)絡(luò)狀態(tài)就是問題的最優(yōu)解 。 （ 3） 利用網(wǎng)絡(luò)能量函數(shù)的收斂特性進(jìn)行網(wǎng)絡(luò)訓(xùn)練 ， 而 沒有直接利用其外在表現(xiàn)形式 。 雙向異聯(lián)想記憶網(wǎng)絡(luò) 雙向聯(lián)想記憶網(wǎng)絡(luò)是一種兩層的異聯(lián)想 、 內(nèi)容可 尋址存儲(chǔ)器組成的反饋網(wǎng)絡(luò) 。 前面介紹的是自聯(lián)想記億 ， 這里介紹異聯(lián)想記憶 ， 又稱雙向聯(lián)想記憶 ， 簡(jiǎn)寫為 BAM。 實(shí)現(xiàn)此功能的 人工神經(jīng)元網(wǎng)絡(luò)稱為異 (雙向 )聯(lián)想存儲(chǔ)器 。 BAM采用前向和反向信息流以產(chǎn)生對(duì)存儲(chǔ)激勵(lì)響 應(yīng)聯(lián)想的聯(lián)想尋找 。 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖所示 。 利用人工神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)的 BAM有多種結(jié)構(gòu)形式 ，例如離散 、 連續(xù)和自適應(yīng) BAM等 。 這里只介紹最基本的一種就是 1987年和 1988年出Kosko提出的 BAM型 。 這種 BAM網(wǎng)絡(luò)的運(yùn)行是雙向的 。 對(duì)網(wǎng)絡(luò)的一端輸入信號(hào) 、 則可在另 YI一端得到輸出 ， 該輸出又反饋回來(lái) ……如此反復(fù) ， 直到網(wǎng)絡(luò)達(dá)到穩(wěn)態(tài)為止 。 這種網(wǎng)絡(luò)如何實(shí)現(xiàn)異聯(lián)想呢 ? (1)假設(shè)在網(wǎng)絡(luò)的輸入端 x處輸入初始模式 x(0)， 那么 x(0） 通過權(quán)矩陣 W1加權(quán)而后到 y端 ， 通過 y端輸出節(jié)點(diǎn)的轉(zhuǎn)移特性 fy的非線性變換 ， 變?yōu)?y端的輸出y(o)＝ fx(y(0)W2), y(0)再反饋過來(lái) ， 經(jīng)過 W2加權(quán)后返回到 x端輸入 ， 再經(jīng)過 X端輸出 節(jié) 點(diǎn)轉(zhuǎn)移特性 fx的 非線性變換 ， 變?yōu)?x端輸 出 x(1)＝ fx(y(0)W2)。 如此反復(fù)這個(gè)運(yùn)行過程 ，網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移的一般方程可寫為 若權(quán)矩陳 W經(jīng)過充分訓(xùn)練 ， 網(wǎng)絡(luò)達(dá)到穩(wěn)定 ， 那么對(duì)于初始輸入 x(0)， 經(jīng)過有限次運(yùn)行后 ， 網(wǎng)絡(luò)就達(dá)到穩(wěn)定狀態(tài) (x(t)， y(t))。 若輸入 x(0)＝ xi ， 即離 xi比其他已經(jīng)存儲(chǔ)模式 xi更近 ，這樣 ， 才認(rèn)為 x(t)＝ xi。 此時(shí) ， 網(wǎng)絡(luò)在 x輸出端重建了被干擾的模式 。 同時(shí) ， 還有 y(t)＝ yi， 就是網(wǎng)絡(luò)在y輸出端實(shí)現(xiàn)了網(wǎng)絡(luò)的異聯(lián)想 。 對(duì) y端初始輸入 y(0)也有類似的過程 。 注意： x(t)， y(t)均為穩(wěn)定狀態(tài) 。 網(wǎng)絡(luò)運(yùn)行的動(dòng)態(tài)方程可以用圖來(lái)形象描述 。 學(xué)習(xí)規(guī)則 BAM能夠?qū)崿F(xiàn)兩類長(zhǎng)度個(gè)同的向量之間的互相轉(zhuǎn)換 。例如從系統(tǒng)的故障特征空間到故障標(biāo)識(shí)空間的聯(lián)想映射 。 網(wǎng)絡(luò)的穩(wěn)定性及 BAM的其他形式 1． 網(wǎng)絡(luò)的穩(wěn)定性 網(wǎng)絡(luò)的能量函數(shù)可定義為 仿照 Hopfield網(wǎng)絡(luò)的情形 ， 可以證明由上兩式定義的 能量函數(shù)隨著網(wǎng)絡(luò)狀態(tài)的遷移而下降 ， 即 網(wǎng)絡(luò)是穩(wěn)定的 。 BAM網(wǎng)絡(luò)結(jié)構(gòu)的其他形式 利用人工神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn) BAM的結(jié)構(gòu)有多種形式 。 其中有一種就是把離散 BAM網(wǎng)絡(luò)推廣到連續(xù)取值的情形 。 實(shí)際上 ， 連續(xù) BAM可以看作連續(xù) Hopfield網(wǎng)絡(luò)的直接推廣更為合適 ， 這兩種網(wǎng)絡(luò)在運(yùn)行方程及能量函數(shù) ， 甚至用電子電路來(lái)實(shí)現(xiàn)都具有很大的相似性 。 連續(xù) BAM也可看作為一種適應(yīng)性網(wǎng)絡(luò) ， 即對(duì)網(wǎng)絡(luò)權(quán)值作連續(xù)緩慢的調(diào)整烈使其適應(yīng)于環(huán)境 。 通過恰當(dāng)?shù)囟x能量函數(shù) ， 也可證明此時(shí)網(wǎng)絡(luò)仍是穩(wěn)定的 。 自適應(yīng) BAM是讓短期記憶的一些穩(wěn)態(tài)來(lái)回反響 ，最后逐漸把信息存入長(zhǎng)期記憶中去 ， 后者體現(xiàn)在W中 ， 這是學(xué)習(xí)過程 。 、 在學(xué)習(xí)期間 ， Wij的變化比 x、 y的變化緩慢得多 ， 不變權(quán)值總是導(dǎo)致全局穩(wěn)定性 ， 在學(xué)習(xí)過程中認(rèn)為網(wǎng)絡(luò)處在平衡狀態(tài) 。 BAM網(wǎng)絡(luò)甚至也可擴(kuò)展成為競(jìng)爭(zhēng)的學(xué)習(xí)形式 。 此時(shí) ， 對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)要稍加修改是在 x和 y端增加橫向聯(lián)接 ， 以形成競(jìng)爭(zhēng)機(jī)制 。 BAM網(wǎng)絡(luò)還可推廣到高階 ， 構(gòu)成自適應(yīng) BAM、 高階異關(guān)聯(lián)網(wǎng)絡(luò)等 。 BAM網(wǎng)絡(luò)主要應(yīng)用于圖像處理 ， 語(yǔ)音處理和控制系統(tǒng) 。 在國(guó)外已有由 BAM原理制造成的產(chǎn)品出售 。 漢明 (Hamming)網(wǎng)絡(luò) 1987年由 Lippmann等人提出的一種與 Hopfield網(wǎng)絡(luò)大同小異的網(wǎng)絡(luò)稱為 Hamming網(wǎng)絡(luò) ， 這是一種由上 、 下兩層組成的網(wǎng)絡(luò) 。 其拓?fù)浣Y(jié)構(gòu)如圖所示 。 兩個(gè)相同矢量的 Hamming距離為零 ， Hamming距離的最大值為 N。 上式表明 : 在 Hamming網(wǎng)絡(luò)中 ， 是以 Hamming距離來(lái)度量?jī)蓚€(gè)狀態(tài)矢量的差別的 。Hamming距離越小表示兩個(gè)矢量越接近 ， 距離越大則表示兩個(gè)矢量越遠(yuǎn)離 。 總之 ， Hamming網(wǎng)絡(luò)能夠?qū)﹄x散輸入模式進(jìn)行在漢明距離最小意義下的識(shí)別及聚類 ， 由拓?fù)浣Y(jié)構(gòu)看到下層為匹配子網(wǎng)絡(luò) ， 在學(xué)習(xí)階段該子網(wǎng)絡(luò)記憶存儲(chǔ)樣本輸入模式 ， 在工作階段該子網(wǎng)絡(luò)計(jì)算輸入模式與各樣本模式的匹配程度 ， 并把結(jié)果送入上層的競(jìng)爭(zhēng)子網(wǎng)絡(luò) 。