【正文】 。Hamming距離越小表示兩個(gè)矢量越接近 ， 距離越大則表示兩個(gè)矢量越遠(yuǎn)離 。 兩個(gè)相同矢量的 Hamming距離為零 ， Hamming距離的最大值為 N。 漢明 (Hamming)網(wǎng)絡(luò) 1987年由 Lippmann等人提出的一種與 Hopfield網(wǎng)絡(luò)大同小異的網(wǎng)絡(luò)稱為 Hamming網(wǎng)絡(luò) ， 這是一種由上 、 下兩層組成的網(wǎng)絡(luò) 。 BAM網(wǎng)絡(luò)主要應(yīng)用于圖像處理 ， 語(yǔ)音處理和控制系統(tǒng) 。 此時(shí) ， 對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)要稍加修改是在 x和 y端增加橫向聯(lián)接 ， 以形成競(jìng)爭(zhēng)機(jī)制 。 、 在學(xué)習(xí)期間 ， Wij的變化比 x、 y的變化緩慢得多 ， 不變權(quán)值總是導(dǎo)致全局穩(wěn)定性 ， 在學(xué)習(xí)過(guò)程中認(rèn)為網(wǎng)絡(luò)處在平衡狀態(tài) 。 通過(guò)恰當(dāng)?shù)囟x能量函數(shù) ， 也可證明此時(shí)網(wǎng)絡(luò)仍是穩(wěn)定的 。 實(shí)際上 ， 連續(xù) BAM可以看作連續(xù) Hopfield網(wǎng)絡(luò)的直接推廣更為合適 ， 這兩種網(wǎng)絡(luò)在運(yùn)行方程及能量函數(shù) ， 甚至用電子電路來(lái)實(shí)現(xiàn)都具有很大的相似性 。 BAM網(wǎng)絡(luò)結(jié)構(gòu)的其他形式 利用人工神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn) BAM的結(jié)構(gòu)有多種形式 。例如從系統(tǒng)的故障特征空間到故障標(biāo)識(shí)空間的聯(lián)想映射 。 網(wǎng)絡(luò)運(yùn)行的動(dòng)態(tài)方程可以用圖來(lái)形象描述 。 對(duì) y端初始輸入 y(0)也有類似的過(guò)程 。 此時(shí) ， 網(wǎng)絡(luò)在 x輸出端重建了被干擾的模式 。 如此反復(fù)這個(gè)運(yùn)行過(guò)程 ，網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移的一般方程可寫為 若權(quán)矩陳 W經(jīng)過(guò)充分訓(xùn)練 ， 網(wǎng)絡(luò)達(dá)到穩(wěn)定 ， 那么對(duì)于初始輸入 x(0)， 經(jīng)過(guò)有限次運(yùn)行后 ， 網(wǎng)絡(luò)就達(dá)到穩(wěn)定狀態(tài) (x(t)， y(t))。 對(duì)網(wǎng)絡(luò)的一端輸入信號(hào) 、 則可在另 YI一端得到輸出 ， 該輸出又反饋回來(lái) ……如此反復(fù) ， 直到網(wǎng)絡(luò)達(dá)到穩(wěn)態(tài)為止 。 這里只介紹最基本的一種就是 1987年和 1988年出Kosko提出的 BAM型 。 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖所示 。 實(shí)現(xiàn)此功能的 人工神經(jīng)元網(wǎng)絡(luò)稱為異 (雙向 )聯(lián)想存儲(chǔ)器 。 雙向異聯(lián)想記憶網(wǎng)絡(luò) 雙向聯(lián)想記憶網(wǎng)絡(luò)是一種兩層的異聯(lián)想 、 內(nèi)容可 尋址存儲(chǔ)器組成的反饋網(wǎng)絡(luò) 。 （ 2） 只利用網(wǎng)絡(luò)能量函數(shù)的全局極小值即最小值 ， 最 小值所對(duì)應(yīng)的網(wǎng)絡(luò)狀態(tài)就是問(wèn)題的最優(yōu)解 。 可以發(fā)現(xiàn) :這三方面的應(yīng)用實(shí)際上都是在 利用神經(jīng)網(wǎng)絡(luò)能量的收斂特性 的基礎(chǔ)上得以實(shí)現(xiàn)的 ， 只不過(guò)利用的角度不同而已 。 有興趣的請(qǐng)查閱有關(guān)文獻(xiàn) 。 5． 圖像處理 、 聯(lián)想記憶 、 運(yùn)動(dòng)物體的速度場(chǎng)計(jì)算等等 。 3． Hopfield連續(xù)模型用于線性時(shí)不變系統(tǒng)的辨識(shí)和非 線性系統(tǒng)的辨識(shí) 。 1989年 IEEE的固態(tài)電路雜志上發(fā)表了 “ 用修改的 Hopfield網(wǎng)絡(luò)設(shè)計(jì)以神經(jīng)元為基礎(chǔ)的 A／ D變換器 ” 文章中提出用附加的邏輯電路消除遲滯 ， 并做出實(shí)驗(yàn)芯片 ， 這種電路結(jié)構(gòu)比較復(fù)雜而且工作速度降低 。 由于網(wǎng)絡(luò)是以迅速收斂的迭代方式 運(yùn)行的 ， 所以那些有 “ 組合爆炸 ” 危險(xiǎn)的復(fù)雜問(wèn)題可以變?yōu)榭捎?jì)算的簡(jiǎn)單問(wèn)題 。 這里不再詳述 。 但是應(yīng)該指出 ， 用 Hopfield網(wǎng)絡(luò)解決 TSP問(wèn)題 并不是每次都能收斂到最小值 ， 而時(shí)常會(huì) “ 凍結(jié) ” 在無(wú)意義的旅行路線上 。 如圖所示 。 這時(shí) 需要更換一組網(wǎng)絡(luò)初始狀態(tài) (即重新設(shè) 置 )。 這里只要 神經(jīng)元輸出 ＜ 0． 0l， 則可視為 0， ＞ 0． 99 則可視為 1。 (2) 換位矩陣每行有且僅有一個(gè)為 1的單元 。 注意：在每進(jìn)行一遍巡回之后 ， 要檢查運(yùn)行結(jié)果即旅 行路徑的合法性 。 也可以說(shuō) ， 比較 ， 則可得到連接權(quán)表達(dá)式 。 為使網(wǎng)絡(luò)能收斂到全局極小值 ， 可按以下設(shè)置網(wǎng)絡(luò)各連接權(quán)的初值 。 第四項(xiàng)對(duì)應(yīng)問(wèn)題的目標(biāo) ， 即優(yōu)化要求 ， 其最小值就是最短路徑長(zhǎng)度 。 以上前三項(xiàng)只有當(dāng)滿足問(wèn)題的約束條件時(shí)才能為 0，因此這三項(xiàng)保證了所得路徑的有效性 。 當(dāng)然 vij同時(shí)也是網(wǎng)絡(luò)的一個(gè)神經(jīng)元的狀態(tài) 。 （ 4） 要求巡回路徑最短 網(wǎng)絡(luò)能量函數(shù)最小值對(duì)應(yīng) 于 TSP的最短路徑 。 首 先 ， 對(duì)應(yīng)換位矩陣 ， 把問(wèn)題的約束條件和最優(yōu)要求分解出來(lái)： (1) 一次只能訪問(wèn)一個(gè)城市 換位矩陣每列只能有一 個(gè) “ 1”。 有了明確的表達(dá)形式之后 ， 第二個(gè)關(guān)鍵問(wèn)題是如何把問(wèn)題的目標(biāo)函數(shù)表示為網(wǎng)絡(luò)的能量函數(shù) ， 并將問(wèn)題的變量對(duì)應(yīng)為網(wǎng)絡(luò)的 狀態(tài) 。 按照提出的路線 ， 可得到如圖所示的表現(xiàn)形式 。觀察下圖 。 設(shè)這五個(gè)城市分別為 A、 B、 C、 D、 E。 如何用 Hopfield神經(jīng)網(wǎng)絡(luò)解決這一問(wèn)題 。 既使城市數(shù)減少到 20個(gè) ，用這一方法求解仍需 350年 。 這些方法部存在著一個(gè)共同問(wèn)題 ， 就是當(dāng)城市數(shù) n較大時(shí) ，會(huì)產(chǎn)生所謂 “ 組合爆炸 ” 問(wèn)題 。 要求找出一條最短的巡回路線 。 當(dāng)年正是因?yàn)?Hopfield用其連續(xù)時(shí)間型神經(jīng)網(wǎng)絡(luò)成功地求解了這個(gè)具有相當(dāng)難度的組合優(yōu)化問(wèn)題 ,才使人工神經(jīng)網(wǎng)絡(luò)的研究工作走出 “ 低谷 ” ， 并重新興盛起來(lái) 。 簡(jiǎn)稱 TSP(the Traveling Salesman Problem)。 在條件有限的 情況下 ， 由網(wǎng)絡(luò)結(jié)構(gòu)可推導(dǎo)出網(wǎng)絡(luò)的運(yùn)行方式 ， 在計(jì)算機(jī)上模擬 ， 也能得到滿意的解 。 (2)構(gòu)造神經(jīng)元網(wǎng)絡(luò)的能量函數(shù) ， 使其最小值對(duì)應(yīng)于 問(wèn)題的最佳解 。 這樣當(dāng)網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時(shí) ， 問(wèn)題的最優(yōu)解也就隨之求出 。 ? 通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)能量函數(shù)的分析 ， 可以得到這樣一種 啟發(fā) ：既然網(wǎng)絡(luò)的能量函數(shù)在網(wǎng)絡(luò)的狀態(tài)按一定規(guī)則變化時(shí) ， 可以自動(dòng)地朝著其穩(wěn)定的平衡點(diǎn)即極小值點(diǎn)運(yùn)動(dòng) ， 并將最終收斂于極值點(diǎn) 。 ? 用神經(jīng)網(wǎng)絡(luò)解決優(yōu)化組合問(wèn)題 ， 即尋找問(wèn)題的最優(yōu)解 ， 是神經(jīng)網(wǎng)絡(luò)應(yīng)用的一個(gè)重要方面 。 這種網(wǎng)絡(luò)的應(yīng)用形式主要有 聯(lián)想記憶 和 優(yōu)化計(jì)算 兩種形式 。 連續(xù)狀態(tài) Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn)型已經(jīng)廣泛用于信號(hào)分解 、 自適應(yīng)濾波 、 譜估計(jì) 、 A／ D變換等信號(hào)處理的許多領(lǐng)域 。 如果圖中運(yùn)算放大器為理想或近似理想放大器 、 那么能量函數(shù)定義式中積分項(xiàng)一般可忽略不計(jì) ， 此時(shí) ，式可寫為 在優(yōu)化計(jì)算中 ， 對(duì)于特定問(wèn)題 ， 先寫出能量函數(shù) ，再與標(biāo)準(zhǔn)方程對(duì)比 ， 從而決定網(wǎng)絡(luò)權(quán)結(jié)構(gòu) 。 當(dāng)網(wǎng)絡(luò)的結(jié)構(gòu)不對(duì)稱時(shí) ， 那么無(wú)法保證網(wǎng)絡(luò)的穩(wěn)定性 。 當(dāng)且僅當(dāng) 網(wǎng)絡(luò)中所有的節(jié)點(diǎn)狀態(tài)不可改變時(shí) ， 能量不冉變化 ， 此時(shí)到達(dá)能量的極小點(diǎn) 。 網(wǎng)絡(luò)的穩(wěn)定性同樣也可以用能量函數(shù)的概念加以說(shuō)明 。 對(duì)上圖的神經(jīng)元 ， 根據(jù)克希荷夫定律列寫并經(jīng)整理后成為以下的微分方程式 微分方程反映網(wǎng)絡(luò)狀態(tài)的連續(xù)更新的意義 。 網(wǎng)絡(luò)結(jié)構(gòu) Hopfield提出的連續(xù)確定性模型可與電子線路直接對(duì)應(yīng) ，每一個(gè)神經(jīng)元可由一個(gè)有正反向輸出的放大器模擬 ，其中運(yùn)算放大器模擬神經(jīng)元的轉(zhuǎn)移特性函數(shù) ， 連接電阻 (輸入端 )決定各種神經(jīng)元之間的連接強(qiáng)度 ， 放大器輸入端并聯(lián)的電阻和電容可模擬生物神經(jīng)元約輸出時(shí)間常數(shù) 。 與離散 Hopfield網(wǎng)絡(luò)相比 ， 多了一種連續(xù)更新的新形式 ， 表示網(wǎng)絡(luò)中所有節(jié)點(diǎn)都隨連續(xù)時(shí)間并行更新 。 連續(xù)時(shí)間型 Hopfield網(wǎng)絡(luò)是 Hopfield于 1984年在離散型神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出來(lái)的 ， 其網(wǎng)絡(luò)的結(jié)構(gòu)上與離散型相同 ， 而且狀態(tài)方程形式上也相同 。 但由于連續(xù)時(shí)間型 Hopfield神經(jīng)網(wǎng)絡(luò)是以 模擬量 作為網(wǎng)絡(luò)的輸入 、 輸出量 ， 各神經(jīng)元采用同步工作方式 ， 因而它比離散型網(wǎng)絡(luò)在信息處理的并行性 、 聯(lián)想性 、 存貯分布性 、 實(shí)時(shí)性 、 協(xié)同性等方面更接近于生物神經(jīng)網(wǎng)絡(luò) 。 目前還沒(méi)有一個(gè)精確地解釋和計(jì)算神經(jīng)網(wǎng)絡(luò)倍息存貯容量的方法 ， 這是一個(gè)很有意義的研究課題 ， 特別是對(duì)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)來(lái)說(shuō) ， 具有重要的實(shí)用價(jià)值 。 但實(shí)際上Hopfield網(wǎng)絡(luò)的存貯能力決定于由 ωij和 θi 的適當(dāng)組合而能夠形成網(wǎng)絡(luò)能量函數(shù)穩(wěn)定平衡點(diǎn)的個(gè)數(shù) 。這一方法的主要思想是網(wǎng)絡(luò)連接權(quán)設(shè)定好之后 ，針對(duì)需要聯(lián)想的輸入模式 ， 每次按工作運(yùn)行規(guī)則改變一次網(wǎng)絡(luò)狀態(tài)時(shí) ， 網(wǎng)絡(luò)的連接權(quán)做一次“ 微調(diào) ” 做這種 “ 微調(diào) ” 的目的 ， 是使網(wǎng)絡(luò)能量函數(shù)的吸引子的控制范圍趨于均等 ， 從而抑制 “ 偽狀態(tài) ” 現(xiàn)象的出現(xiàn) 。 針對(duì) Hopfield網(wǎng)絡(luò)存在的這些問(wèn)題 ， 許多研究者提出了各種改進(jìn)方案 。 圖 (a)為一個(gè)與模式 1最接近 (漢明距離為 14)的輸入模式 ， 但是當(dāng)網(wǎng)絡(luò)依據(jù) Hopfield工作運(yùn)行規(guī)則進(jìn)行網(wǎng)絡(luò)狀態(tài)改變 500次后 ， 回想出來(lái)的卻是一個(gè)與模式 3接近的模式 (漢明距離為 11)。 舉例說(shuō)明 Hopfield網(wǎng)絡(luò)存在的缺陷 。 “谷底 “ 深、 “ 谷面 ” 寬、坡度大的比 “ 谷底 ” 淺、“ 谷面 ” 狹、 “ 坡度 ” 小的那些 “ 谷底 ” 有更多的被回想出來(lái)的機(jī)會(huì)， 前者比后者對(duì)應(yīng)更多的初始狀態(tài)，或者說(shuō)前者比后者具有更大的吸引子控制域。 我們可以從網(wǎng)絡(luò)的能量函數(shù)曲線直觀地解釋 這個(gè)問(wèn)題 。 總結(jié)起來(lái)主要有以下三點(diǎn)： (1)由網(wǎng)絡(luò)聯(lián)想出或恢復(fù)出的模式未必是與輸入 模式最接近的記憶模式 。在許多情況下 ， 這些約束條件很難得到滿足 ，如網(wǎng)絡(luò)的對(duì)稱性條件等 。 本課程對(duì)這些方法不再作介紹 。 這些方法在使用上各有利弊 。 目前還沒(méi)有一個(gè)適應(yīng)任意形式 的記憶模式 、 且有效的通用設(shè)計(jì)方法 。 Hopfield網(wǎng)絡(luò)聯(lián)想記憶的設(shè)計(jì)方法 實(shí)現(xiàn) Hopfield網(wǎng)絡(luò)聯(lián)想記憶的關(guān)鍵 ， 是使被記憶的模式樣本對(duì)應(yīng)網(wǎng)絡(luò)能量函數(shù)的極小值 。 試驗(yàn)中也發(fā)現(xiàn)一些問(wèn)題 ， 有時(shí)不能恢復(fù)出