【正文】 第四章 反饋式神經(jīng)網(wǎng)絡(luò) ? Hopfield神經(jīng)網(wǎng)絡(luò) ? 雙向異聯(lián)想記憶網(wǎng)絡(luò) ? 漢明 (Hamming)網(wǎng)絡(luò) Hopfield神經(jīng)網(wǎng)絡(luò) 美國加州工學(xué)院物理學(xué)家 1982年 和 1984年分別提出了兩種神經(jīng)網(wǎng)絡(luò)模型 ， 簡稱 HNN。 ? 離散的隨機(jī)模型 （ 離散 Hopfleld網(wǎng)絡(luò) ） ? 確定論模型 （ 連續(xù) Hopfleld網(wǎng)絡(luò) ） HNN模型是目前得到了最充分研究和廣泛應(yīng)用的反饋式神經(jīng)元網(wǎng)絡(luò)模型 。 Hopfield將 “ 能量函數(shù) ” (也稱李雅普諾夫函數(shù) )的概念引入分析一類人工神經(jīng)元網(wǎng)絡(luò)的穩(wěn)定過程 ， 使網(wǎng)絡(luò)運(yùn)行的 穩(wěn)定性判斷 有了可靠和簡便的依據(jù) 。 開辟了人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于 聯(lián)想記憶 和 優(yōu)化計(jì)算 等領(lǐng)域的范圍 。 由于 Hopfield網(wǎng)絡(luò)與電子電路存在明顯的對應(yīng)關(guān)系 ，所以使得這種網(wǎng)絡(luò)易于理解和便于實(shí)現(xiàn) 。 顯然 ， 為神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的研究奠定了基礎(chǔ) 。 Hopfield網(wǎng)絡(luò)的基本思想 ? Hopfield網(wǎng)絡(luò)作為一種全連接型神經(jīng)網(wǎng)絡(luò) ． 曾經(jīng)在人工神經(jīng)網(wǎng)絡(luò)研究發(fā)展歷程中起過喚起希望 、 開辟研究新途徑的作用 。 ? 它用與階層型神經(jīng)網(wǎng)絡(luò)不同的結(jié)構(gòu)特征和學(xué)習(xí)方法 ， 模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)理 ， 獲得了令人滿意的結(jié)果 。 1985年 Hopfield和 D． W． Tank用這種網(wǎng)絡(luò)模型成功地求解了優(yōu)化組合問題中的具有典型意義的旅行商 (TSP)問題 ， 在所有隨機(jī)選擇的路徑中找到了其中十萬分之一的最優(yōu)路徑 ， 這在當(dāng)時(shí)是神經(jīng)網(wǎng)絡(luò)研究工作中所取得的突破性進(jìn)展 。 Hopfield是從物理學(xué) 磁場理論 中受到啟發(fā) ， 結(jié)合生物神經(jīng)網(wǎng)絡(luò)的思維機(jī)理而提出這一網(wǎng)絡(luò)模型的 。 磁場也是 —種具有記憶功能的物質(zhì) ， 人們很早就利用磁場的記憶功能創(chuàng)造出許多很有價(jià)值的產(chǎn)品 ， 如目前廣泛使用的計(jì)算機(jī)磁盤 。 由物理學(xué)知識(shí)可知 : 在磁性材料中游動(dòng)著大量的磁旋 ， 正是由于這些帶有方向的磁旋的相互作用 ， 才產(chǎn)生了磁場本身所具有的各種性質(zhì) 。 在永久磁鐵中 ， 由于所有的磁旋都朝向一個(gè)方向 ， 構(gòu)成了磁鐵的 N極和 S極的兩極特性 。 ? Hopfield網(wǎng)絡(luò)的 基本思想 : ? 用人工神經(jīng)元模擬的磁旋 ， 用神經(jīng)元之間的連接 權(quán)模擬磁場中磁場中磁旋的相互作用； ? 用各神經(jīng)元的 “ 激活 ” 和 “ 抑制 ” 兩種狀態(tài) ， 模擬磁場中磁旋的上 、 下 兩個(gè)方向 ， 構(gòu)成一個(gè)具有記憶功能的神經(jīng)網(wǎng)絡(luò)系統(tǒng)； ? 引用物理學(xué)中有關(guān)能量的概念 ， 用 “ 計(jì)算能量函數(shù) ” (ComPutational Energy Function)來評價(jià)和指導(dǎo)整個(gè)網(wǎng)絡(luò)的記憶功能 。 磁場與神經(jīng)網(wǎng)絡(luò)的對照示意圖 Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)和算法 ? 離散型 Hopfield網(wǎng)絡(luò)結(jié)構(gòu)如圖 。 Hopfield為一層結(jié)構(gòu)的反饋網(wǎng)絡(luò) ， 能處理 雙極型離散數(shù)據(jù) ,即輸入 及 二進(jìn)制數(shù)據(jù) 當(dāng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練后 ， 可以認(rèn)為網(wǎng)絡(luò)處于 等待 工作狀態(tài) 。 ? ?1,1 ???x? ?1,0?x? 對網(wǎng)絡(luò)給定初始輸入 x時(shí) ， 網(wǎng)絡(luò)就處于特定的初始狀態(tài) ， 由此初始狀態(tài)開始運(yùn)行 ， 可以得到網(wǎng)絡(luò)輸出即網(wǎng)絡(luò)的下一狀態(tài)； ? 然后 ， 這個(gè)輸出狀態(tài)通過反饋回送到網(wǎng)絡(luò)的輸 入端 ，作為網(wǎng)絡(luò)下一階段運(yùn)行的輸入信號(hào) ， 而這個(gè)輸入信號(hào)可能與初始輸入 信號(hào) 不同 ， 由這個(gè)新的輸入 又 可得到下步的輸出 ， 這個(gè)輸出也可能與上一步的輸出不 同； ? 如此下去， 網(wǎng)絡(luò)的整個(gè)運(yùn)行過程就是上述反饋過程的重復(fù) 。 ? 如果網(wǎng)絡(luò)是穩(wěn)定的，那么，隨著許多次反饋運(yùn)行，網(wǎng)絡(luò)狀態(tài)的變化減少，直到后來不再變化．達(dá)到穩(wěn)態(tài)。這時(shí)，在網(wǎng)絡(luò)的輸出端可 以得到穩(wěn)定的輸出。 這是一個(gè)只有四個(gè)神經(jīng)元的離散型 Hopfield網(wǎng)絡(luò) 。 其中每個(gè)神經(jīng)元只能取 “ 1”， 或 “ 0”兩個(gè)狀態(tài) 。 設(shè)網(wǎng)絡(luò)有 n個(gè)神經(jīng)元 ， 則各個(gè)神經(jīng)元的狀態(tài)可用向量 U表示： U＝ (u1， u2， …,un) 其中 ， ui＝ 1或 0 (i＝ 1， 2， …． n) Hopfield網(wǎng)絡(luò)的各個(gè)神經(jīng)元都是 相互連接 的 ， 即每一個(gè)神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元 ， 同時(shí)每個(gè)神經(jīng)元又都接收所有其它 神經(jīng)元傳遞過來的信息 。 特別值得 注意的是 ， 由 于 Hopfield網(wǎng)絡(luò) 的這種結(jié)構(gòu)特征 ， 對于每一個(gè)神經(jīng)元來說 、 自己 輸出 的信號(hào)經(jīng)過 其 它神經(jīng)元又反饋回自己 ， 所以也可以認(rèn)為Hopfield網(wǎng)絡(luò)是 一種 反饋型神經(jīng)網(wǎng)絡(luò) 。 其它形式的 Hopfield網(wǎng)絡(luò)結(jié)構(gòu)： 對于 Hopfield網(wǎng)絡(luò)已有定理證明： 當(dāng)網(wǎng)絡(luò)滿足以下 兩個(gè)條件時(shí) ， Hopfield學(xué)習(xí)算法總是收斂的 。 ? (1) 網(wǎng)絡(luò)的連接權(quán)矩陣無自連接且具有對稱性 ， 即 這一假設(shè)條件雖然不符合生物神經(jīng)網(wǎng)絡(luò)的實(shí)際情況(生物神經(jīng)元之間連接強(qiáng)度通常是不對稱的 )。 但是卻與磁場中各磁旋的相互作用情況相一致 。 ? （ 2） 網(wǎng)絡(luò)中各神經(jīng)元以非同步或串行方式 ， 依據(jù) 運(yùn)行規(guī)則改變其狀態(tài) ， 即各神經(jīng)元按隨機(jī)選 取方式 ， 依據(jù)運(yùn)行規(guī)則改變狀態(tài)；且當(dāng)某個(gè) 神經(jīng)元改變狀態(tài)時(shí) ． 其它所有神經(jīng)元保持原 狀態(tài)不變 。 這一點(diǎn)符合生物神經(jīng)網(wǎng)絡(luò)的情況 。 (1)串行 (異步 )方式： 任一時(shí)刻 只有一個(gè)單元改變狀態(tài) ， 其余單元不 變 (動(dòng)作順序可以隨機(jī)選擇或按某種確定順序選 擇 )。 (2)并行 (同步 )方式： 某一時(shí)刻所有神經(jīng)元同時(shí)改變狀態(tài) (常稱這種工 作方式的網(wǎng)絡(luò)為 Litt1e模型 )。 Hopfield網(wǎng)絡(luò)運(yùn)行規(guī)則 神經(jīng)網(wǎng)絡(luò)主要有兩種 運(yùn)行方式 ： ? 一種是前面介紹過的學(xué)習(xí)運(yùn)行方式 ， 即通過對訓(xùn)練模式的學(xué)習(xí) ， 調(diào)整連接權(quán)達(dá)到模式記憶的目的； ? 另一種就是下面將要介紹的工作運(yùn)行方式 。 在這種運(yùn)行方式中 ， 各連接權(quán)值是固定的 ， 只是通過按一定規(guī)則的計(jì)算 ， 更新網(wǎng)絡(luò)的狀態(tài) ， 以求達(dá)到網(wǎng)絡(luò)的穩(wěn)定狀態(tài) 。 圖是 Hopfield網(wǎng)絡(luò)中某個(gè)神經(jīng)元的結(jié)構(gòu)圖 。 設(shè)網(wǎng)絡(luò)由 n個(gè)這樣的神經(jīng)元構(gòu)成 。 時(shí)刻 t第 i個(gè)神經(jīng)元的輸出為： 上式表明：當(dāng)所有其它神經(jīng)元輸出的加權(quán)總和超過第 i個(gè)神經(jīng)元的輸出閾值時(shí)，此神經(jīng)元被“激活”、否則將受到”抑制”。 這里特別應(yīng)該注意的是，改變狀態(tài)的神經(jīng)元 ui，并不是按 順序 進(jìn)行的，而是按 隨機(jī)的方式選取 的。 下面將 Hopfield工作運(yùn)行規(guī)則 總結(jié)如下： (1)從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元 ui； (2)求所選中的神經(jīng)元 ui的所有輸入的加權(quán)總和； (3)計(jì)算 ui的第 t+1時(shí)刻的輸出值 ， 即 (4)ui以外的所有神經(jīng)元輸出保持不變 (5)返回到第一步 ， 直至網(wǎng)絡(luò)進(jìn)如穩(wěn)定狀態(tài) 。 Hopfield網(wǎng)絡(luò)是一種具有反饋性質(zhì)的網(wǎng)絡(luò) ， 而反饋網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài) ， 也稱為吸引子 。 那么 Hopfield網(wǎng)絡(luò)的穩(wěn)定狀態(tài)是怎樣的呢 ? 當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)滿足前 面 所指出的兩個(gè)條件時(shí) ， 按上述工作運(yùn)行規(guī)則反復(fù)更新狀態(tài) ， 當(dāng)更新進(jìn)行到一定程度之后 ， 我們會(huì)發(fā)現(xiàn)無論再怎樣更新 下 去 ， 網(wǎng)絡(luò)各神經(jīng)元的輸出狀態(tài)不再改變 ， 這就是 Hopfield網(wǎng)絡(luò)的穩(wěn)定狀態(tài) 。 用數(shù)學(xué)表示為 一般情況下 ， 一個(gè) Hopfield網(wǎng)絡(luò)必須經(jīng)過多次反復(fù)更新才能達(dá)到穩(wěn)定狀態(tài) 。 網(wǎng)絡(luò)計(jì)算能量函數(shù)與網(wǎng)絡(luò)收斂 從 Hopfoeld網(wǎng)絡(luò)工作運(yùn)行規(guī)則可以看出 ， 網(wǎng)絡(luò)中某個(gè)神經(jīng)元 t時(shí)刻的輸出狀態(tài) ， 通過其它神經(jīng)元間接地與自己的 t1時(shí)刻的輸出狀態(tài)發(fā)生聯(lián)系 。 這一特性從 數(shù)學(xué)的觀點(diǎn) 看 ， 網(wǎng)絡(luò)的狀態(tài)變化可用差分方程表征； 從系統(tǒng)動(dòng)力學(xué)的觀點(diǎn)看 ， 此時(shí)的網(wǎng)絡(luò)已不象誤差反向 傳播那樣只是非線性映射的網(wǎng)絡(luò) ， 而是一個(gè)反饋動(dòng)力學(xué)系統(tǒng) 。 準(zhǔn)確地說 ． 是一個(gè)多輸入 、 多輸出 、 帶閾值的二態(tài) 非線性動(dòng)力學(xué)系統(tǒng) 。 一個(gè)抽象的動(dòng)力學(xué)系統(tǒng) ， 與一個(gè)具有實(shí)際物理意義的動(dòng)力學(xué)系統(tǒng)比較 ， 抽象系統(tǒng)的動(dòng)態(tài)過程必定是使某個(gè)與實(shí)際系統(tǒng)形式上一致的 “ 能量函數(shù) ” 減小的過程 。 ? Hopfie1d網(wǎng)絡(luò)也同樣如此 。 在滿足一定的參數(shù)條件下 ， 某種 “ 能量函數(shù) ” 的能量在網(wǎng)絡(luò)運(yùn)行過程中不斷地降低 ． 最后趨于穩(wěn)定的平衡狀態(tài) 。 設(shè) t時(shí)刻網(wǎng)絡(luò)的狀態(tài)用 n個(gè)神經(jīng)元的輸出向量 U(t)表示： 設(shè) 每個(gè)神經(jīng)元只有 “ 1”或 “ 0”兩種狀態(tài) ， 所以 n個(gè)神經(jīng)元共有 2n個(gè)組合狀態(tài) ， 即網(wǎng)絡(luò)具有 2n 種狀態(tài) 。 從幾何學(xué)的角度看 ， 這 2n 種狀態(tài) 正好 對應(yīng)一個(gè) n維超立方體的各個(gè)頂點(diǎn) 。 以 n＝ 3為例 ， 一 個(gè)立 方 體的八個(gè)頂點(diǎn)正好對應(yīng)網(wǎng)絡(luò)的八種狀態(tài) 。 如圖 網(wǎng)絡(luò) 的能 量 函數(shù) 可定義為網(wǎng)絡(luò)狀態(tài)的二次函 數(shù)： 上 式的能量函數(shù)巳不是物 理 學(xué)意義上的能量函數(shù) ，而是在表達(dá)形式上與物理意義上的能量概念一致 ，表征網(wǎng)絡(luò)狀態(tài)的變化趨勢 ， 并可依據(jù) Hopfield工作運(yùn)行規(guī)則不斷進(jìn)行狀態(tài)變化 ， 最終能夠達(dá)到某個(gè)極小值的目標(biāo)函數(shù) 。 所謂網(wǎng)絡(luò)的收斂 ， 就是指能量函數(shù)達(dá)到極小值 。 下面證明 ，