【正文】 kywkywkxkywpikywkx1111)(如果1)(如果)1()(如果1,1,)()1( ?? ? ? ? ? ?? ? ? ? ? ?? ? ,....,)(,1,....,11 11 TrTp kykykykxkxkx ?????其中 BAM網(wǎng)路的記憶及回想 (2) ? 然後將 x(k+1) 視為位於 Y 層的類神經(jīng)元的輸入，並根據(jù)下式來計算類神經(jīng)元 (Y 層 ) 新的輸出： ? 這個過程會一直反覆持續(xù)下去，直到收斂為止，整個回想過程可以用以下的步驟來總結(jié)。 ? 它利用順反兩個方向的資訊傳輸方式，使得網(wǎng)路的兩層類神經(jīng)元的輸出，以一種反覆出現(xiàn)的模式達(dá)到穩(wěn)定狀態(tài)，藉此完成異聯(lián)想的工作。 ? ? ?? ? ?? Ny Ni N ij jyiy xxE 1 1 ,1? ? ?? ???? NiNyNyzz iziyxxE1 1 1 ,221 1 ,3 )( NxENyNi iy ?? ? ?? ?? ? ???? ? ???? NyNyzzNi iziziyzyxxxdE1 1 1 1,1,4)(範(fàn)例 ：推銷員旅途長度問題 (TSP) (2) ? 現(xiàn)在我們想要同時將 E E E3 以及 E4 最小化 ， 因此可以將上述四個函數(shù)乘上不同的權(quán)值 ， 以便合併考慮： ? 我們將含有 N ? N 個類神經(jīng)元的 Hopfield 網(wǎng)路的能量函數(shù)寫於下式： ? 比較式 ()與式 ()， 我們便可知道鍵結(jié)值 w (y,i), (z,j) (第 (y,i) 個類神經(jīng)元與第 (z,j) 個類神經(jīng)元的聯(lián)結(jié)鍵結(jié)值 ) 以及閥值 ? (y,i)應(yīng)照下列式子設(shè)定： 44332211 EwEwEwEwE ????? ?? ? ? ? ? ?? ? ? ? ??? Ny Ni iyiyNy Ni Nz Nj jziyjziy xxxwE 1 1 ,1 1 1 1 ,),(),(21 ?)(22)1(2)1(21,1,43,2,1),(),(?? ????????ijijzyzyjijizyjziydww??????Nwiy 3, 2?????????zyzyzy 如果如果01,?() () 範(fàn)例 ：推銷員旅途長度問題 (TSP) (3) ? 假設(shè)城市數(shù)目 N=4，所以鍵結(jié)值矩陣是個 1616的矩陣 (因?yàn)楣灿?6個類神經(jīng)元在這 44的 Hopfield網(wǎng)路 )， dA,B = dB,C = dC,D = dD,A = 1 km， dA,C = dB,D = km，並且讓 w1 = w2 = w3 = w4 = ，根據(jù)式 ()()，我們得到： 2? ??????????????????),(),(1616?????jziywW ? ? ? ? TT 8,8,8, 1621 ????? ?? ????)()1()1( 3,45,44,44,44,44,4)4,4(),4,4(16,16??????????????????????ww0 1 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 0 0 0 1 如果我們採用同步疊代方式來更新網(wǎng)路 狀態(tài) ， 那麼根據(jù)式 () ， 網(wǎng)路的新狀態(tài) 變成 雙向聯(lián)想記憶 (1) ? 雙向聯(lián)想記憶 (bidirectional associative memory, 簡稱 BAM) 是一種執(zhí)行異聯(lián)想 (heteroassociation) 的雙層類神經(jīng)網(wǎng)路。 圖 ：推銷員旅途長度問題的解答之一： B ? D ? A ? C ? (B)。 ? 類神經(jīng)元被安排成 N ? N 的矩陣，行 (column) 代表旅途的順序，列 (row) 代表城市名稱，而矩陣的每一個元素 ─ 亦即類神經(jīng)元的輸出，都是單極性的二元值，若矩陣的第 元素為 1，則代表城市 y 是第 i 站。 ? 另一個廣受注意的應(yīng)用就是用來解決最佳化的問題 ， 主要的關(guān)鍵技術(shù)就是想辦法將欲最佳化的目標(biāo)函數(shù) (object function) 整理成 Hopfield 網(wǎng)路的 Lyapunov 函數(shù) ， 然後便可發(fā)現(xiàn)鍵結(jié)值應(yīng)如何設(shè)定 ， 最後我們初始化網(wǎng)路的輸出值 ， 然後隨著時間的變化 ， 網(wǎng)路會收斂至穩(wěn)定狀態(tài) ，而此穩(wěn)定狀態(tài)便是目標(biāo)函數(shù)的極小值 ， 在此強(qiáng)調(diào)一點(diǎn) ， 我們無法保證它是全域極小值 (global minima)。如果我們定義 ? 可以將式 ()轉(zhuǎn)換成如下 ? 上式再加上 就等同於式 () ?? ???? ij iijijiiii IuyRutd udC )(1??????????? ?ijijj ijiiRwRR1111?? ??? j iiijijii IRuywtd udC圖 ：以超大型積體電路 (VLSI) 的技術(shù)來實(shí)現(xiàn)連續(xù) Hopfield 網(wǎng)路。網(wǎng)路中的類神經(jīng)元採用 S 曲線的活化函數(shù)，網(wǎng)路的狀態(tài)以及輸出可以用下列之微分方程式來描述： 其中，對第 i 個類神經(jīng)元來說， Ci 代表細(xì)胞膜的電容性， Ri 是細(xì)胞膜的電阻性， Ii 是外界輸入電流 (代表閥值項(xiàng) )， yi 是類神經(jīng)元的輸出電位差， ui 代表軸突丘的細(xì)胞膜電位差，以及 wij 代表第 j 個類神經(jīng)元至第 i 個類神經(jīng)元的鍵結(jié)值， ?(.) 是個嚴(yán)格遞增的 S型活化函數(shù)。 ppln4?記憶容量 圖 ：離散 Hopfield 網(wǎng)路的收斂特性。 ? 我們利用 Hebbian 規(guī)則來調(diào)整網(wǎng)路的鍵結(jié)值 ， 有可能會使得網(wǎng)路能量之局部極小值的數(shù)目會超過原先儲存的資料數(shù)目 ， 也就是會有 ” 偽造狀態(tài)(Spurious states)”的產(chǎn)生 。 ? Hopfield 網(wǎng)路是否穩(wěn)定通常採用 Lyapunov 法 。 (本圖摘自： S. Haykin, Neural Networks 離散 Hopfield 網(wǎng)路的特性 (1) ? 如果類神經(jīng)元輸出的更新是採用非同步模式，則網(wǎng)路必定會收斂至某一穩(wěn)定狀態(tài)。 圖 ： (c) 原樣本圖樣“ 2”被雜訊干擾後， 經(jīng)由網(wǎng)路收斂至圖樣“ 6”(錯誤回想 )。 ? 我們以 的機(jī)率將其灰階值由 +1 變 1，或由 1 變 +1，並且以這個被雜訊干擾過的新圖樣來作為網(wǎng)路的輸入圖樣，以測試網(wǎng)路是否能夠從被雜訊干擾過的圖樣中，以訓(xùn)練完成的鍵結(jié)值，來正確地回想出原來的樣本圖樣？ 圖 ： (a) 測試離散 Hopfield 網(wǎng)路的八個樣本圖樣。 範(fàn)例 ：離散 Hopfield 網(wǎng)路應(yīng)用於數(shù)字聯(lián)想 (1) ? 在本實(shí)驗(yàn)中，以個類神經(jīng)元、個鍵結(jié)值來記憶如圖 (a)的八個樣本圖樣 。 Hopfield 網(wǎng)路 (2) 一、網(wǎng)路學(xué)習(xí) :假設(shè)有 N 筆輸入向量 要用自聯(lián)想的方式儲存至離散 Hopfield 網(wǎng)路上 ? 或者 Nixxx Tipii ,1,],[ 1 ?? ????? Nk kjkiji xxpw 11IpNxxpwwwwWNkTkkpppp??????????????? 111111?????pjj ,1,0 ????piwpi jij ,1,1 ??? ???圖 ：離散的 Hopfield 網(wǎng)路。 ??????jijixxjTi 若若01kki kTiikTkkk yxxyxxyxWy ?????? ??kkki kTiikTkk yxxyxxyy ??????? ??1)( ?? ?? TT XXYXYXW],[ 1 NyyY ?? ],[ 1 NxxX ??範(fàn)例 ：聯(lián)想記憶 (1) ? 假設(shè)我們想要儲存以下三個輸入 /輸出對： ? 經(jīng)由前述之公式可知 ? 如果網(wǎng)路現(xiàn)在的輸入是 ，那麼網(wǎng)路的輸出為 ),(),(),( 332211 yxyxyxTTT xxx )1,0,0(,)0,1,0(,)0,0,1( 321 ???TTT yyy )2,1,3(,)3,2,1(,)2,1,2( 321 ???? ? ? ? ? ?100213010321001212332211???????????????????????????????????? TTT xyxyxyW22321010232121312yxWy ???????????????????????????????????)0,1,0(2 ?x Hopfield 網(wǎng)路 (1) ? 如果輸入及輸出向量都是由二元值 （ 0與 1） 或雙極值（ 1與 1） 所構(gòu)成的向量 ， 那麼式 () 的輸出雜訊向量可以藉助下述的非線性轉(zhuǎn)換技術(shù)達(dá)到抑制雜訊的效果：