【文章內容簡介】 。 範例 ：推銷員旅途長度問題 (TSP) (1) ? 如何設計一條最短的行程以便走過 N 個城市，而每個城市只能去一次，並且最後要回到原先出發(fā)的城市。 ? 類神經(jīng)元被安排成 N ? N 的矩陣，行 (column) 代表旅途的順序，列 (row) 代表城市名稱，而矩陣的每一個元素 ─ 亦即類神經(jīng)元的輸出，都是單極性的二元值，若矩陣的第 元素為 1，則代表城市 y 是第 i 站。 ? 圖 ： B ? D ? A ? C ? (B)。 圖 ：推銷員旅途長度問題的解答之一： B ? D ? A ? C ? (B)。 範例 ：推銷員旅途長度問題 (TSP) (1) (1) 每個城市只能去一次： (2) 一次只能去一個城市： (3) 所有城市都要被經(jīng)過： (4) 路途距離最短： 其中 代表城市 y 與城市 z 的距離。 ? ? ?? ? ?? Ny Ni N ij jyiy xxE 1 1 ,1? ? ?? ???? NiNyNyzz iziyxxE1 1 1 ,221 1 ,3 )( NxENyNi iy ?? ? ?? ?? ? ???? ? ???? NyNyzzNi iziziyzyxxxdE1 1 1 1,1,4)(範例 ：推銷員旅途長度問題 (TSP) (2) ? 現(xiàn)在我們想要同時將 E E E3 以及 E4 最小化 ， 因此可以將上述四個函數(shù)乘上不同的權值 ， 以便合併考慮： ? 我們將含有 N ? N 個類神經(jīng)元的 Hopfield 網(wǎng)路的能量函數(shù)寫於下式： ? 比較式 ()與式 ()， 我們便可知道鍵結值 w (y,i), (z,j) (第 (y,i) 個類神經(jīng)元與第 (z,j) 個類神經(jīng)元的聯(lián)結鍵結值 ) 以及閥值 ? (y,i)應照下列式子設定： 44332211 EwEwEwEwE ????? ?? ? ? ? ? ?? ? ? ? ??? Ny Ni iyiyNy Ni Nz Nj jziyjziy xxxwE 1 1 ,1 1 1 1 ,),(),(21 ?)(22)1(2)1(21,1,43,2,1),(),(?? ????????ijijzyzyjijizyjziydww??????Nwiy 3, 2?????????zyzyzy 如果如果01,?() () 範例 ：推銷員旅途長度問題 (TSP) (3) ? 假設城市數(shù)目 N=4，所以鍵結值矩陣是個 1616的矩陣 (因為共有16個類神經(jīng)元在這 44的 Hopfield網(wǎng)路 )， dA,B = dB,C = dC,D = dD,A = 1 km， dA,C = dB,D = km，並且讓 w1 = w2 = w3 = w4 = ，根據(jù)式 ()()，我們得到： 2? ??????????????????),(),(1616?????jziywW ? ? ? ? TT 8,8,8, 1621 ????? ?? ????)()1()1( 3,45,44,44,44,44,4)4,4(),4,4(16,16??????????????????????ww0 1 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 0 0 0 1 如果我們採用同步疊代方式來更新網(wǎng)路 狀態(tài) ， 那麼根據(jù)式 () ， 網(wǎng)路的新狀態(tài) 變成 雙向聯(lián)想記憶 (1) ? 雙向聯(lián)想記憶 (bidirectional associative memory, 簡稱 BAM) 是一種執(zhí)行異聯(lián)想 (heteroassociation) 的雙層類神經(jīng)網(wǎng)路。 ? 它可被用來儲存 N個輸入 /輸出向量對， (xi,yi)， i=1,…N, xi 與 yi 分別為 p 維與 r 維的向量，其基本架構如圖 。 ? 它利用順反兩個方向的資訊傳輸方式，使得網(wǎng)路的兩層類神經(jīng)元的輸出，以一種反覆出現(xiàn)的模式達到穩(wěn)定狀態(tài)，藉此完成異聯(lián)想的工作。 圖 ：雙向聯(lián)想記憶類神經(jīng)網(wǎng)路的基本架構。 BAM網(wǎng)路的記憶及回想 (1) ? 假設 Y 層的類神經(jīng)元在時間 k時的輸出為 y(k)，這時 y(k) 便被視為位於 X 層的類神經(jīng)元的輸入，然後這些類神經(jīng)元 ( X 層 ) 便根據(jù)下式來更新類神經(jīng)元的輸出： ))(()1( ?? ??? kyWkx???????????????????????????????????????????rjjijrjjijirjjijrjijijikywkywkxkywpikywkx1111)(如果1)(如果)1()(如果1,1,)()1( ?? ? ? ? ? ?? ? ? ? ? ?? ? ,....,)(,1,....,11 11 TrTp kykykykxkxkx ?????其中 BAM網(wǎng)路的記憶及回想 (2) ? 然後將 x(k+1) 視為位於 Y 層的類神經(jīng)元的輸入，並根據(jù)下式來計算類神經(jīng)元 (Y 層 ) 新的輸出： ? 這個過程會一直反覆持續(xù)下去，直到收斂為止，整個回想過程可以用以下的步驟來總結。 ))1(()2( ?? ?????? kxWkyrjkxwky jpi ijij ,2,1))1(()2( 1 ???????? ?? ??第 1 次反饋傳輸： 第 1 次前饋傳輸： 第 2 次反饋傳輸： 第 2 次前饋傳輸： … … 第 k/2 次反饋傳輸： 第 k/2 次前饋傳輸： … … ))0(()1( ?? ?? yWx))1(()2( ?? ???? xWy))2(()3( ?? ?? yWx))3(()4( ?? ???? xWy))2(()1( ?? ???? kyWkx))1(()( ?? ????? kxWky BAM網(wǎng)路的記憶及回想 (3) ? 採用 Hebbian 學習規(guī)則 ? 我們可以看出 WT=W，亦即 w’ji=wij。 ? 所謂的雙向穩(wěn)定就是網(wǎng)路經(jīng)過多次雙向疊代之後，會有以下的情況發(fā)生： 其中 ??? Nk Tkk yxW 1 ? ? ? ? rjpikykxw jNk iij ?,1, . . . ,11 ??? ??TkNk k xyW ???? 1? ? ? ??? ???? Nk ijji rjpikxkyw 1 , . . . ,1,1 ???? rj iji w121? 0?i??? ??? pi jij w121? 0??j?)2()( ?? kxkx???????? ?)3()2()1()( kykxkykx)3()1( ??? kyky BAM網(wǎng)路的記憶及回想 (4) ? 網(wǎng)路的 Lyapunov 函數(shù)為 (為了簡化問題，我們令閥值項 )： ? 我們發(fā)現(xiàn)更動 或 中的任一個位元資訊 (例如從 +1 ? 1 或從 1 ? +1)，會導致網(wǎng)路能量變化如下： xWyxWyyWxyxE TTTT ????? 2121),(pixywE irj jijx i,1,1?????????????? ??rjyxwE jni ijiyj,1,1 ????????? ???? ??0????? BAM網(wǎng)路的記憶及回想 (5) ? 而 與 的變化量不外乎以下三種： ? 我們很輕易地發(fā)現(xiàn) ， ?xi 和 同號以及 ?yj 和 同 號 ， 再加上有一個負號 ， 所以 和 ， 除此之外 ， E(x,y)有 下限 ( )， 所以可以得到這個結論 ─ BAM 會隨著時間的演進而往網(wǎng)路能量低的方向移動 ， 最後收斂至雙向穩(wěn)定狀態(tài) ， 而此狀態(tài)便是能量函數(shù)的局部極小點 。 值得一提的是 ， BAM也會有所謂的 ”偽造狀態(tài) ” 的出現(xiàn) 。 pywiywywxrjjijrjjijrjjiji??????????????????????02,1,0002111如果如果如果??????????????????????????02,1,0002111piijipiijipiijijxwrjxwxwy如果如果如果?? ?rj jij yw1 ? ? ?pi iji xw10?? ixE 0?? jyE? ?? ???