聯(lián)想記憶ppt課件-在線瀏覽
2025-03-06 09:44本頁面
【正文】 ? 首先，我們定義離散 Hopfield 網(wǎng)路的能量函數(shù)為： ? 假設(shè)第 i 個(gè)類神經(jīng)元的輸出於時(shí)間 k 時(shí)產(chǎn)生了變化，即 ? 由於 ?xi(k) 的產(chǎn)生，導(dǎo)致網(wǎng)路的能量於時(shí)間 k+1 時(shí)變成 ?? ? ?? ? ?????? ph hhph pj jhjhTT kxkxkxwkxkxWkxkE 11 1 )()()(21)()()(21)( ??)()1()( kxkxkx iii ??????????????????????????????? ????? ?ihiiihhiijjiijihhhih ijjhhjkxkxkxwkxkxwkxkxkxwkE)1()1()(21)()1(21)()()(21)1(?? 離散 Hopfield 網(wǎng)路的特性 (2) ? 因此，網(wǎng)路能量的變化量為 ? 接著，我們將下標(biāo) h 改為下標(biāo) j，又因?yàn)? wij=wji，因此可以將上式為 ? ?? ?? ?)()1()()()1()(21)()()()1(21)()1(kxkxkxkxkxkxwkxkxkxkxwkEkEEiiiihihihhiijjijiij???????????????????? ? ? ? ? ? ? ?? ? ? ? ? ?? ?? ?????????????????????????????????????ijijijiijijijiiiiijijiijijkxwkxkxwkxkxkxkxkxkxkxkxwE???)()()()()1(11 離散 Hopfield 網(wǎng)路的特性 (3) 由於 ?xi(k) 的值只有三種可能，現(xiàn)在我們就分三種情況來分析 ?E 1. ?xi(k) = 2：即 xi(k+1) = 1 且 xi(k) = 1 xi(k+1) = 1代表 ，因此 ?E0 2. ?xi(k) = 2：即 xi(k+1) = 1 且 xi(k) = 1 xi(k+1) = 1代表 ，因此 ?E0 3. ?xi(k) = 0：即 xi(k+1) = xi(k) xi(k+1) = xi(k)代表 ，因此 ?E=0 綜合上列三種情況，我們得知 ?E=0 0)( ???? ij ijij kxw ?0)( ???? ij ijij kxw ?0)( ???? ij ijij kxw ? 離散 Hopfield 網(wǎng)路的特性 (4) ? 離散 Hopfield 網(wǎng)路利用能量函數(shù)的局部極小特性來儲(chǔ)存資料 。 ? 離散 Hopfield 網(wǎng)路的記憶容量有其上限 ， 若類神經(jīng)元的數(shù)目是 p， 在記憶提取有 99% 正確率的情況下 ， 則可儲(chǔ)存的資料筆數(shù)不會(huì)超過下式 。 連續(xù) Hopfield 網(wǎng)路 (1) ? Hopfield 於 1984 年提出了連續(xù) Hopfield 網(wǎng)路 (analog or continuous Hopfield works) [11]。 ????????? ??)( iiiiiijjijiiuyIRuywtd udC? 連續(xù) Hopfield 網(wǎng)路 (2) ? 根據(jù)克希荷夫電流定律 (Kirchhoff equation) 其中 代表非線性放大器的輸入電阻性。 Hopfield 網(wǎng)路的應(yīng)用 (1) ? Hopfield 網(wǎng)路的應(yīng)用範(fàn)圍很廣 ， 譬如說 ， 有些人把它應(yīng)用於類比 /數(shù)位轉(zhuǎn)換器的設(shè)計(jì) 。 範(fàn)例 ：推銷員旅途長(zhǎng)度問題 (TSP) (1) ? 如何設(shè)計(jì)一條最短的行程以便走過 N 個(gè)城市，而每個(gè)城市只能去一次，並且最後要回到原先出發(fā)的城市。 ? 圖 ： B ? D ? A ? C ? (B)。 範(fàn)例 ：推銷員旅途長(zhǎng)度問題 (TSP) (1) (1) 每個(gè)城市只能去一次： (2) 一次只能去一個(gè)城市： (3) 所有城市都要被經(jīng)過： (4) 路途距離最短： 其中 代表城市 y 與城市 z 的距離。 ? 它可被用來儲(chǔ)存 N個(gè)輸入 /輸出向量對(duì)， (xi,yi)， i=1,…N, xi 與 yi 分別為 p 維與 r 維的向量，其基本架構(gòu)如圖 。 圖 ：雙向聯(lián)想記憶類神經(jīng)網(wǎng)路的基本架構(gòu)。 ))1(()2( ?? ?????? kxWkyrjkxwky jpi ijij ,2,1))1(()2( 1 ???????? ?? ??第 1 次反饋傳輸： 第 1 次前饋傳輸： 第 2 次反饋傳輸： 第 2 次前饋傳輸： … … 第 k/2 次反饋傳輸： 第 k/2 次前饋傳輸： … … ))0(()1( ?? ?? yWx))1(()2( ?? ???? xWy))2(()3( ?? ?? yWx))3(()4( ?? ???? xWy))2(()1( ?? ???? kyWkx))1(()( ?? ????? kxWky BAM網(wǎng)路的記憶及回想 (3) ? 採(cǎi)用 Hebbian 學(xué)習(xí)規(guī)則 ? 我們可以看出 WT=W，亦即 w’ji=wij。 值得一提的是 ， BAM也會(huì)有所謂的 ”偽造狀態(tài) ” 的出現(xiàn) 。 ?????????????????????jpiijijjirjjijiiIxwytdydIywxtdxd11)()(??範(fàn)例 ：雙向聯(lián)想記憶網(wǎng)路 (1) ? 給定三個(gè)輸入 /輸出對(duì) (x1, y1)、 (x2, y2) 和 (x3, y3) ? 所以 TT yx )1,1,1(,)1,1,1,1( 11 ?????TT yx )1,1,1(,)1,1,1,1( 22 ?????TT yx )1,1,1(,)1,1,1,1( 33 ?????TTTkTkk yxyxyxyxW 33221131 ???? ?????????????????????????????????????????131131131311,111313111131TWWW範(fàn)例 ：雙向聯(lián)想記憶網(wǎng)路 (2) ? 假設(shè)目前的輸入向量 ， 根據(jù)式 ()及式 ()， 我們可以得到下列之疊代情形： ? 假設(shè)目前的輸入向量是 x =(1,1,1,1)T， 我們可以得到下列之兩種疊代情形： y2的前一刻值是 1 (即 ?(0)=1) 2. 令 y2的前一刻是 1 (即 ?(0)=1) 1)1,1,1,1( xx ???????????????? ???????????? ???????????????????????????????????????????? ???????????? ??????????????????111262111115311112621111??? yxyx????????????????????????????????????????????????????????????????????????????????????????????????111666111131151114041111??? yxyx?????????????????????????????????????????????????????????????
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1