hopfield網(wǎng)絡(luò)ppt課件(編輯修改稿)
2025-06-01 12:49 本頁面
【文章內(nèi)容簡介】 110 111111111 TTWXTWXTWXIXXWTXKTKK??????????????????????????????????????驗(yàn)證：解：記憶容量分析 當(dāng) 網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定的模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤的記憶住。但當(dāng)所要記憶的模式增加時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點(diǎn)上： 權(quán)值移動(dòng) 交叉干擾 權(quán)值移動(dòng) 在網(wǎng)絡(luò)的學(xué)習(xí)過程中，網(wǎng)絡(luò)對(duì)權(quán)值的記憶實(shí)際上是逐個(gè)實(shí)現(xiàn)的。即對(duì)權(quán)值 W，有程序 : 當(dāng)網(wǎng)絡(luò)準(zhǔn)確的記憶 X1時(shí)，為了記憶 X2,需要在記憶樣本X1的權(quán)值上加上對(duì)樣本 X2的記憶項(xiàng) X2 X2TI，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動(dòng)。這樣網(wǎng)絡(luò)有可能部分地遺忘了以前已記憶的模式。 ? ?e n dIXXWWqkf o rWTKK?????,1 0 從動(dòng)力學(xué)的角度來看， k值較小時(shí)，網(wǎng)絡(luò) Hebb學(xué)習(xí)規(guī)則可以使輸入學(xué)習(xí)樣本成為其吸引子。隨著 k值的增加，不但難以使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使以記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動(dòng)。對(duì)一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。 交叉干擾 網(wǎng)絡(luò)在學(xué)習(xí)多個(gè)樣本后，在回憶階段，即驗(yàn)證該記憶樣本時(shí)所產(chǎn)生的干擾，稱為交叉干擾 。 對(duì)外積型設(shè)計(jì)而言，如果輸入樣本是彼此正交的，n個(gè)神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為 n。但是在大多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比 n小得多，一般為 (~)n。 權(quán)值修正的其它方法 ?學(xué)習(xí)規(guī)則 偽逆法 正交化權(quán)值設(shè)計(jì) ?學(xué)習(xí)規(guī)則 ?學(xué)習(xí)規(guī)則基本公式是 ： 即通過計(jì)算該神經(jīng)元節(jié)點(diǎn)的實(shí)際激勵(lì)值A(chǔ)(t)，與期望狀態(tài) T(t)進(jìn)行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變。 ? ? ? ? ? ? ? ?? ? ? ?tPtAtTtwtw PW ijij ????? ?????? 1偽逆法 ? ? ? ? ? ? 求出權(quán)矩陣 滿秩，其逆存在，則可 線性無關(guān)的，則 如果樣本之間是 為偽逆，有 其中 由此可得 輸入輸出之間用權(quán)值 W來映射，則有 設(shè)輸入樣本 W X X X X X X X N W N Y X W N X X X X T T T N , sgn , 1 2 1 ? ? ? ? ? ? ? ? ? ? ? ? X 用 偽逆法求出的權(quán) W可以保證在自己輸入時(shí)仍能收斂到樣本自己。如果 N與輸入 X完全相同，則 W也可以是對(duì)稱的，因而滿足穩(wěn)定工作的條件。其實(shí)只要滿足 Y矩陣中每一個(gè)元與 WX矩陣中的每個(gè)元有相同的符號(hào)就可以滿足收斂到本身。 正交化權(quán)值設(shè)計(jì) 這一方法是由 Li和 Mechel提出來的，其出發(fā)點(diǎn)為： (1)要保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性，則它的權(quán)是對(duì)稱的 (2 )要保證所有的要求的記憶樣本都能收斂到自己，不會(huì)出現(xiàn)錯(cuò)誤的其他收斂值． (3)要求偽穩(wěn)定點(diǎn)的數(shù)目盡可能地少。 (4)要求穩(wěn)定點(diǎn)吸引域盡可能地大。 其狀態(tài)轉(zhuǎn)換公式為 s g n ( ( ) ) ( 1 ) , 0W V t I V t I? ? ? ?其連接矩陣可以構(gòu)造如下： LL2211 XYXYXYW TT ???????L表示模式向量為 L對(duì)。 BAM是一個(gè)雙層回歸聯(lián)想存貯器，是 Hopfield網(wǎng)絡(luò)的擴(kuò)展， 也是內(nèi)容編址存貯器， 但各單元可以有自反饋。 雙向聯(lián)想存貯器（ BAM） 為了構(gòu)造 Y層到 X層的權(quán)值矩陣，將 W取成 WT即可。 BAM是雙向的，輸入和輸出取決于轉(zhuǎn)播方向 。 injiji xwn et y ???1YWn e t X T????mjijii wyn et x110( 1 ) 010ii i iin e txy t y n e txn e tx????? ? ??? ???000 11)1(????????????iiiiin e tyn e tyn e tyxtxBAM數(shù)學(xué)上處理如下： Y 是 Y 層總輸入，各單元的輸入： 在 X層： X 是 X 層總輸入，各單元的輸入： 計(jì)算如下和時(shí)刻，在 )1( )1(1 ??? tytxt ii舉例： TTTTYXYX)11,1,1,1,1( ),1,1,1,1,1,1,1,1( )1,1,1,1,1,1( )1,1,1,1,1,1,1,1,1,1( 2211????????????????????，令：????????????????????????????????????????2020202220020202022220202022202020202220202020222002020202222211TTXYXYW權(quán)矩陣計(jì)算可得：TTYX)1,1,1,1,1,1( )1,1,1,1,1,1,1,1,1,1( 00????????????選練樣本。說明回憶起第一個(gè)的訓(xùn)的新值：傳播，向的總輸入傳播，向Tn ewTn ewTXXXYYn e t YYYX)1,1,1,1,1,1,1,1,1,1( )1,1,1,1,1,1( ,)12,4,12,12,12,4(?????????????????TTYX)1,1,1,1,1,1( )1,1,1,1,1,1,1,1,1,1( 00??????????選),(),( )1,1,1,11,1( )1,1,1,1,1,1,1,1,1,1( 11ccn e wn e wTn e wTn e wYXYXYX????????????結(jié)果：? ?????? ?minjiijiTxwyEWXYYXEBAMBAM1 1 ),( 或的能量函數(shù)：中，可以找到在限量。變化時(shí)，必改變一個(gè)有下限有界，）減少；的任何變化，使和處理過程中，）具有以下性質(zhì)：EWEEEYXBAMEij ij 3) 。 2 1 m i n ??連續(xù) Hopfield網(wǎng)絡(luò) CHNN是在 DHNN的基礎(chǔ)上提出的，它的原理 和 DHNN相似。由于 CHNN是以模擬量作為網(wǎng)絡(luò)的 輸入輸出量，各神經(jīng)元采用并行方式工作，所以 它在信息處理的并行性、聯(lián)想性、實(shí)時(shí)性、分布 存儲(chǔ)、協(xié)同性等方面比 DHNN更接近于生物神經(jīng) 網(wǎng)絡(luò)。 網(wǎng)絡(luò)模型 CHNN方程的解及穩(wěn)定性分析 關(guān)于 Hopfield能量函數(shù)的幾點(diǎn)說明 關(guān)于 CHNN的幾點(diǎn)結(jié)論 CHNN的網(wǎng)絡(luò)模型 對(duì)于神經(jīng)元，放大器的 I/O關(guān)系可用如下的方程來描述： ? ?? ?? ? ? ? ? ?xxexuvIuvRRudtducxiiinjijijiiiit a n h 11 110????????? ?????或CHNN的網(wǎng)絡(luò)模型 對(duì) I/O方程變形得 ： iiiiijijnj iijiiiinj
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1