【正文】 DHNN的穩(wěn)定工作點(diǎn) Xi(t+1)= Xi(t)=sgn(∑j=1nWijXi(t)θi ) i=1,2,… ,n 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 17 網(wǎng)絡(luò)的穩(wěn)定性分析 DHNN的能量函數(shù)定義為： 有界EwxxxwEXWXXxxxwEniininjijniiininjjiijTTniiininjjiij?? ??? ??? ??? ??? ??? ???????????????11 111 111 121 2121 212022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 18 關(guān)于 DHNN的穩(wěn)定性有如下的定理： 【 定理 】 當(dāng)網(wǎng)絡(luò)工作在串行方式下時(shí)，若 W為對(duì)稱陣，且其對(duì)角元素非負(fù)，則其能量函數(shù)單調(diào)下降，網(wǎng)絡(luò)總能收斂到一個(gè)穩(wěn)定點(diǎn)。 ? ? ? ?? ? ? ?? ? ? ?? ?? ? ? ?? ?? ? ? ?? ?? ? ? ? ? ?kkkkknjjkjkniiikkkkkkkkkkkkkxxwtxwxtxwxEtutxtutxtutxxxtxtxxtE??????????????????????????????????????????????? 211s g n,1 21s g n,1 2s g n 0 1 1 1tEE 211證明2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 19 ? ? ? ?? ? ? ?? ?一個(gè)局部極小點(diǎn)。所以它總能收斂到它的的。另外能量函數(shù)是有界有故對(duì)任意的神經(jīng)元。又因?yàn)榈倪\(yùn)行規(guī)則，根據(jù)故有因?yàn)楦鶕?jù)定理?xiàng)l件有0001 211 21 ,221????????????????????????????EkwtuxD H N NkwtuxkwtxwxEwwkkkkkkkkkknjkjkjkjiij? 全并行方式下也有同樣的結(jié)論 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 20 DHNN網(wǎng)絡(luò)設(shè)計(jì) 用 DHNN實(shí)現(xiàn)聯(lián)想記憶需要考慮兩個(gè)重要的問題： ①怎樣按記憶確定網(wǎng)絡(luò)的 W和 ?；②網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別討論。 權(quán)值設(shè)計(jì)的方法 記憶容量分析 權(quán)值修正的其它方法 在 MATLAB中，用函數(shù) 個(gè) Hopfield網(wǎng)絡(luò)： = newhop(T) 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 21 權(quán)值設(shè)計(jì)的方法 權(quán)值設(shè)計(jì)的方法有外積法、偽逆法、正交設(shè)計(jì)法等。下面僅介紹外積法，它是一種比較簡(jiǎn)單，在一定條件下行之有效的方法。 ? ?? ?niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK~1 0 ,~1,11????????????單位陣，則為給定輸入2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 22 例 : 設(shè)計(jì) DHNN，并考察其聯(lián)想性能。 說明所設(shè)計(jì)的網(wǎng)絡(luò)沒有準(zhǔn)確的記憶所有期望的模式。 ? ?? ?? ?? ?? ?3233222!1131s g n Y s g n Y s g n Y031301110 111111111 TTWXTWXTWXIXXWTXKTKK??????????????????????????????????????驗(yàn)證：解：2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 23 記憶容量分析 當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定的模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤的記憶住。但當(dāng)所要記憶的模式增加時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點(diǎn)上： 權(quán)值移動(dòng) 交叉干擾 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 24 權(quán)值移動(dòng) 在網(wǎng)絡(luò)的 學(xué)習(xí)過程中，網(wǎng)絡(luò)對(duì)權(quán)值的記憶實(shí)際上是逐個(gè)實(shí)現(xiàn)的。即對(duì)權(quán)值 W，有程序 : 當(dāng)網(wǎng)絡(luò)準(zhǔn)確的 X1時(shí)，為了記憶 X2,需要在記憶樣本 X1 的權(quán)值上加上對(duì)樣本 X2的記憶項(xiàng) X2 X2TI，將權(quán)值在 原來值的基礎(chǔ)上產(chǎn)生了移動(dòng)。這樣網(wǎng)絡(luò)有可能部分 得遺忘了以前以記憶住的模式。 ? ?e n dIXXWWqkf o rWTKK?????,1 02022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 25 從動(dòng)力學(xué)的角度來看， k值較小時(shí)，網(wǎng)絡(luò) Hebb學(xué)習(xí)規(guī)則，可以使輸入學(xué)習(xí)樣本成為其吸引子。隨著 k值的增加，不但難以使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使以記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動(dòng)。對(duì)一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為 “ 疲勞 ” 。 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 26 交叉干擾 網(wǎng)絡(luò)在學(xué)習(xí)多個(gè)樣本后，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的干擾，稱為交叉干擾。 對(duì)外積型設(shè)計(jì)而言，如果輸入樣本是彼此正交的， n個(gè)神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為 n。但是在大多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比 n小得多，一般為 (~)n， n為神經(jīng)元數(shù)。 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 27 權(quán)值修正的其它方法 ?學(xué)習(xí)規(guī)則 偽逆法 正交化權(quán)值設(shè)計(jì) 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 28 ?學(xué)習(xí)規(guī)則 ?學(xué)習(xí)規(guī)則基本功式是： 即通過計(jì)算該神經(jīng)元節(jié)點(diǎn)的實(shí)際激活值 A(t)，與期望狀態(tài) T(t)進(jìn)行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變。 ? ? ? ? ? ? ? ?? ? ? ?tPtAtTtwtw PW ijij ????? ?????? 12022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 29 偽逆法 ? ?? ?? ?來。求出權(quán)矩陣滿秩，其逆存在，則可線性無關(guān)的，則如果樣本之間是為偽逆，有其中由此可得來映射，則有輸入輸出之間用權(quán)值設(shè)輸入樣本W(wǎng)PPPPPPPPNWNYXWNWXXXXTTTN, s g n, 121??????????? ?2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 30 正交化權(quán)值設(shè)計(jì) 這一方法的基本思想和出發(fā)點(diǎn)是為了滿足下面四個(gè)要求： 1）保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性，即它的權(quán)值是對(duì)稱的； 2）保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己； 3）使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少； 4）使穩(wěn)定點(diǎn)的吸引域盡可能的大。 2022/2/1 神經(jīng)網(wǎng)絡(luò)原理與應(yīng)用 31 連續(xù)性的 Hopfield網(wǎng)絡(luò) CHNN是在 DHNN的基礎(chǔ)上提出的，它的原理 和 DHNN相似。由于 CHNN是以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作，所以 它在信息處理的并行性、聯(lián)想性、實(shí)時(shí)性、分布 存儲(chǔ)、協(xié)同性等方面比 DHNN更接近于生物神經(jīng) 網(wǎng)絡(luò)。我們將從以下幾點(diǎn)來討論 CHNN。 網(wǎng)絡(luò)模型 CHNN方程的解及穩(wěn)定性分析 關(guān)于 Hopfield能量函數(shù)的幾點(diǎn)說明 關(guān)于