【正文】 DHNN的穩(wěn)定工作點 Xi(t+1)= Xi(t)=sgn(∑j=1nWijXi(t)θi ) i=1,2,… ,n 2022/2/1 神經網絡原理與應用 17 網絡的穩(wěn)定性分析 DHNN的能量函數定義為： 有界EwxxxwEXWXXxxxwEniininjijniiininjjiijTTniiininjjiij?? ??? ??? ??? ??? ??? ???????????????11 111 111 121 2121 212022/2/1 神經網絡原理與應用 18 關于 DHNN的穩(wěn)定性有如下的定理： 【 定理 】 當網絡工作在串行方式下時，若 W為對稱陣，且其對角元素非負，則其能量函數單調下降，網絡總能收斂到一個穩(wěn)定點。 ? ? ? ?? ? ? ?? ? ? ?? ?? ? ? ?? ?? ? ? ?? ?? ? ? ? ? ?kkkkknjjkjkniiikkkkkkkkkkkkkxxwtxwxtxwxEtutxtutxtutxxxtxtxxtE??????????????????????????????????????????????? 211s g n,1 21s g n,1 2s g n 0 1 1 1tEE 211證明2022/2/1 神經網絡原理與應用 19 ? ? ? ?? ? ? ?? ?一個局部極小點。所以它總能收斂到它的的。另外能量函數是有界有故對任意的神經元。又因為的運行規(guī)則，根據故有因為根據定理條件有0001 211 21 ,221????????????????????????????EkwtuxD H N NkwtuxkwtxwxEwwkkkkkkkkkknjkjkjkjiij? 全并行方式下也有同樣的結論 2022/2/1 神經網絡原理與應用 20 DHNN網絡設計 用 DHNN實現聯想記憶需要考慮兩個重要的問題： ①怎樣按記憶確定網絡的 W和 ?；②網絡給定之后如何分析它的記憶容量。下面將分別討論。 權值設計的方法 記憶容量分析 權值修正的其它方法 在 MATLAB中，用函數 個 Hopfield網絡： = newhop(T) 2022/2/1 神經網絡原理與應用 21 權值設計的方法 權值設計的方法有外積法、偽逆法、正交設計法等。下面僅介紹外積法，它是一種比較簡單，在一定條件下行之有效的方法。 ? ?? ?niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK~1 0 ,~1,11????????????單位陣，則為給定輸入2022/2/1 神經網絡原理與應用 22 例 : 設計 DHNN，并考察其聯想性能。 說明所設計的網絡沒有準確的記憶所有期望的模式。 ? ?? ?? ?? ?? ?3233222!1131s g n Y s g n Y s g n Y031301110 111111111 TTWXTWXTWXIXXWTXKTKK??????????????????????????????????????驗證：解：2022/2/1 神經網絡原理與應用 23 記憶容量分析 當網絡只記憶一個穩(wěn)定的模式時，該模式肯定被網絡準確無誤的記憶住。但當所要記憶的模式增加時，情況則發(fā)生了變化，主要表現在下列兩點上： 權值移動 交叉干擾 2022/2/1 神經網絡原理與應用 24 權值移動 在網絡的 學習過程中，網絡對權值的記憶實際上是逐個實現的。即對權值 W，有程序 : 當網絡準確的 X1時，為了記憶 X2,需要在記憶樣本 X1 的權值上加上對樣本 X2的記憶項 X2 X2TI，將權值在 原來值的基礎上產生了移動。這樣網絡有可能部分 得遺忘了以前以記憶住的模式。 ? ?e n dIXXWWqkf o rWTKK?????,1 02022/2/1 神經網絡原理與應用 25 從動力學的角度來看， k值較小時，網絡 Hebb學習規(guī)則，可以使輸入學習樣本成為其吸引子。隨著 k值的增加，不但難以使后來的樣本成為網絡的吸引子，而且有可能使以記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動。對一記憶的樣本發(fā)生遺忘，這種現象稱為 “ 疲勞 ” 。 2022/2/1 神經網絡原理與應用 26 交叉干擾 網絡在學習多個樣本后，在回憶階段即驗證該記憶樣本時，所產生的干擾，稱為交叉干擾。 對外積型設計而言，如果輸入樣本是彼此正交的， n個神經元的網絡其記憶容量的上界為 n。但是在大多數情況下，學習樣本不可能是正交的，因而網絡的記憶容量要比 n小得多，一般為 (~)n， n為神經元數。 2022/2/1 神經網絡原理與應用 27 權值修正的其它方法 ?學習規(guī)則 偽逆法 正交化權值設計 2022/2/1 神經網絡原理與應用 28 ?學習規(guī)則 ?學習規(guī)則基本功式是： 即通過計算該神經元節(jié)點的實際激活值 A(t)，與期望狀態(tài) T(t)進行比較，若不滿足要求，將兩者的誤差的一部分作為調整量，若滿足要求，則相應的權值保持不變。 ? ? ? ? ? ? ? ?? ? ? ?tPtAtTtwtw PW ijij ????? ?????? 12022/2/1 神經網絡原理與應用 29 偽逆法 ? ?? ?? ?來。求出權矩陣滿秩，其逆存在，則可線性無關的，則如果樣本之間是為偽逆，有其中由此可得來映射，則有輸入輸出之間用權值設輸入樣本WPPPPPPPPNWNYXWNWXXXXTTTN, s g n, 121??????????? ?2022/2/1 神經網絡原理與應用 30 正交化權值設計 這一方法的基本思想和出發(fā)點是為了滿足下面四個要求： 1）保證系統(tǒng)在異步工作時的穩(wěn)定性，即它的權值是對稱的； 2）保證所有要求記憶的穩(wěn)定平衡點都能收斂到自己； 3）使偽穩(wěn)定點的數目盡可能的少； 4）使穩(wěn)定點的吸引域盡可能的大。 2022/2/1 神經網絡原理與應用 31 連續(xù)性的 Hopfield網絡 CHNN是在 DHNN的基礎上提出的，它的原理 和 DHNN相似。由于 CHNN是以模擬量作為網絡的輸入輸出量，各神經元采用并行方式工作，所以 它在信息處理的并行性、聯想性、實時性、分布 存儲、協(xié)同性等方面比 DHNN更接近于生物神經 網絡。我們將從以下幾點來討論 CHNN。 網絡模型 CHNN方程的解及穩(wěn)定性分析 關于 Hopfield能量函數的幾點說明 關于