人工神經(jīng)網(wǎng)絡(luò)第七章-展示頁
2024-10-01 10:25本頁面
【正文】 集合，稱為該吸引子的吸引域。 下面給出 DHNN網(wǎng)吸引子的定義和定理。假設(shè)把需記憶的樣本信息存儲于網(wǎng)絡(luò)不同的吸引子，當輸入含有局部記憶信息的樣本時，網(wǎng)絡(luò)的演變過程便是從局部信息尋找全部信息，即聯(lián)想回憶的過程。一個動力學系統(tǒng)的最終行為是由它的吸引子決定的，吸引子的存在為信息的分布存儲記憶和神經(jīng)優(yōu)化計算提供了根底。 3/10/2024 21 第二十一頁，共七十三頁。如果把一個待求解問題的目標函數(shù)以網(wǎng)絡(luò)能量函數(shù)的形式表達出來，當能量函數(shù)趨于最小時，對應(yīng)的網(wǎng)絡(luò)狀態(tài)就是問題的最優(yōu)解。 網(wǎng)絡(luò)的穩(wěn)定性與下面將要介紹的能量函數(shù)密切相關(guān)，利用網(wǎng)絡(luò)的能量函數(shù)可實現(xiàn)優(yōu)化求解功能。對于 DHNN網(wǎng)，由于網(wǎng)絡(luò)的狀態(tài)是有限的，因此不可能出現(xiàn)混沌現(xiàn)象。 如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)， 如圖 6． 2(a)所示；假設(shè)網(wǎng)絡(luò)是不穩(wěn)定的，由于 DHNN網(wǎng)每個節(jié)點的狀態(tài)只有 1和 l 兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)，圖 6． 2(b)給出了它的相圖。 1．網(wǎng)絡(luò)的穩(wěn)定性 由網(wǎng)絡(luò)工作狀態(tài)的分析可知， DHNN網(wǎng)實質(zhì)上是一個離散的非線性動力學系統(tǒng)。 穩(wěn)定性分析 ? 網(wǎng)絡(luò)的穩(wěn)定性是與收斂性不同的問題 ? Cohen和 Grossberg[1983年 ]:Hopfield網(wǎng)絡(luò)的穩(wěn)定性定理 ? 如果 Hopfield網(wǎng)絡(luò)的聯(lián)接權(quán)矩陣是對角線為 0的對稱矩陣，那么它是穩(wěn)定的 ? 用著名的 Lyapunov函數(shù)作為 Hopfield網(wǎng)絡(luò)的能量函數(shù) ? 網(wǎng)絡(luò)的穩(wěn)定性與吸引子 3/10/2024 17 第十七頁，共七十三頁。下次調(diào)整其他神經(jīng)元狀態(tài)時，本次的調(diào)整結(jié)果即在下一個神經(jīng)元的凈輸入中發(fā)揮作用。 神經(jīng)元狀態(tài)的調(diào)整次序可以按某種規(guī)定的次序進行，也可以隨機選定。 網(wǎng)絡(luò)的異步工作方式是一種串行方式。 最根本的 Hopfield網(wǎng) ? 激活函數(shù)： ? 改為 S形函數(shù)后，系統(tǒng)就成為一個連續(xù)系統(tǒng) ? 多級循環(huán)網(wǎng)絡(luò) ? 除輸出向量被反響到輸入層外，其它各層之間的信號傳送均執(zhí)行如下規(guī)定：第 i1層神經(jīng)元的輸出經(jīng)過第 i個連接矩陣被送入第 i層。另外，由于 W是各個樣本向量自身的外積的和，所以，有時稱該網(wǎng)絡(luò)實現(xiàn)的是自相聯(lián)映射。 與前面遇到過的訓練方法不同，在這里是根據(jù)樣本集直接地計算出網(wǎng)絡(luò)的聯(lián)接矩陣。 0112121111121122212121211121111211211111111021222121211111121111112121211121111211111102211WyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyWyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyWYYYYYYWsnsnnnssnnssnNsnsnsssssnsnsssssnsnssnssnsnssssssnsssssnnnnnnSTSTT????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????3/10/2024 12 第十二頁，共七十三頁。 ??skjkik yy1?權(quán)矩陣 ： wij= i≠ j 3/10/2024 10 第十頁，共七十三頁。 最根本的 Hopfield網(wǎng) ? 希望網(wǎng)絡(luò)的聯(lián)接矩陣存放的是一組這樣的樣本，在聯(lián)想過程中實現(xiàn)對信息的“修復〞和“加強〞，要求：它的輸入向量和輸出向量是相同的向量，即， X=Y ? 樣本集： S={ Y1， Y2， … ， Ys} 3/10/2024 9 第九頁，共七十三頁。 循環(huán)網(wǎng)絡(luò)的組織 神經(jīng)元的網(wǎng)絡(luò)輸入： ?????hjiijiijj xown e t1閾值函數(shù) ： oj= 1 if jθ j 0 if jθ j oj if j=θ j 3/10/2024 7 第七頁，共七十三頁。 h≥n ， h≥m ， n≥ 1， m≥ 1。 循環(huán)網(wǎng)絡(luò)的組織 ?聯(lián)接： 神經(jīng)元之間都是互聯(lián)的 wij， 每個神經(jīng)元都沒有到自身的聯(lián)接 wii=0。 強烈變化 較弱的變化 不變化 3/10/2024 4 第四頁，共七十三頁。 第 7章 循環(huán)網(wǎng)絡(luò) 循環(huán)網(wǎng)絡(luò)的組織 穩(wěn)定性分析 統(tǒng)計 Hopfield網(wǎng)與 Boltzmann機 雙聯(lián)存儲器的結(jié)構(gòu) 異相聯(lián)存儲 其它的雙聯(lián)存儲器 Hopfield網(wǎng)用于解決 TSP問題 3/10/2024 3 第三頁，共七十三頁。 第 7章 循環(huán)網(wǎng)絡(luò) ? 重點 ? Hopfield網(wǎng)絡(luò)實現(xiàn)的自相聯(lián)存儲 ? 根本雙聯(lián)存儲器的結(jié)構(gòu)與訓練 。第 7章 循環(huán)網(wǎng)絡(luò) ? 主要內(nèi)容 ? Hopfield網(wǎng)絡(luò)實現(xiàn)的自相聯(lián)存儲 ? 穩(wěn)定性分析 ? 統(tǒng)計 Hopfield網(wǎng)與 Boltzmann機 ? 根本雙聯(lián)存儲器 (BAM)的結(jié)構(gòu)與訓練 ? 幾種相聯(lián)存儲網(wǎng)絡(luò) ? 用 Hopfield網(wǎng)解決 TSP問題 。 3/10/2024 1 第一頁，共七十三頁。 ? 難點 ? 穩(wěn)定性分析 ? 用 Hopfield網(wǎng)解決 TSP問題 3/10/2024 2 第二頁，共七十三頁。 第 7章 循環(huán)網(wǎng)絡(luò) 循環(huán)網(wǎng)絡(luò)稱為 Hopfield網(wǎng) 循環(huán)網(wǎng)絡(luò)對輸入信號的處理是一個逐漸“修復〞、“加強〞的過程。 循環(huán)網(wǎng)絡(luò)的組織 ? 網(wǎng)絡(luò)結(jié)構(gòu) X1 Xn o1 om … … … … … … 3/10/2024 5 第五頁，共七十三頁。 ?神經(jīng)元個數(shù) h， 輸入向量維數(shù) n， 輸出向量維數(shù) m。 ?神經(jīng)元 ：輸入 、 輸出 、 隱藏 ?狀態(tài)變化： 非同步 、 同步 ?輸入向量 ： X=(x1， x2， … ， xn) ? 輸出向量 ： O=(o1， o2， … ， om) 3/10/2024 6 第六頁，共七十三頁。 最根本的 Hopfield網(wǎng) o1 on o2 x2 x1 xn W … … ?n=m=h 3/10/2024 8 第八頁，共七十三頁。 最根本的 Hopfield網(wǎng) wii=0 1≤i≤n ? W是一個對角線元素為 0的對稱矩陣： ? W= Y1T ╳ Y1+Y2T╳ Y2+… +YsT╳ Ys W0
數(shù)學相關(guān)推薦
鄂ICP備17016276號-1