【文章內(nèi)容簡介】 w1xnx)(?f連接權(quán) 閾值 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 輸入輸出關(guān)系： ikWfkx x ???? ),)(()1( ?Tnxxx ][ 21 ??x Tn ][ 21 ??? ??θTnsfsfsfs )]()()([)( 21 ??fnnijw ?? ][W62 ? 工作方式： 異步（串行）方式 : 同步（并行）方式 : ???????????? ??ijkxkxkxwfkxjjinjjiji),()1())(()1(1? 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ikxwfkx injjiji ???? ??),)(()1(1?ikWfkx x ???? ),)(()1( ?63 （異步或同步方式） T21 )0(,),0(),0([)0( nxxxx ??初態(tài) ： )(lim kxk ??穩(wěn)態(tài)： ... 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 工作過程： 64 （異步或同步方式） 初態(tài) 記憶樣本的部分信息 穩(wěn)態(tài) 記憶樣本 ... 聯(lián)想 記憶 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 工作過程： 65 ? 穩(wěn)定性定義： ? 若從某一時刻開始 ， 網(wǎng)絡(luò)中所有神經(jīng)元的狀態(tài)不再改變 ，即 ， 則稱該網(wǎng)絡(luò)是穩(wěn)定的 ， 為網(wǎng)絡(luò)的穩(wěn)定點或 吸引子 。 ? Hopfield神經(jīng)網(wǎng)絡(luò)是高維非線性系統(tǒng) ， 可能有許多穩(wěn)定優(yōu)態(tài) 。 從任何初始狀態(tài)開始運動 ， 總可以到某個穩(wěn)定狀態(tài) 。這些穩(wěn)定狀態(tài)可以通過改變網(wǎng)絡(luò)參數(shù)得到 。 )1())(()( ???? kxkWfkx x ? 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) )( ??? xwfx2. 網(wǎng)絡(luò)的穩(wěn)定性 x66 ? 穩(wěn)定性定理證明： 1983年，科恩（ Cohen）、葛勞斯伯格（ S. Grossberg）。 ? 穩(wěn)定性定理（ Hopfield） 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 2. 網(wǎng)絡(luò)的穩(wěn)定性 ? 并行穩(wěn)定性 —— W： 非負定對稱陣 ? 串行穩(wěn)定性 —— W：對稱陣 67 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進 離散型 Hopfield神經(jīng)網(wǎng)絡(luò) 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實現(xiàn) 68 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實現(xiàn) ? 連續(xù) Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 網(wǎng)絡(luò)的穩(wěn)定性 ? 應(yīng)用舉例 69 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實現(xiàn) 1. 連續(xù) Hopfield神經(jīng)網(wǎng)絡(luò)模型 70 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實現(xiàn) 1. 連續(xù) Hopfield神經(jīng)網(wǎng)絡(luò)模型 f ( . )v 1v 2v nR i 1R i 2R i nI iR iu iC iRv i...injjijiiii IvwRudtduC ???? ?? 139。iiinj ijijiiiiIufvRuvdtduCRu?????????? ??)(1ijijnj ijiiRwRRR11139。11??? ??)]t a n h (1[2111)(020uueufv iuuii i ??????71 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實現(xiàn) 2. 網(wǎng)絡(luò)的穩(wěn)定性 ? 計算能量函數(shù) ： ? 定理：對于連續(xù)型 Hopfield 神經(jīng)網(wǎng)絡(luò) ， 若 為單調(diào)遞增的連續(xù)函數(shù) ， Ci 0, wij = wji , 則 ；當且僅當 )(1 ??f? ??? ????? ?????niviniiininjjiiji dvvfRIvvvwE1 0111 1)(39。1210?dtdE時，（ )10 nidtdv i ??? 0?dtdE72 隨機神經(jīng)網(wǎng)絡(luò) ? Hopfield神經(jīng)網(wǎng)絡(luò)中 ， 神經(jīng)元狀態(tài)為 1是根據(jù)其輸入是否大于閾值確定的 ， 是確定性的 。 ? 隨機神經(jīng)網(wǎng)絡(luò)中 ， 神經(jīng)元狀態(tài)為 1是隨機的 ， 服從一定的概率分布 。 例如 ， 服從玻爾茲曼 (Boltzmann)、 高斯(Gaussian)、 柯西 (Cauchy)分布等 ， 從而構(gòu)成玻爾茲曼機 、 高斯機 、 柯西機等隨機機 。 73 隨機神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機 ? 1985年 ， 加拿大多倫多大學(xué)教授欣頓 (Hinton)等人借助統(tǒng)計物理學(xué)的概念和方法 ， 提出了 Boltzmann機神經(jīng)網(wǎng)絡(luò)模型 。 ? Boltzmann機是離散 Hopfield神經(jīng)網(wǎng)絡(luò)的一種變型 ， 通過對離散 Hopfield神經(jīng)網(wǎng)絡(luò)加以擾動 ， 使其以概率的形式表達 ，而網(wǎng)絡(luò)的模型方程不變 ， 只是輸出值類似于 Boltzmann分布以概率分布取值 。 ? Boltzmann機是按 Boltzmann概率分布動作的神經(jīng)網(wǎng)絡(luò) 。 74 隨機神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機 （續(xù)） ? 離散 Hopfield神經(jīng)網(wǎng)絡(luò)的輸出： ? Boltzman機的內(nèi)部狀態(tài)： ? 神經(jīng)元 輸出值為 0和 1時的概率： ))(s g n ()1(1inijjjiji tvwtv ???? ???inijjjiji tvwI ??? ??? 1)(TIi ip /e11)1(???i)1(1)0( ii pp ??75 隨機神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機 （續(xù)） ? Boltzmann的能量函數(shù)： ? ?? ????i iiiijjiij vvvwE ?21? 神經(jīng)元 狀態(tài)轉(zhuǎn)換時網(wǎng)絡(luò)能量的變化： ijjiji vwE ???? ?i? 神經(jīng)元 改變?yōu)闋顟B(tài) “ 1”的概率： i) exp( 1 1 T E p i i ? ? ? ? 76 2. 高斯機 隨機神經(jīng)網(wǎng)絡(luò) ???? ??injjiji Ivwdtdu1 :均值為 0的高斯隨機變量（白噪聲） ，其方差為 cT???3. 柯西機 ???? ??injjiji Ivwdtdu1 : 柯西隨機變量（有色噪聲） ?77 混沌神經(jīng)網(wǎng)絡(luò) 1. 混沌 ? 混沌：自然界中一種較為普遍的非線性現(xiàn)象，其行 為看似混亂復(fù)雜且類似隨機，卻存在精致的內(nèi)在規(guī) 律性。 ? 混沌的性質(zhì) ： （ 1）隨機性：類似隨機變量的雜亂表現(xiàn)。 （ 2）遍歷性：不重復(fù)地歷經(jīng)一定范圍內(nèi)的所有狀態(tài)。 （ 3）規(guī)律性：由確定性的迭代式產(chǎn)生。 78 1. 混沌 （續(xù)） ? 混沌學(xué)的研究熱潮開始于 20世紀 70年代初期。 ? 1963年， Lorenz在分析氣候數(shù)據(jù)時發(fā)現(xiàn)：初值十分接近的兩條曲線的最終結(jié)果會相差很大，從而獲得了混沌的第一個例子。 ? 1975年， LiYorke的論文 《 周期 3意味著混沌 》 使“混沌”一詞首先出現(xiàn)在科技文獻中。混沌的發(fā)現(xiàn)，對科學(xué)的發(fā)展具有深遠的影響。 混沌神經(jīng)網(wǎng)絡(luò) 79 混沌神經(jīng)網(wǎng)絡(luò) 2. 混沌神經(jīng)元 ? 混沌神經(jīng)元（ 1987年， Freeman）：構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)的基本單位。 ?????? )())(()()1( tItxFtkyty))1(()1( ??? tyGtx? 混沌神經(jīng)元模型： 80 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) ? 1990年， Aihara等提出了第一個混沌神經(jīng)網(wǎng)絡(luò)模型 (chaotic neural work， CNN)。 ? 1991年， Inoue等利用兩個混沌振蕩子耦合成一個神經(jīng)元的方法，構(gòu)造出一個混沌神經(jīng)計算機 . ? 1992年， Nozawa基于歐拉離散化的 Hopfield神經(jīng)網(wǎng)絡(luò)，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的 CNN模型。 81 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) 1995年， Chen等提出的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)(transient chaotic neural work， TCNN) ： ?/)(e11))(()(tuii ituftv ????])()[(])([)()1( 0? ??????njiiijijii ItvtzItvwtkutu ?)()1()1( tztz ii ????82 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) ① 具有 暫態(tài)混沌特性 。 ② 能演化到一個穩(wěn)定狀態(tài)。 ③ 搜索區(qū)域為一分形結(jié)構(gòu)。 ④ 具有混沌退火機制。 ⑤ 一種廣義的混沌神經(jīng)網(wǎng)絡(luò)。 ⑥ 可求解 01問題，也可求解連續(xù)非線性優(yōu)化問題。 83 混沌神經(jīng)網(wǎng)絡(luò) ? 非線性函數(shù)： ])[()(])[()(),( 2122222121 ???????? xxxxxxE015 0 15 1 , ( 0) [ 82 , 82 ] ,k I z? ? ?? ? ? ? ? ?， ， ， ，84 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 2）基于加大時間步長的混沌神經(jīng)網(wǎng)絡(luò) ? CHNN的歐拉離散化： ? ???????? njijijii Itvwttutttu ])([)()1()(?)()1()1( tttt ????? ? 10 ?? ?? 1998年， Wang和 Smith采用加大時間步長產(chǎn)生混沌： 85 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 3）引入噪聲的混沌神經(jīng)網(wǎng)絡(luò) ? 1995年， Hayakawa等的混沌神經(jīng)網(wǎng)絡(luò)： ? ???????? njijijii Itvwttutttu ])([)()1()(?))()(()( tAtuftv iii ???86 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法 87 如何實現(xiàn) HNN的聯(lián)想記憶 功能 ? ? 網(wǎng)絡(luò)能夠通過聯(lián)想來輸出和輸入模式 最為相似的樣本模式。 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 88 傳 感 器神 經(jīng) 網(wǎng) 絡(luò)分 類 器蘋 果桔 子? 例 ? 傳感器輸出： [外形，質(zhì)地，重量 ]T T)1( ]101[?x標準桔子：T)2( ]010[?x標準蘋果： Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 89 ? 例 ? 樣本 : 桔子）(]1 0, ,1[ T)1( ?x （蘋果）T)2( ]0 1, 0,[?x? 步驟： （ 1）設(shè)計 DHNN結(jié)構(gòu) （ 2）設(shè)計連接權(quán)矩陣 （ 3）測試 具體怎樣實現(xiàn)聯(lián)想