【文章內(nèi)容簡(jiǎn)介】 w1xnx)(?f連接權(quán) 閾值 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 輸入輸出關(guān)系： ikWfkx x ???? ),)(()1( ?Tnxxx ][ 21 ??x Tn ][ 21 ??? ??θTnsfsfsfs )]()()([)( 21 ??fnnijw ?? ][W62 ? 工作方式： 異步（串行）方式 : 同步（并行）方式 : ???????????? ??ijkxkxkxwfkxjjinjjiji),()1())(()1(1? 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ikxwfkx injjiji ???? ??),)(()1(1?ikWfkx x ???? ),)(()1( ?63 （異步或同步方式） T21 )0(,),0(),0([)0( nxxxx ??初態(tài) ： )(lim kxk ??穩(wěn)態(tài)： ... 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 工作過(guò)程： 64 （異步或同步方式） 初態(tài) 記憶樣本的部分信息 穩(wěn)態(tài) 記憶樣本 ... 聯(lián)想 記憶 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 工作過(guò)程： 65 ? 穩(wěn)定性定義： ? 若從某一時(shí)刻開(kāi)始 ， 網(wǎng)絡(luò)中所有神經(jīng)元的狀態(tài)不再改變 ，即 ， 則稱(chēng)該網(wǎng)絡(luò)是穩(wěn)定的 ， 為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)或 吸引子 。 ? Hopfield神經(jīng)網(wǎng)絡(luò)是高維非線(xiàn)性系統(tǒng) ， 可能有許多穩(wěn)定優(yōu)態(tài) 。 從任何初始狀態(tài)開(kāi)始運(yùn)動(dòng) ， 總可以到某個(gè)穩(wěn)定狀態(tài) 。這些穩(wěn)定狀態(tài)可以通過(guò)改變網(wǎng)絡(luò)參數(shù)得到 。 )1())(()( ???? kxkWfkx x ? 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) )( ??? xwfx2. 網(wǎng)絡(luò)的穩(wěn)定性 x66 ? 穩(wěn)定性定理證明： 1983年，科恩（ Cohen）、葛勞斯伯格（ S. Grossberg）。 ? 穩(wěn)定性定理（ Hopfield） 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 2. 網(wǎng)絡(luò)的穩(wěn)定性 ? 并行穩(wěn)定性 —— W： 非負(fù)定對(duì)稱(chēng)陣 ? 串行穩(wěn)定性 —— W：對(duì)稱(chēng)陣 67 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 離散型 Hopfield神經(jīng)網(wǎng)絡(luò) 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實(shí)現(xiàn) 68 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實(shí)現(xiàn) ? 連續(xù) Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 網(wǎng)絡(luò)的穩(wěn)定性 ? 應(yīng)用舉例 69 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實(shí)現(xiàn) 1. 連續(xù) Hopfield神經(jīng)網(wǎng)絡(luò)模型 70 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實(shí)現(xiàn) 1. 連續(xù) Hopfield神經(jīng)網(wǎng)絡(luò)模型 f ( . )v 1v 2v nR i 1R i 2R i nI iR iu iC iRv i...injjijiiii IvwRudtduC ???? ?? 139。iiinj ijijiiiiIufvRuvdtduCRu?????????? ??)(1ijijnj ijiiRwRRR11139。11??? ??)]t a n h (1[2111)(020uueufv iuuii i ??????71 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實(shí)現(xiàn) 2. 網(wǎng)絡(luò)的穩(wěn)定性 ? 計(jì)算能量函數(shù) ： ? 定理：對(duì)于連續(xù)型 Hopfield 神經(jīng)網(wǎng)絡(luò) ， 若 為單調(diào)遞增的連續(xù)函數(shù) ， Ci 0, wij = wji , 則 ；當(dāng)且僅當(dāng) )(1 ??f? ??? ????? ?????niviniiininjjiiji dvvfRIvvvwE1 0111 1)(39。1210?dtdE時(shí)，（ )10 nidtdv i ??? 0?dtdE72 隨機(jī)神經(jīng)網(wǎng)絡(luò) ? Hopfield神經(jīng)網(wǎng)絡(luò)中 ， 神經(jīng)元狀態(tài)為 1是根據(jù)其輸入是否大于閾值確定的 ， 是確定性的 。 ? 隨機(jī)神經(jīng)網(wǎng)絡(luò)中 ， 神經(jīng)元狀態(tài)為 1是隨機(jī)的 ， 服從一定的概率分布 。 例如 ， 服從玻爾茲曼 (Boltzmann)、 高斯(Gaussian)、 柯西 (Cauchy)分布等 ， 從而構(gòu)成玻爾茲曼機(jī) 、 高斯機(jī) 、 柯西機(jī)等隨機(jī)機(jī) 。 73 隨機(jī)神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機(jī) ? 1985年 ， 加拿大多倫多大學(xué)教授欣頓 (Hinton)等人借助統(tǒng)計(jì)物理學(xué)的概念和方法 ， 提出了 Boltzmann機(jī)神經(jīng)網(wǎng)絡(luò)模型 。 ? Boltzmann機(jī)是離散 Hopfield神經(jīng)網(wǎng)絡(luò)的一種變型 ， 通過(guò)對(duì)離散 Hopfield神經(jīng)網(wǎng)絡(luò)加以擾動(dòng) ， 使其以概率的形式表達(dá) ，而網(wǎng)絡(luò)的模型方程不變 ， 只是輸出值類(lèi)似于 Boltzmann分布以概率分布取值 。 ? Boltzmann機(jī)是按 Boltzmann概率分布動(dòng)作的神經(jīng)網(wǎng)絡(luò) 。 74 隨機(jī)神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機(jī) （續(xù)） ? 離散 Hopfield神經(jīng)網(wǎng)絡(luò)的輸出： ? Boltzman機(jī)的內(nèi)部狀態(tài)： ? 神經(jīng)元 輸出值為 0和 1時(shí)的概率： ))(s g n ()1(1inijjjiji tvwtv ???? ???inijjjiji tvwI ??? ??? 1)(TIi ip /e11)1(???i)1(1)0( ii pp ??75 隨機(jī)神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機(jī) （續(xù)） ? Boltzmann的能量函數(shù)： ? ?? ????i iiiijjiij vvvwE ?21? 神經(jīng)元 狀態(tài)轉(zhuǎn)換時(shí)網(wǎng)絡(luò)能量的變化： ijjiji vwE ???? ?i? 神經(jīng)元 改變?yōu)闋顟B(tài) “ 1”的概率： i) exp( 1 1 T E p i i ? ? ? ? 76 2. 高斯機(jī) 隨機(jī)神經(jīng)網(wǎng)絡(luò) ???? ??injjiji Ivwdtdu1 :均值為 0的高斯隨機(jī)變量（白噪聲） ，其方差為 cT???3. 柯西機(jī) ???? ??injjiji Ivwdtdu1 : 柯西隨機(jī)變量（有色噪聲） ?77 混沌神經(jīng)網(wǎng)絡(luò) 1. 混沌 ? 混沌：自然界中一種較為普遍的非線(xiàn)性現(xiàn)象，其行 為看似混亂復(fù)雜且類(lèi)似隨機(jī)，卻存在精致的內(nèi)在規(guī) 律性。 ? 混沌的性質(zhì) ： （ 1）隨機(jī)性：類(lèi)似隨機(jī)變量的雜亂表現(xiàn)。 （ 2）遍歷性：不重復(fù)地歷經(jīng)一定范圍內(nèi)的所有狀態(tài)。 （ 3）規(guī)律性：由確定性的迭代式產(chǎn)生。 78 1. 混沌 （續(xù)） ? 混沌學(xué)的研究熱潮開(kāi)始于 20世紀(jì) 70年代初期。 ? 1963年， Lorenz在分析氣候數(shù)據(jù)時(shí)發(fā)現(xiàn)：初值十分接近的兩條曲線(xiàn)的最終結(jié)果會(huì)相差很大，從而獲得了混沌的第一個(gè)例子。 ? 1975年， LiYorke的論文 《 周期 3意味著混沌 》 使“混沌”一詞首先出現(xiàn)在科技文獻(xiàn)中?；煦绲陌l(fā)現(xiàn)，對(duì)科學(xué)的發(fā)展具有深遠(yuǎn)的影響。 混沌神經(jīng)網(wǎng)絡(luò) 79 混沌神經(jīng)網(wǎng)絡(luò) 2. 混沌神經(jīng)元 ? 混沌神經(jīng)元（ 1987年， Freeman）：構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)的基本單位。 ?????? )())(()()1( tItxFtkyty))1(()1( ??? tyGtx? 混沌神經(jīng)元模型： 80 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) ? 1990年， Aihara等提出了第一個(gè)混沌神經(jīng)網(wǎng)絡(luò)模型 (chaotic neural work， CNN)。 ? 1991年， Inoue等利用兩個(gè)混沌振蕩子耦合成一個(gè)神經(jīng)元的方法，構(gòu)造出一個(gè)混沌神經(jīng)計(jì)算機(jī) . ? 1992年， Nozawa基于歐拉離散化的 Hopfield神經(jīng)網(wǎng)絡(luò)，通過(guò)增加一個(gè)大的自反饋?lái)?xiàng)，得到了一個(gè)與Aihara等提出的類(lèi)似的 CNN模型。 81 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) 1995年， Chen等提出的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)(transient chaotic neural work， TCNN) ： ?/)(e11))(()(tuii ituftv ????])()[(])([)()1( 0? ??????njiiijijii ItvtzItvwtkutu ?)()1()1( tztz ii ????82 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) ① 具有 暫態(tài)混沌特性 。 ② 能演化到一個(gè)穩(wěn)定狀態(tài)。 ③ 搜索區(qū)域?yàn)橐环中谓Y(jié)構(gòu)。 ④ 具有混沌退火機(jī)制。 ⑤ 一種廣義的混沌神經(jīng)網(wǎng)絡(luò)。 ⑥ 可求解 01問(wèn)題，也可求解連續(xù)非線(xiàn)性?xún)?yōu)化問(wèn)題。 83 混沌神經(jīng)網(wǎng)絡(luò) ? 非線(xiàn)性函數(shù)： ])[()(])[()(),( 2122222121 ???????? xxxxxxE015 0 15 1 , ( 0) [ 82 , 82 ] ,k I z? ? ?? ? ? ? ? ?， ， ， ，84 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 2）基于加大時(shí)間步長(zhǎng)的混沌神經(jīng)網(wǎng)絡(luò) ? CHNN的歐拉離散化： ? ???????? njijijii Itvwttutttu ])([)()1()(?)()1()1( tttt ????? ? 10 ?? ?? 1998年， Wang和 Smith采用加大時(shí)間步長(zhǎng)產(chǎn)生混沌： 85 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò) （ 3）引入噪聲的混沌神經(jīng)網(wǎng)絡(luò) ? 1995年， Hayakawa等的混沌神經(jīng)網(wǎng)絡(luò)： ? ???????? njijijii Itvwttutttu ])([)()1()(?))()(()( tAtuftv iii ???86 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法 87 如何實(shí)現(xiàn) HNN的聯(lián)想記憶 功能 ? ? 網(wǎng)絡(luò)能夠通過(guò)聯(lián)想來(lái)輸出和輸入模式 最為相似的樣本模式。 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 88 傳 感 器神 經(jīng) 網(wǎng) 絡(luò)分 類(lèi) 器蘋(píng) 果桔 子? 例 ? 傳感器輸出： [外形，質(zhì)地，重量 ]T T)1( ]101[?x標(biāo)準(zhǔn)桔子：T)2( ]010[?x標(biāo)準(zhǔn)蘋(píng)果： Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 89 ? 例 ? 樣本 : 桔子）(]1 0, ,1[ T)1( ?x （蘋(píng)果）T)2( ]0 1, 0,[?x? 步驟： （ 1）設(shè)計(jì) DHNN結(jié)構(gòu) （ 2）設(shè)計(jì)連接權(quán)矩陣 （ 3）測(cè)試 具體怎樣實(shí)現(xiàn)聯(lián)想