【正文】 出變換關(guān)系 34 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 3. 工作過程 ? 第一階段或網(wǎng)絡(luò)訓(xùn)練階段 ： N 組輸入輸出樣本： xi=[xi1, xi2,… , xip1]T di=[di1, di2,… ,dipm]T i=1, 2,… , N 對網(wǎng)絡(luò)的連接權(quán)進(jìn)行學(xué)習(xí)和調(diào)整 ， 以使該網(wǎng)絡(luò)實現(xiàn)給定樣本的輸入輸出映射關(guān)系 。 35 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) BP學(xué)習(xí)算法 BP算法的實現(xiàn) 36 ?（ 1） 是否存在一個 BP神經(jīng)網(wǎng)絡(luò)能夠逼近給定的樣本或者函數(shù) 。 ? 1986年 ， 魯梅爾哈特 （ D. Rumelhart） 等提出 BP學(xué)習(xí)算法 。 ? 反向傳播：修改各層神經(jīng)元的權(quán)值，使誤差信號最小。 （ 2）初始權(quán)值的設(shè)置：一般以一個均值為 0的隨機(jī)分布設(shè)置網(wǎng)絡(luò)的初始權(quán)值。 （ 4） 后處理過程：當(dāng)應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類操作時 ， 通常將輸出 值編碼成所謂的名義變量 ， 具體的值對應(yīng)類別標(biāo)號 。, . . . ,1。, . . . ,1()()( 1 ???? ? tpjpimkttw kkkikij ， ?? 2. BP算法的計算機(jī)實現(xiàn)流程 ), . . . ,1, . . . ,1( mkpiy kki ?? ；),. .. ,1( mmiii piyye ???44 BP算法的實現(xiàn) （ 5）反向傳播：從輸出層方向計算到第一個隱層，按連接權(quán)值修正公式向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值。 ? 2. BP算法的計算機(jī)實現(xiàn)流程 yd kjkiijw 1???? ?式—輸出層連接權(quán)調(diào)整公—))(1( yyyyd imimimimi ???)1( yyd kikiki ?? —隱層連接權(quán)調(diào)整公式—? ????1111kplklkli dw45 BP算法的實現(xiàn) BP學(xué)習(xí)算法的程序框圖 46 ? 1. 特點 ? BP網(wǎng)絡(luò)：多層前向網(wǎng)絡(luò)（輸入層、隱層、輸出層）。 ? 神經(jīng)元傳輸函數(shù)： S形函數(shù)。 ? 層與層的連接是單向的，信息的傳播是雙向的。 ? 具有較強(qiáng)的泛化能力。 ? 優(yōu)點 ? 收斂速度慢。 ? 難以確定隱層和隱層結(jié)點的數(shù)目。 傳統(tǒng)人工智能的研究部分地顯示了人腦的歸納、推理等智能。 神經(jīng)網(wǎng)絡(luò)模型模擬了人腦神經(jīng)系統(tǒng)的特點：處理單元的廣泛連接；并行分布式信息儲存、處理；自適應(yīng)學(xué)習(xí)能力等。 50 ? 例 輸入輸出樣本： ? 測試數(shù)據(jù)： BP神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用 x1y1y2x2x351 BP神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用 例 設(shè)計一個三層 BP網(wǎng)絡(luò)對數(shù)字 0至 9進(jìn)行分類。 將每個網(wǎng)格表示為 0， 1的長位串 。 選擇 BP網(wǎng)絡(luò)結(jié)構(gòu)為 6369。 9個輸出結(jié)點對應(yīng) 10種分類 。 訓(xùn)練 600個周期 ， 如果輸出結(jié)點的值大于 ， 則取為 ON， 如果輸出結(jié)點的值小于 ， 則取為OFF。 對于數(shù)字 8，神經(jīng)網(wǎng)絡(luò)的第 6個結(jié)點的輸出值為 ，第 8個結(jié)點的輸出值為 ，表明第 8個樣本是模糊的，可能是數(shù)字 6，也可能是數(shù)字 8，但也不完全確信是兩者之一。測試數(shù)據(jù)都有一個或者多個位丟失。 ? 輔助變量：與被估計變量相關(guān)的一組可測變量 。 ? 數(shù)據(jù)采集與處理。 BP神經(jīng)網(wǎng)絡(luò)在軟測量中的應(yīng)用 55 ? 序批式活性污泥法（ SBR） 曝氣池二次沉淀池回流污泥剩余污泥進(jìn)水出水空氣 BP神經(jīng)網(wǎng)絡(luò)在軟測量中的應(yīng)用 56 BOD、 COD、 N和 P：為軟測量模型的主導(dǎo)變量。 三層 BP網(wǎng)絡(luò)： ORPM L S SDOPHBODCODNP BP神經(jīng)網(wǎng)絡(luò)在軟測量中的應(yīng)用 57 第 8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 ? 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) ? BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 ? BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ? Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) ? Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ? Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解 JSP 58 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 離散型 Hopfield神經(jīng)網(wǎng)絡(luò) 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實現(xiàn) 隨機(jī)神經(jīng)網(wǎng)絡(luò) 混沌神經(jīng)網(wǎng)絡(luò) 59 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 離散型 Hopfield神經(jīng)網(wǎng)絡(luò) 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò)及其 VLSI實現(xiàn) 隨機(jī)神經(jīng)網(wǎng)絡(luò) 混沌神經(jīng)網(wǎng)絡(luò) 60 1x 2x nx離散 Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 ix… … 1 2 i n21w1nw1iw12w2nw2iwnw1 inwnw2iw2iw1niw1?1?i?1?n?1?2?1?(狀態(tài)） (閾值） （連接權(quán)值） 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 網(wǎng)絡(luò)結(jié)構(gòu)： 61 … )(?f?))(()1(1?????njijiji kxwfkx ? 注： 0?iiwixi?inw…???????0101)(sssf??????0001)(sssf或 1iw1xnx)(?f連接權(quán) 閾值 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 輸入輸出關(guān)系： ikWfkx x ???? ),)(()1( ?Tnxxx ][ 21 ??x Tn ][ 21 ??? ??θTnsfsfsfs )]()()([)( 21 ??fnnijw ?? ][W62 ? 工作方式： 異步（串行）方式 : 同步（并行）方式 : ???????????? ??ijkxkxkxwfkxjjinjjiji),()1())(()1(1? 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ikxwfkx injjiji ???? ??),)(()1(1?ikWfkx x ???? ),)(()1( ?63 （異步或同步方式） T21 )0(,),0(),0([)0( nxxxx ??初態(tài) ： )(lim kxk ??穩(wěn)態(tài)： ... 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 工作過程： 64 （異步或同步方式） 初態(tài) 記憶樣本的部分信息 穩(wěn)態(tài) 記憶樣本 ... 聯(lián)想 記憶 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) 1. 離散 Hopfield神經(jīng)網(wǎng)絡(luò)模型 ? 工作過程： 65 ? 穩(wěn)定性定義： ? 若從某一時刻開始 ， 網(wǎng)絡(luò)中所有神經(jīng)元的狀態(tài)不再改變 ，即 ， 則稱該網(wǎng)絡(luò)是穩(wěn)定的 ， 為網(wǎng)絡(luò)的穩(wěn)定點或 吸引子 。 從任何初始狀態(tài)開始運動 ， 總可以到某個穩(wěn)定狀態(tài) 。 )1())(()( ???? kxkWfkx x ? 離散 Hopfield 神經(jīng)網(wǎng)絡(luò) )( ??? xwfx2. 網(wǎng)絡(luò)的穩(wěn)定性 x66 ? 穩(wěn)定性定理證明： 1983年，科恩（ Cohen）、葛勞斯伯格（ S. Grossberg）。iiinj ijijiiiiIufvRuvdtduCRu?????????? ??)(1ijijnj ijiiRwRRR11139。1210?dtdE時，（ )10 nidtdv i ??? 0?dtdE72 隨機(jī)神經(jīng)網(wǎng)絡(luò) ? Hopfield神經(jīng)網(wǎng)絡(luò)中 ， 神經(jīng)元狀態(tài)為 1是根據(jù)其輸入是否大于閾值確定的 ， 是確定性的 。 例如 ， 服從玻爾茲曼 (Boltzmann)、 高斯(Gaussian)、 柯西 (Cauchy)分布等 ， 從而構(gòu)成玻爾茲曼機(jī) 、 高斯機(jī) 、 柯西機(jī)等隨機(jī)機(jī) 。 ? Boltzmann機(jī)是離散 Hopfield神經(jīng)網(wǎng)絡(luò)的一種變型 ， 通過對離散 Hopfield神經(jīng)網(wǎng)絡(luò)加以擾動 ， 使其以概率的形式表達(dá) ，而網(wǎng)絡(luò)的模型方程不變 ， 只是輸出值類似于 Boltzmann分布以概率分布取值 。 74 隨機(jī)神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機(jī) （續(xù)） ? 離散 Hopfield神經(jīng)網(wǎng)絡(luò)的輸出： ? Boltzman機(jī)的內(nèi)部狀態(tài)： ? 神經(jīng)元 輸出值為 0和 1時的概率： ))(s g n ()1(1inijjjiji tvwtv ???? ???inijjjiji tvwI ??? ??? 1)(TIi ip /e11)1(???i)1(1)0( ii pp ??75 隨機(jī)神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機(jī) （續(xù)） ? Boltzmann的能量函數(shù)： ? ?? ????i iiiijjiij vvvwE ?21? 神經(jīng)元 狀態(tài)轉(zhuǎn)換時網(wǎng)絡(luò)能量的變化： ijjiji vwE ???? ?i? 神經(jīng)元 改變?yōu)闋顟B(tài) “ 1”的概率： i) exp( 1 1 T E p i i ? ? ? ? 76 2. 高斯機(jī) 隨機(jī)神經(jīng)網(wǎng)絡(luò) ???? ??injjiji Ivwdtdu1 :均值為 0的高斯隨機(jī)變量（白噪聲） ，其方差為 cT???3. 柯西機(jī) ???? ??injjiji Ivwdtdu1 : 柯西隨機(jī)變量（有色噪聲） ?77 混沌神經(jīng)網(wǎng)絡(luò) 1. 混沌 ? 混沌：自然界中一種較為普遍的非線性現(xiàn)象，其行 為看似混亂復(fù)雜且類似隨機(jī)，卻存在精致的內(nèi)在規(guī) 律性。 （ 2）遍歷性：不重復(fù)地歷經(jīng)一定范圍內(nèi)的所有狀態(tài)。 78 1. 混沌 （續(xù)） ? 混沌學(xué)的研究熱潮開始于 20世紀(jì) 70年代初期。 ? 1975年， LiYorke的論文 《 周期 3意味著混沌 》 使“混沌”一詞首先出現(xiàn)在科技文獻(xiàn)中。 混沌神經(jīng)網(wǎng)絡(luò) 79 混沌神經(jīng)網(wǎng)絡(luò) 2. 混沌神經(jīng)元 ? 混沌神經(jīng)元（ 1987年， Freeman）：構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)的基本單位。 ? 1991年， Inoue等利用兩個混沌振蕩子耦合成一個神經(jīng)元的方法，構(gòu)造出一個混沌神經(jīng)計算機(jī) . ? 1992年， Nozawa基于歐拉離散化的 Hopfield神經(jīng)網(wǎng)絡(luò)，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的 CNN模型。 ② 能演化到一個穩(wěn)定狀態(tài)。 ④ 具有混沌退火機(jī)制。 ⑥ 可求解 01問題，也可求解連續(xù)非線性優(yōu)化問題。 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 88 傳 感 器神 經(jīng) 網(wǎng) 絡(luò)分 類 器蘋 果桔 子? 例 ? 傳感器輸出： [外形，質(zhì)地，重量 ]T T)1( ]101[?x標(biāo)準(zhǔn)桔子：T)2( ]010[?x標(biāo)準(zhǔn)蘋果： Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 89 ? 例 ? 樣本 : 桔子）(]1 0, ,1[ T)1( ?x （蘋果）T)2( ]0 1, 0,[?x? 步驟： （ 1