【文章內(nèi)容簡介】 模型 人工神經(jīng)網(wǎng)絡(luò)的首個數(shù)學(xué)模型是由 McCulloch和 Pitts 建立的。該模型 的基本思想是：神經(jīng)細胞的工作方式是或者興奮或者抑制。 基于這個思想， McCulloch和 Pitts 在神經(jīng)元模型中引入了硬極限函數(shù)，該函數(shù)形式后來被其他神經(jīng)網(wǎng)絡(luò) (多層感知器、離散 Hopfield 網(wǎng)絡(luò) )所采用 [6]。 MP 模型是一個多 輸入單輸出的非線性處理單元，示意圖如圖 22 所示。 ∑ ? i W n x 2 . .u iy i F ( u i )w 1 x 1 w 2x n 圖 22 MP 模型示意圖 其中 ： iy ， 神經(jīng)元的輸出信號，可與其它多個神經(jīng)元連接； 江蘇科技大學(xué) 本科畢業(yè)設(shè)計（論文） 6 ix ， 神經(jīng)元的輸入信號； iw ：神經(jīng) 元的連接權(quán)值； i? ：神經(jīng)元的閥值： )(iuf ：神經(jīng)元的非線性作用函數(shù)。 神經(jīng)元輸出 iy 可用下式描述： )(1?? ??ni jijij wxfy ? （ 22） 設(shè) ?? ??ni jijij wxu 1 ? （ 23） 則 )( jj ufy ? （ 24） )(xf 是作用函數(shù)，即激發(fā)函數(shù)。 MP 神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。 一般的神經(jīng)元模型 MP 模型過于簡單，且權(quán)值不能學(xué)習(xí)，因此實際上需要更復(fù)雜、靈活性更高的神經(jīng)元模型。圖 23 所示為一個具有 n 個 輸入的通用的神經(jīng)元模型。 與 MP 模型一樣 , Tnxxxx ),....,( 21? 為神經(jīng)元的輸入， Tnw ),. .. ,( 21? 為可調(diào)的輸入權(quán)值， ? 為偏移信號，用于建模神經(jīng)元的興奮閥值。 )(u 和 )(f 分別表示神經(jīng)元的基函數(shù)和激活函數(shù)。（也稱神經(jīng)元函數(shù)、擠壓函數(shù)或活化函數(shù)） [7]。基函數(shù) )(u 是一個多輸入單輸出的函數(shù) ),( ?wxuu ? ；激活函數(shù)的作用是對基函數(shù)輸出 u 進行“擠壓”： )(ufy? ，即通過非線性函數(shù) )(f 將 u 變換到指定范圍內(nèi)。 u ( )W 2 W nuf ( )0x 1 x 2x 3..w 1 圖 23 通用神經(jīng)元模型 江蘇科技大學(xué) 本科畢業(yè)設(shè)計（論文） 7 感知器模型 感知器（ Perception）是模擬人的視覺，接收環(huán)境信息，并由神經(jīng)沖動進行信息傳遞的神經(jīng)網(wǎng)絡(luò)。 最早由 Rosenblatt 提出的感知器模型為單層感知器，僅有輸入層和輸出層構(gòu)成。后來由于單層感知器在非線性不可分問題方面的局限性，人們又提出了多層感知器模型，在原有基礎(chǔ)上增加了隱含層。 ① 單層感知器模型 單層感知器模型是一個具有單層處理單元的神經(jīng)網(wǎng)絡(luò)，如圖 24 所示，非線性作用函數(shù) )(xf 是對稱型階躍函數(shù)。 ∑ ?w 1w j w nu 1u ju n ..xf ( x )w 0 μ 0 = 1y. 圖 24 單層感知器模型 感知器的輸出為： ? ?? ???? nj nj jjjj uwfuwfy 1 0 )()( ? （ 25） 其中， ju 為感知器的第 j 個輸入； ???0w （閥值）； 10?u 。 ② 多層感知器 在輸入和輸出層間加一層或多層隱含層，即構(gòu)成多層感知器，又稱多層前饋神經(jīng)網(wǎng)絡(luò)。 多層感知器如下圖所示： u 1u 2W Az 2z 1yW B 圖 25 多層感知器結(jié)構(gòu) 江蘇科技大學(xué) 本科畢業(yè)設(shè)計（論文） 8 對于多層感知器網(wǎng)絡(luò)，有如下定理： 若隱層節(jié)點（單元）可任意設(shè)置，則用三層閥值節(jié)點的網(wǎng)絡(luò)可以實現(xiàn)任意的二值邏輯函數(shù)。若隱層節(jié)點 (單元 )不可任意設(shè)置，則用三層 S 型非線性特性節(jié)點的網(wǎng)絡(luò)，可以一致逼近緊集上的連續(xù)函數(shù)或按 2L 范數(shù)逼近緊集上的平方可積函數(shù) [8]。 BP 神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)路概述 Rumelhart 和 與 1986 年提出了多層網(wǎng)絡(luò)的誤差反向傳播算法（ Error BackPropagation Training），即 BP 算法，系統(tǒng)解決了多層網(wǎng)絡(luò)中隱含單元的連接權(quán)問題，預(yù)示著 BP 網(wǎng)絡(luò)的出現(xiàn) [9]。 BP 神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，它不僅具有人工神經(jīng)網(wǎng)絡(luò)的特點，而且有自己的 BP 算法。 BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖 26 所示， u 、 y 為網(wǎng)絡(luò)的輸入、輸出向量，每一個神經(jīng)元用一個節(jié)點表示，網(wǎng)絡(luò)有輸入層、隱含層和輸出層節(jié)點組成。隱含層可以是一層，也可以是多層（圖示為單隱含層），前層至后層節(jié)點通過權(quán)連接 。 ijku......輸 入 層隱 含 層 輸 出 層 圖 26 多層前饋網(wǎng)絡(luò)結(jié)構(gòu) BP 學(xué)習(xí)算法的計算公式及流程圖 設(shè) BP 神經(jīng)網(wǎng)絡(luò)為三層網(wǎng)絡(luò)，輸入神經(jīng)元以 i 編號，隱含層神經(jīng)元以 j 編號，輸出層神經(jīng)元以 k 編號，計算公式如下： 隱含層第 j 個神經(jīng)元的輸入為： ??i iijj ow （ 26） 第 j 個神經(jīng)元的輸出為： 江蘇科技大學(xué) 本科畢業(yè)設(shè)計（論文） 9 )( jj go ? （ 27） 輸出層第 k 個神經(jīng)元的輸入為： ??j jkjk ow （ 28） 相應(yīng)的輸出為： )( kk go ? （ 29） 式中， g —— s 函數(shù)，有： )(1 1)( ????? xexg （ 210） 式中， ? —— 閥值或偏置值 , 0?? ，則使 S 曲線沿橫坐標(biāo)左移，反之則右移。 因此，各神經(jīng)元的輸出應(yīng)為 )))(e xp(1/(1ji ijij owo ?? ???? （ 211） )))(e xp(1/(1 ki jjik owko ?? ???? （ 212） BP 網(wǎng)絡(luò)學(xué)習(xí)中的誤差反向傳播過程是通過使一個目標(biāo)函數(shù) (實際輸出與希望輸出之間的誤差平方和 )最小化完成的，可以利用梯度下降法導(dǎo)出計算公式 [10]。 學(xué)習(xí)過程中，設(shè)第 k 個輸出神經(jīng)元的希望輸出為 pkt ，而網(wǎng)絡(luò)輸出為 pko ，則系統(tǒng)平均誤差為： ?? ??k pkpkp otpE2)(21 （ 213）略去下標(biāo) p ，式（ 213）可寫成 ? ??k kk otE2)(21 （ 214） 式中， E —— 目標(biāo)函數(shù)。 示意圖如圖 27 所示，梯度下降學(xué)習(xí)算法總是在尋找坡度最大的地段向下滑行，當(dāng)它處于 D 位置時，沿最大坡度路線下降，到達局部最小點而 G 停止滑行。如果它是從 A點開始向下滑行，則最終到達全局最小點 B[11]。 江蘇科技大學(xué) 本科畢業(yè)設(shè)計（論文） 10 圖 27 BP 網(wǎng)絡(luò)梯度下降學(xué)習(xí)算法 BP 學(xué)習(xí)算法流程總結(jié)如下圖 ： 開 始連 接 權(quán) 值 及 閥 值 初 始 化將 學(xué) 習(xí) 模 式 對 提 供 給 網(wǎng) 絡(luò)計 算 隱 含 層 各 個 單 元 的 凈 輸入 和 輸 出計 算 輸 出 層 各 個 單 元 的 凈 輸入 和 輸 出計 算 輸 出 層 各 個 單 元 的 一 般化 誤 差計 算 隱 含 層 各 個 單 元 的 一 般化 誤 差調(diào) 整 隱 含 層 至 輸 出 層 之 間 的 連 接 權(quán) 值 及 輸出 層 各 個 單 元 的 閥 值調(diào) 整 輸 入 層 至 隱 含 層 之 間 的 連 接 權(quán) 值 及 隱含 層 各 個 單 元 的 閥 值更 新 學(xué) 習(xí) 模 式 對全 部 學(xué) 習(xí) 模 式 訓(xùn) 練 完 畢更 新 學(xué) 習(xí) 次 數(shù)誤 差 小 于 限 定 最 大 誤 差 要 求或 學(xué) 習(xí) 次 數(shù) 大 于 最 大 值學(xué) 習(xí) 結(jié) 束 NYNY 圖 28 BP 學(xué)習(xí)算法流程圖 BP 網(wǎng)絡(luò)的學(xué)習(xí)算法的步驟歸納如下： (1)從訓(xùn)練樣本集中取某一樣本，把它的輸入信息輸入到網(wǎng)絡(luò)中； 江蘇科技大學(xué) 本科畢業(yè)設(shè)計（論文） 11 (2)由網(wǎng)絡(luò)正向計算出各節(jié)點的輸出； (3)計算網(wǎng)絡(luò)的實際輸出與期望輸出的誤差； (4)從輸出層起始反向計算到第一個隱層，按一定原則向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值； (5)對訓(xùn)練樣本集合中的每一個樣本重復(fù)以上步驟，直到對整個訓(xùn)練樣本集合的誤差達到要求為止。 如果通過網(wǎng)絡(luò)訓(xùn)練， BP 網(wǎng)絡(luò)的輸出達到目標(biāo)要求后，網(wǎng)絡(luò)各節(jié)點之間的連接權(quán)值就確定下來了，我們就可以認為 BP 網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)好了，我們就可以利用這個訓(xùn)練好的網(wǎng)絡(luò)對未知樣本進行識別預(yù)測了 [12]。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則即調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)值的規(guī)則。學(xué)習(xí)規(guī)則可以分為兩類：有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。 有監(jiān)督學(xué)習(xí)就是通過外部教師信號進行學(xué)習(xí)，即要求同時給出輸入和正確的期望輸出的模式對，當(dāng)實際輸出結(jié)果與期望輸出有誤差時，網(wǎng)絡(luò)將通過自動機制調(diào)節(jié)相應(yīng)的連接強度，使之向減少誤差的方向改變，經(jīng)過多次反復(fù)訓(xùn)練，最后與正 確的結(jié)果相符合。 無監(jiān)督學(xué)習(xí)就是不需要外部教師信號，因而不能確切知道正確的反應(yīng)是什么，學(xué)習(xí)表現(xiàn)為自適應(yīng)于輸入空間的檢測規(guī)則。其學(xué)習(xí)過程表現(xiàn)為：給系統(tǒng)提供動態(tài)輸入信號，以使各個單元以某種方式競爭，獲勝的神經(jīng)元本身或相鄰域得到增強，其他神經(jīng)元進一步抑制，從而將信號空間劃分為有用的多個區(qū)域 [13]。 常見的學(xué)習(xí)規(guī)則為： (1)無監(jiān)督 Hebb 學(xué)習(xí)規(guī)則 Hebb 學(xué)習(xí)規(guī)則是一類相關(guān)學(xué)習(xí)，它的基本思想是：如果兩個神經(jīng)元同時被激活，則它們之 間的連接強度的增強與它們激勵的乘積成正比。以 io 表示單元 i 的激活值， jo 表示單元的激活值， ijw 表示單元 i 到單元 j 的激活值，則 Hebb 學(xué)習(xí)規(guī)則可用下式表示： )()()()1( kokokwkww ijijijij ?????? （ 214） 其中， ? 為學(xué)習(xí)速率，該公式表明兩神經(jīng)元之間連接權(quán)的變化量與它們的激活值相關(guān)。 (2)有監(jiān)督的 Delta 學(xué)習(xí)規(guī)則 在 Hebb 學(xué)習(xí)規(guī)則中，引入教師信號，將式 (214)中的 jo 換成目標(biāo)輸出 jd 與實際輸出 jo 之差，就組成了有監(jiān)督的 Delta 學(xué)習(xí)規(guī)則： 江蘇科技大學(xué) 本科畢業(yè)設(shè)計（論文） 12 )())()(()()1( kokokdkwkww ijjijijij ?????? ? (215) 即兩神經(jīng)元間連接強度的變化量與教師信號 )(kdj 和網(wǎng)絡(luò)實際輸出信號 )(koj 之差成正比。 (3)有監(jiān)督的 Hebb 學(xué)習(xí)規(guī)則 將無監(jiān)督的 Hebb 學(xué)習(xí)和有監(jiān)督的 Delta 學(xué)習(xí)兩者結(jié)合起來就可組成有監(jiān)督的 Hebb學(xué)習(xí)規(guī)則，即： )()())()(()()1( kokokokdkwkww jijjijijij ?????? ? （ 216） 采用 Hebb 學(xué)習(xí)和有監(jiān)督的 Delta 學(xué)習(xí)相結(jié)合的學(xué)習(xí)策略，使神經(jīng)元通過關(guān)聯(lián)搜索對未知的外界作出反應(yīng)，即在教師信號 ))()( kokd jj ? 的指導(dǎo)下，對環(huán)境信號進行相關(guān)學(xué)習(xí)和自組織，使相應(yīng)的輸出增強或削弱。 BP 網(wǎng)絡(luò)的學(xué)習(xí)過程由正向和反向傳 播兩部分構(gòu)成。正向傳播過程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元結(jié)構(gòu)，如果輸出層不能得到期 望輸出，即期望輸出與實際輸出之間存在誤差時，就轉(zhuǎn)向反向傳播 。反向傳播過程 將誤差信號沿著原 來路徑返回，通過不斷修正各層神經(jīng)元 權(quán)值，逐次地向輸入層傳播進行計算，修改之后的權(quán)值再經(jīng)