【文章內(nèi)容簡介】 元只與前一層神經(jīng)元相連，最上一層為輸出層，最下一層為輸入層。輸入層和中間層也稱為隱層。隱層的層數(shù)可以是一層或多層，前向網(wǎng)絡在神經(jīng)網(wǎng)絡中應用十分廣泛，感知器、線性網(wǎng)絡、 BP 網(wǎng)絡都屬于這種類型。 感知器 美國學者 Rosenblatt 于 1957 年提出一種用于模式分類的神經(jīng)網(wǎng)絡模型，稱為感知器，它是一個單層神經(jīng)網(wǎng)絡，神經(jīng)元模型為閥值模型。與 MP 模型不同之處在于其聯(lián)結權值可變，因此它具有學習功能。 感知器信息處理的 規(guī)則為： ?? ??ni ii θxtWfty 1 ))(()( 式中 )(ty 為 t 時刻的輸出， ix 為輸入向量的一個分量， )(tWi 為 t 時刻第 i 個輸入的權重， θ 為閥值， )(?f 為階躍函數(shù)。感知器 的學習規(guī)則如下： iii xtydtWtW ))(()()1( ???? ? () 其中 ?為學習率（ 0?1）， d 為期望輸出（又稱教師信號）， )(ty 是實際輸出。 感知器的工作原理及學習規(guī)則可參見圖 。 修正權值 2x … ? f _ + dd 1x nx 誤差 ? 圖 感知器 12 感知器只有一層神經(jīng)元，這是由感知器學習規(guī)則所決定的，因為感知器學習規(guī)則只能訓練單層神經(jīng)網(wǎng)絡。感知器神經(jīng)網(wǎng)絡這種結構上的局限性也在一定程度上限制了其應用范圍。 線性神 經(jīng)網(wǎng)絡 線性神經(jīng)網(wǎng)絡是最簡單的一種神經(jīng)網(wǎng)絡，它由一個或多個線性神經(jīng)元構成。 1960年由 和 提出的自適應線性單元網(wǎng)絡是線性神經(jīng)網(wǎng)絡最早的典型代表。線性神經(jīng)網(wǎng)絡采用線性函數(shù)作為傳遞函數(shù)，因此其輸出可取任意值。線性神經(jīng)網(wǎng)絡可以采用 WidrowHoff 學習規(guī)則 來調(diào)節(jié)網(wǎng)絡的權值和閥值，其收斂速度和精度都有較大的改進。該模型的結構如圖 所示： 和感知器神經(jīng)網(wǎng)絡一樣，線性神經(jīng)網(wǎng)絡只能反映輸入和輸出樣本矢量間的線性映射關系，它也只能解決線性可分問題。線性神經(jīng)網(wǎng)絡在函數(shù)擬合、信號過濾、預測和控制方面都有著廣泛的應用。 BP 控制方法 BP 算法的基本思想是，學習過程由信號的正 向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本 從輸入層 傳入，經(jīng)各層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實際輸出與期望的輸出（ 教師信號）不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差 某種形式 ， 通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號沒，此誤差信號即作為修正各單元權值的依據(jù) [12]。這種信號正向傳播與誤差反向傳播的各層權值調(diào)整過程，是周而復始地進行的。權值不斷調(diào)整的過程，也就是網(wǎng)絡的學習訓練過程。此過程一直進行到網(wǎng)絡輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數(shù)為止。 基 于 BP 算法的多層前饋網(wǎng)絡模型 利用 BP 算法的多層前饋網(wǎng)絡是至今為止應用最為廣泛的神經(jīng)網(wǎng)絡。在多層前饋網(wǎng)? 2p 1p ? np b a 圖 線性神經(jīng)元模型 13 絡的應用中，已圖 所示的單隱層網(wǎng)絡的應用最為普遍。一般習慣將單隱層前饋網(wǎng)絡稱為三層前饋網(wǎng)或三層感知器，所謂三層包括了輸入層、隱層和輸出層。三層前饋網(wǎng)中，輸入向量 Tni xxxxX ),,( 21 ??? 為 ,如加入 10 ??x ,可為隱層神經(jīng)元引入閥值；隱層輸出向量 Tmj yyyyY ),,( 21 ??? , 如加入 10 ??y ,可為輸出層神經(jīng)元引入閥值；輸出 層 輸 出 向 量 為 Tlk ooooO ),,( 21 ??? 。 期望輸出向量為Tlk ddddd ),,( 21 ??? 。 輸 入 層 到 隱 層 之 間 的 權 值 矩 陣 用 V 表示，Tni VVVVV ),,( 21 ??? ,其中列向量 jV 為隱層第 j 個神經(jīng)元對應的權向量；隱層到輸出層之間的權值矩陣用 W 表示， Tni WWWWW ),,( 21 ??? ,其中列向量 kW 為 輸出層第 k 個神經(jīng)元對應的權向量。下面分析各層信號之間的數(shù)學關系。 對于輸出層，有 )( kk fo ? lk ,2,1 ?? ????????? ???? （ ） ??? mj jjkk yw 0 lk ,2,1 ?? ????????? ???? （ ） 對于隱層，有 )( jj fy ? mk ,2,1 ?? ????????? ???? （ ） ??? mj iijj xv 0 mk ,2,1 ?? ?????? ???? ??? ?? ???? （ ） 以上兩式中，轉(zhuǎn)移函數(shù) )(xf 均為單極 Sigmoid 函數(shù) xexf ???1 1)(?????? ??? ????? ??????? ???? （ ） )(xf 具有連續(xù)、可導的特點，且有 ? ? ? ? ? ? x1 x2 xi xi+1 i 層 k 層 j 層 1yy1 2yy1 _ + 訓練信號 td 調(diào)整權值 誤差 輸入層（ n 個） 隱層（ p 個） 輸出層（ q 個） 圖 BP 網(wǎng)絡結構及反向?qū)W 習 14 )](1)[()( xfxfxf ??? ????????? ?????? ?? ???? （ ） 根據(jù)應用需要，也可以采用雙極性 Sigmoid（或稱雙曲線正切函數(shù)） xxeexf ????? 11)(?????? ???? ???????? ? ?? ???? （ ） 式（ ） ~ 式（ ）共同構成了三層前饋網(wǎng)的數(shù)學模型。 BP 學習算法 下 面以三層前饋網(wǎng)為例介紹 BP 學習算法，然后將所得結論推廣到一般多層前饋網(wǎng)的情況。 網(wǎng)絡誤差與權值調(diào)整 : 當網(wǎng)絡輸出與期望輸出不等時，存在輸出誤差 E，定義如下 212 )(21)(21 klk k ododE ???? ????????? ???? （ ） 將以上誤差定義式展開至隱層，有 20121 )]([21)]([21 ?????? ????mj jjklk kklk k ywfdn e tfdE??? （ ） 進一步展開至輸入層，有 20 01201]})([{21]})([{21? ????? ????????mjniiijjklkkmjjjklkkxvfwfdfwfdE?????? ??? （ ） 由上式可以看出，網(wǎng)絡輸入誤差是各層權值 jkw 、 ijv ，的函數(shù)，因此調(diào)整權值可改變誤差 E。 顯然，調(diào)整權值的原則是使誤差不斷地減小，因此應使權值調(diào)整量與誤差的負梯度成正比，即 jkjk wEw ????? ? mj ,2,1,0 ?? lk ,2,1 ?? ?????? ???? （ ） ijij vEv ????? ? ni ,2,1,0 ?? mj ,2,1 ?? ????? ???? （ ） 式 中負號表示梯度下降，常數(shù) )1,0(?? 表示比例系數(shù)，在訓練中反映了學習速率?？梢钥闯?BP 算法屬于 ? 學習規(guī)則類，這類算法通常被稱為誤差的梯度下降算法。 15 標準 BP 算法的改進 將 BP 算法用于具有非線形轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)，可以以任意精度逼近任何非線形函數(shù)，這一非凡優(yōu)勢使多層前饋網(wǎng)絡得到越來越廣泛的應用。然而標準的 BP 算法在應用中暴露出不少內(nèi)在的缺陷： (1)易形成局部極小而得不 到全局最優(yōu)； (2)訓練次數(shù)多使得學習效率低，收斂速度慢； (3)隱節(jié)點的選取缺乏理論指導； (4)訓練時學習新樣本有遺忘舊樣本的趨勢； 針對上述問題，國內(nèi)外已提出不少有效的改進算法，下面僅介紹其中 3 種較常用的方法。 （ 1） 增加動量項 一些學者于 1986 年提出，標準 BP 算法在調(diào)整權值時，只按時刻誤差的梯度降方向調(diào)整，而沒有考慮 t 時刻以前的梯度方向，從而使訓練過程發(fā)生振蕩，收斂緩慢。為了提高網(wǎng)絡的訓練速度，可以在權值調(diào)整公式中增加一動量項若用 w 代表某層權矩陣， X 代表某層輸入向量，則含有動量項的權值調(diào)整向量表達式為 )1()( ????? tWXtW ??? ????????? ???? （ ） 可以看出，增加動量項即從前一次權值調(diào)整量中取出一部分疊加到本次權值調(diào)整量中， ? 稱為動量系數(shù)，一般有 )1,0(?? 。動量項反映了以前積累的調(diào)整經(jīng)驗，對于 t 時刻的調(diào)整阻尼 作用。當誤差曲面出現(xiàn)驟然起伏時，可減小振蕩趨勢，提高訓練速度。目前， BP 算法中都增加了動量項，以至于有動量項 BP 算法成為一種新的標準算法 [13]。 （ 2） 自適應調(diào)節(jié)學習率 學習率 ? 也稱為步長，在標準 BP 算法中定為常數(shù)，然而在實際應用中，很難確定一個從始至終都合適的最佳學習率。從誤差曲面可以看出，在平坦區(qū)域內(nèi) ? 太小會使訓練次數(shù)增加，因而希望增大 ? 值；而在誤差變化劇烈的區(qū)域， ? 太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓練出現(xiàn)振蕩，反而使迭代此時增加。為了加速收斂過程，一個較好的思路是自適應調(diào)節(jié)學習率，使其該大時增大，該小時減小。 （ 4） 引入陡度因子 前面的分析指出，誤差曲面上存在著平坦區(qū)域。權值調(diào)整進入平坦區(qū)的原因是神經(jīng)元進入了轉(zhuǎn)移函數(shù)的飽和區(qū)。如果在調(diào)整進入平坦區(qū)后，設法壓縮神經(jīng)元的凈輸入，是其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)引入一個陡因子 16 ?/1 1eo ??? 圖 壓縮后的轉(zhuǎn)移函數(shù)曲線 當發(fā)現(xiàn) E? 接近零而 od? 仍較大時，可判斷已進入平坦區(qū)，此時令 1?? ；當退出平坦區(qū)后，再令 1?? 。從圖 可以看出，當 1?? 時， 坐標壓縮了 ? 倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線的敏感區(qū)段變長，從而可使絕對值較大的 退出飽和值。當1?? 時轉(zhuǎn)移函數(shù)恢復原狀，對較小的 具有較高的靈敏度。應用結果表明該方法對于提高 BP 算法的收斂速度十分有效。 基于 BP 算法的多層前饋網(wǎng)絡設計基礎 （ 1） 網(wǎng)絡信息容量與訓練樣本數(shù) 多層 前饋網(wǎng)絡的分類能力與網(wǎng)絡信息容量相關。如用網(wǎng)絡的權值和閥值總數(shù) 表征網(wǎng)絡信息容量與訓練誤差之間應滿足如下匹配關系 ?wnP? ????????????????????? ??? （ ） 上式表明網(wǎng)絡的信息容量與訓練樣本之間存在著合理匹配關系。在解決實際問題時，訓練樣本常常難以滿足以上要求。對于確定的樣本數(shù)，網(wǎng)絡參數(shù)太少則不足以表達樣本中蘊涵的全部規(guī)律，而網(wǎng)絡參數(shù)太多則由于樣本信息太少而得不到充分訓練。因此，當實際問題不能提供較多的訓練樣本時，必需設法減少樣本維數(shù)， 從而降低。 （ 2） 訓練樣本集的準備 訓練數(shù)據(jù)的準備工作是網(wǎng)絡設計和訓練的基礎，數(shù)據(jù)選擇的科學性以及數(shù)據(jù)表示的合理性對于網(wǎng)絡設計具有極為重要的影響。數(shù)據(jù)準備工作包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇和數(shù)據(jù)預處理等諸多步驟，下面分幾個方面介紹有關的知識。 （ 3） 輸入輸出的選擇 一個待建模系統(tǒng)的輸入輸出就是神經(jīng)網(wǎng)絡的輸入輸出變量。這些變量可能是事先確定的，也可能不夠明確，需要進行一番篩選。一般來講，輸出量代表系統(tǒng)要實現(xiàn)的功能目標，其選擇確定相對容易一些。輸入量必須選擇那些對輸出影響大且能檢測或提取o 0 1 1?? 1?? 21 17 的變量，此外還 要求各輸入變量之間互不相關或相關性很小，這是輸入量選擇的兩條基本原則。如果對某個變量是否適合作網(wǎng)絡輸入沒有把握，可分別訓練含有和不含有該輸入的兩個網(wǎng)絡，對其效果進行對比 [14]。 （ 4） 輸入量的提取與表示 在很多情況下，神經(jīng)網(wǎng)絡的輸入量無法直接獲得，常常需要用信號處理與特征提取技術從原始數(shù)據(jù)中提取能反映其特征的若干特征參數(shù)作為網(wǎng)絡的輸入。提取的方法與解決的問題密切相關，下面僅討論幾種典型的情況。 ① 文字符號輸入 在各類字符識別的應用中，均以字符為輸入的原始對象。 BP 網(wǎng)絡的輸入層不能直接接受字符輸入，必須先 對其進行編碼，變成網(wǎng)絡可以