【文章內(nèi)容簡(jiǎn)介】 元只與前一層神經(jīng)元相連，最上一層為輸出層，最下一層為輸入層。輸入層和中間層也稱(chēng)為隱層。隱層的層數(shù)可以是一層或多層，前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用十分廣泛，感知器、線(xiàn)性網(wǎng)絡(luò)、 BP 網(wǎng)絡(luò)都屬于這種類(lèi)型。 感知器 美國(guó)學(xué)者 Rosenblatt 于 1957 年提出一種用于模式分類(lèi)的神經(jīng)網(wǎng)絡(luò)模型，稱(chēng)為感知器，它是一個(gè)單層神經(jīng)網(wǎng)絡(luò)，神經(jīng)元模型為閥值模型。與 MP 模型不同之處在于其聯(lián)結(jié)權(quán)值可變，因此它具有學(xué)習(xí)功能。 感知器信息處理的 規(guī)則為： ?? ??ni ii θxtWfty 1 ))(()( 式中 )(ty 為 t 時(shí)刻的輸出， ix 為輸入向量的一個(gè)分量， )(tWi 為 t 時(shí)刻第 i 個(gè)輸入的權(quán)重， θ 為閥值， )(?f 為階躍函數(shù)。感知器 的學(xué)習(xí)規(guī)則如下： iii xtydtWtW ))(()()1( ???? ? () 其中 ?為學(xué)習(xí)率（ 0?1）， d 為期望輸出（又稱(chēng)教師信號(hào)）， )(ty 是實(shí)際輸出。 感知器的工作原理及學(xué)習(xí)規(guī)則可參見(jiàn)圖 。 修正權(quán)值 2x … ? f _ + dd 1x nx 誤差 ? 圖 感知器 12 感知器只有一層神經(jīng)元，這是由感知器學(xué)習(xí)規(guī)則所決定的，因?yàn)楦兄鲗W(xué)習(xí)規(guī)則只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)。感知器神經(jīng)網(wǎng)絡(luò)這種結(jié)構(gòu)上的局限性也在一定程度上限制了其應(yīng)用范圍。 線(xiàn)性神 經(jīng)網(wǎng)絡(luò) 線(xiàn)性神經(jīng)網(wǎng)絡(luò)是最簡(jiǎn)單的一種神經(jīng)網(wǎng)絡(luò)，它由一個(gè)或多個(gè)線(xiàn)性神經(jīng)元構(gòu)成。 1960年由 和 提出的自適應(yīng)線(xiàn)性單元網(wǎng)絡(luò)是線(xiàn)性神經(jīng)網(wǎng)絡(luò)最早的典型代表。線(xiàn)性神經(jīng)網(wǎng)絡(luò)采用線(xiàn)性函數(shù)作為傳遞函數(shù)，因此其輸出可取任意值。線(xiàn)性神經(jīng)網(wǎng)絡(luò)可以采用 WidrowHoff 學(xué)習(xí)規(guī)則 來(lái)調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閥值，其收斂速度和精度都有較大的改進(jìn)。該模型的結(jié)構(gòu)如圖 所示： 和感知器神經(jīng)網(wǎng)絡(luò)一樣，線(xiàn)性神經(jīng)網(wǎng)絡(luò)只能反映輸入和輸出樣本矢量間的線(xiàn)性映射關(guān)系，它也只能解決線(xiàn)性可分問(wèn)題。線(xiàn)性神經(jīng)網(wǎng)絡(luò)在函數(shù)擬合、信號(hào)過(guò)濾、預(yù)測(cè)和控制方面都有著廣泛的應(yīng)用。 BP 控制方法 BP 算法的基本思想是，學(xué)習(xí)過(guò)程由信號(hào)的正 向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本 從輸入層 傳入，經(jīng)各層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出（ 教師信號(hào)）不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差 某種形式 ， 通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)沒(méi)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù) [12]。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 基 于 BP 算法的多層前饋網(wǎng)絡(luò)模型 利用 BP 算法的多層前饋網(wǎng)絡(luò)是至今為止應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)。在多層前饋網(wǎng)? 2p 1p ? np b a 圖 線(xiàn)性神經(jīng)元模型 13 絡(luò)的應(yīng)用中，已圖 所示的單隱層網(wǎng)絡(luò)的應(yīng)用最為普遍。一般習(xí)慣將單隱層前饋網(wǎng)絡(luò)稱(chēng)為三層前饋網(wǎng)或三層感知器，所謂三層包括了輸入層、隱層和輸出層。三層前饋網(wǎng)中，輸入向量 Tni xxxxX ),,( 21 ??? 為 ,如加入 10 ??x ,可為隱層神經(jīng)元引入閥值；隱層輸出向量 Tmj yyyyY ),,( 21 ??? , 如加入 10 ??y ,可為輸出層神經(jīng)元引入閥值；輸出 層 輸 出 向 量 為 Tlk ooooO ),,( 21 ??? 。 期望輸出向量為T(mén)lk ddddd ),,( 21 ??? 。 輸 入 層 到 隱 層 之 間 的 權(quán) 值 矩 陣 用 V 表示，Tni VVVVV ),,( 21 ??? ,其中列向量 jV 為隱層第 j 個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用 W 表示， Tni WWWWW ),,( 21 ??? ,其中列向量 kW 為 輸出層第 k 個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量。下面分析各層信號(hào)之間的數(shù)學(xué)關(guān)系。 對(duì)于輸出層，有 )( kk fo ? lk ,2,1 ?? ????????? ???? （ ） ??? mj jjkk yw 0 lk ,2,1 ?? ????????? ???? （ ） 對(duì)于隱層，有 )( jj fy ? mk ,2,1 ?? ????????? ???? （ ） ??? mj iijj xv 0 mk ,2,1 ?? ?????? ???? ??? ?? ???? （ ） 以上兩式中，轉(zhuǎn)移函數(shù) )(xf 均為單極 Sigmoid 函數(shù) xexf ???1 1)(?????? ??? ????? ??????? ???? （ ） )(xf 具有連續(xù)、可導(dǎo)的特點(diǎn)，且有 ? ? ? ? ? ? x1 x2 xi xi+1 i 層 k 層 j 層 1yy1 2yy1 _ + 訓(xùn)練信號(hào) td 調(diào)整權(quán)值 誤差 輸入層（ n 個(gè)） 隱層（ p 個(gè)） 輸出層（ q 個(gè)） 圖 BP 網(wǎng)絡(luò)結(jié)構(gòu)及反向?qū)W 習(xí) 14 )](1)[()( xfxfxf ??? ????????? ?????? ?? ???? （ ） 根據(jù)應(yīng)用需要，也可以采用雙極性 Sigmoid（或稱(chēng)雙曲線(xiàn)正切函數(shù)） xxeexf ????? 11)(?????? ???? ???????? ? ?? ???? （ ） 式（ ） ~ 式（ ）共同構(gòu)成了三層前饋網(wǎng)的數(shù)學(xué)模型。 BP 學(xué)習(xí)算法 下 面以三層前饋網(wǎng)為例介紹 BP 學(xué)習(xí)算法，然后將所得結(jié)論推廣到一般多層前饋網(wǎng)的情況。 網(wǎng)絡(luò)誤差與權(quán)值調(diào)整 : 當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時(shí)，存在輸出誤差 E，定義如下 212 )(21)(21 klk k ododE ???? ????????? ???? （ ） 將以上誤差定義式展開(kāi)至隱層，有 20121 )]([21)]([21 ?????? ????mj jjklk kklk k ywfdn e tfdE??? （ ） 進(jìn)一步展開(kāi)至輸入層，有 20 01201]})([{21]})([{21? ????? ????????mjniiijjklkkmjjjklkkxvfwfdfwfdE?????? ??? （ ） 由上式可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值 jkw 、 ijv ，的函數(shù)，因此調(diào)整權(quán)值可改變誤差 E。 顯然，調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使權(quán)值調(diào)整量與誤差的負(fù)梯度成正比，即 jkjk wEw ????? ? mj ,2,1,0 ?? lk ,2,1 ?? ?????? ???? （ ） ijij vEv ????? ? ni ,2,1,0 ?? mj ,2,1 ?? ????? ???? （ ） 式 中負(fù)號(hào)表示梯度下降，常數(shù) )1,0(?? 表示比例系數(shù)，在訓(xùn)練中反映了學(xué)習(xí)速率?？梢钥闯?BP 算法屬于 ? 學(xué)習(xí)規(guī)則類(lèi)，這類(lèi)算法通常被稱(chēng)為誤差的梯度下降算法。 15 標(biāo)準(zhǔn) BP 算法的改進(jìn) 將 BP 算法用于具有非線(xiàn)形轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)，可以以任意精度逼近任何非線(xiàn)形函數(shù)，這一非凡優(yōu)勢(shì)使多層前饋網(wǎng)絡(luò)得到越來(lái)越廣泛的應(yīng)用。然而標(biāo)準(zhǔn)的 BP 算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： (1)易形成局部極小而得不 到全局最優(yōu)； (2)訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； (3)隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； (4)訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)； 針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中 3 種較常用的方法。 （ 1） 增加動(dòng)量項(xiàng) 一些學(xué)者于 1986 年提出，標(biāo)準(zhǔn) BP 算法在調(diào)整權(quán)值時(shí)，只按時(shí)刻誤差的梯度降方向調(diào)整，而沒(méi)有考慮 t 時(shí)刻以前的梯度方向，從而使訓(xùn)練過(guò)程發(fā)生振蕩，收斂緩慢。為了提高網(wǎng)絡(luò)的訓(xùn)練速度，可以在權(quán)值調(diào)整公式中增加一動(dòng)量項(xiàng)若用 w 代表某層權(quán)矩陣， X 代表某層輸入向量，則含有動(dòng)量項(xiàng)的權(quán)值調(diào)整向量表達(dá)式為 )1()( ????? tWXtW ??? ????????? ???? （ ） 可以看出，增加動(dòng)量項(xiàng)即從前一次權(quán)值調(diào)整量中取出一部分疊加到本次權(quán)值調(diào)整量中， ? 稱(chēng)為動(dòng)量系數(shù)，一般有 )1,0(?? 。動(dòng)量項(xiàng)反映了以前積累的調(diào)整經(jīng)驗(yàn)，對(duì)于 t 時(shí)刻的調(diào)整阻尼 作用。當(dāng)誤差曲面出現(xiàn)驟然起伏時(shí)，可減小振蕩趨勢(shì)，提高訓(xùn)練速度。目前， BP 算法中都增加了動(dòng)量項(xiàng)，以至于有動(dòng)量項(xiàng) BP 算法成為一種新的標(biāo)準(zhǔn)算法 [13]。 （ 2） 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 學(xué)習(xí)率 ? 也稱(chēng)為步長(zhǎng)，在標(biāo)準(zhǔn) BP 算法中定為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一個(gè)從始至終都合適的最佳學(xué)習(xí)率。從誤差曲面可以看出，在平坦區(qū)域內(nèi) ? 太小會(huì)使訓(xùn)練次數(shù)增加，因而希望增大 ? 值；而在誤差變化劇烈的區(qū)域， ? 太大會(huì)因調(diào)整量過(guò)大而跨過(guò)較窄的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代此時(shí)增加。為了加速收斂過(guò)程，一個(gè)較好的思路是自適應(yīng)調(diào)節(jié)學(xué)習(xí)率，使其該大時(shí)增大，該小時(shí)減小。 （ 4） 引入陡度因子 前面的分析指出，誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進(jìn)入平坦區(qū)的原因是神經(jīng)元進(jìn)入了轉(zhuǎn)移函數(shù)的飽和區(qū)。如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，是其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實(shí)現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)引入一個(gè)陡因子 16 ?/1 1eo ??? 圖 壓縮后的轉(zhuǎn)移函數(shù)曲線(xiàn) 當(dāng)發(fā)現(xiàn) E? 接近零而 od? 仍較大時(shí)，可判斷已進(jìn)入平坦區(qū)，此時(shí)令 1?? ；當(dāng)退出平坦區(qū)后，再令 1?? 。從圖 可以看出，當(dāng) 1?? 時(shí)， 坐標(biāo)壓縮了 ? 倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線(xiàn)的敏感區(qū)段變長(zhǎng)，從而可使絕對(duì)值較大的 退出飽和值。當(dāng)1?? 時(shí)轉(zhuǎn)移函數(shù)恢復(fù)原狀，對(duì)較小的 具有較高的靈敏度。應(yīng)用結(jié)果表明該方法對(duì)于提高 BP 算法的收斂速度十分有效。 基于 BP 算法的多層前饋網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ) （ 1） 網(wǎng)絡(luò)信息容量與訓(xùn)練樣本數(shù) 多層 前饋網(wǎng)絡(luò)的分類(lèi)能力與網(wǎng)絡(luò)信息容量相關(guān)。如用網(wǎng)絡(luò)的權(quán)值和閥值總數(shù) 表征網(wǎng)絡(luò)信息容量與訓(xùn)練誤差之間應(yīng)滿(mǎn)足如下匹配關(guān)系 ?wnP? ????????????????????? ??? （ ） 上式表明網(wǎng)絡(luò)的信息容量與訓(xùn)練樣本之間存在著合理匹配關(guān)系。在解決實(shí)際問(wèn)題時(shí)，訓(xùn)練樣本常常難以滿(mǎn)足以上要求。對(duì)于確定的樣本數(shù)，網(wǎng)絡(luò)參數(shù)太少則不足以表達(dá)樣本中蘊(yùn)涵的全部規(guī)律，而網(wǎng)絡(luò)參數(shù)太多則由于樣本信息太少而得不到充分訓(xùn)練。因此，當(dāng)實(shí)際問(wèn)題不能提供較多的訓(xùn)練樣本時(shí)，必需設(shè)法減少樣本維數(shù)， 從而降低。 （ 2） 訓(xùn)練樣本集的準(zhǔn)備 訓(xùn)練數(shù)據(jù)的準(zhǔn)備工作是網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的基礎(chǔ)，數(shù)據(jù)選擇的科學(xué)性以及數(shù)據(jù)表示的合理性對(duì)于網(wǎng)絡(luò)設(shè)計(jì)具有極為重要的影響。數(shù)據(jù)準(zhǔn)備工作包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇和數(shù)據(jù)預(yù)處理等諸多步驟，下面分幾個(gè)方面介紹有關(guān)的知識(shí)。 （ 3） 輸入輸出的選擇 一個(gè)待建模系統(tǒng)的輸入輸出就是神經(jīng)網(wǎng)絡(luò)的輸入輸出變量。這些變量可能是事先確定的，也可能不夠明確，需要進(jìn)行一番篩選。一般來(lái)講，輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，其選擇確定相對(duì)容易一些。輸入量必須選擇那些對(duì)輸出影響大且能檢測(cè)或提取o 0 1 1?? 1?? 21 17 的變量，此外還 要求各輸入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條基本原則。如果對(duì)某個(gè)變量是否適合作網(wǎng)絡(luò)輸入沒(méi)有把握，可分別訓(xùn)練含有和不含有該輸入的兩個(gè)網(wǎng)絡(luò)，對(duì)其效果進(jìn)行對(duì)比 [14]。 （ 4） 輸入量的提取與表示 在很多情況下，神經(jīng)網(wǎng)絡(luò)的輸入量無(wú)法直接獲得，常常需要用信號(hào)處理與特征提取技術(shù)從原始數(shù)據(jù)中提取能反映其特征的若干特征參數(shù)作為網(wǎng)絡(luò)的輸入。提取的方法與解決的問(wèn)題密切相關(guān)，下面僅討論幾種典型的情況。 ① 文字符號(hào)輸入 在各類(lèi)字符識(shí)別的應(yīng)用中，均以字符為輸入的原始對(duì)象。 BP 網(wǎng)絡(luò)的輸入層不能直接接受字符輸入，必須先 對(duì)其進(jìn)行編碼，變成網(wǎng)絡(luò)可以