【正文】 象進(jìn)行識別時(shí)，很少直接將每個(gè)像素點(diǎn)的灰度值作為網(wǎng)絡(luò)的輸入。 ③ 函數(shù)自變量輸入 用多層前饋網(wǎng)見建立系統(tǒng)的數(shù)學(xué)模型屬于典型的非線形映射問題。 ② 曲線輸入 多層前饋網(wǎng)在模式識別類應(yīng)用中常被用來識別各種設(shè)備輸出的波形曲線，對于這類輸入模式，常用的表示方法是提取波形在個(gè)區(qū)間分界點(diǎn)的值，以其作為網(wǎng)絡(luò)輸入向量的分量值。 ① 文字符號輸入 在各類字符識別的應(yīng)用中，均以字符為輸入的原始對象。 （ 4） 輸入量的提取與表示 在很多情況下，神經(jīng)網(wǎng)絡(luò)的輸入量無法直接獲得，常常需要用信號處理與特征提取技術(shù)從原始數(shù)據(jù)中提取能反映其特征的若干特征參數(shù)作為網(wǎng)絡(luò)的輸入。輸入量必須選擇那些對輸出影響大且能檢測或提取o 0 1 1?? 1?? 21 17 的變量，此外還 要求各輸入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條基本原則。這些變量可能是事先確定的，也可能不夠明確，需要進(jìn)行一番篩選。數(shù)據(jù)準(zhǔn)備工作包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇和數(shù)據(jù)預(yù)處理等諸多步驟，下面分幾個(gè)方面介紹有關(guān)的知識。因此，當(dāng)實(shí)際問題不能提供較多的訓(xùn)練樣本時(shí)，必需設(shè)法減少樣本維數(shù)， 從而降低。在解決實(shí)際問題時(shí)，訓(xùn)練樣本常常難以滿足以上要求。 基于 BP 算法的多層前饋網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ) （ 1） 網(wǎng)絡(luò)信息容量與訓(xùn)練樣本數(shù) 多層 前饋網(wǎng)絡(luò)的分類能力與網(wǎng)絡(luò)信息容量相關(guān)。當(dāng)1?? 時(shí)轉(zhuǎn)移函數(shù)恢復(fù)原狀，對較小的 具有較高的靈敏度。實(shí)現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)引入一個(gè)陡因子 16 ?/1 1eo ??? 圖 壓縮后的轉(zhuǎn)移函數(shù)曲線 當(dāng)發(fā)現(xiàn) E? 接近零而 od? 仍較大時(shí)，可判斷已進(jìn)入平坦區(qū)，此時(shí)令 1?? ；當(dāng)退出平坦區(qū)后，再令 1?? 。權(quán)值調(diào)整進(jìn)入平坦區(qū)的原因是神經(jīng)元進(jìn)入了轉(zhuǎn)移函數(shù)的飽和區(qū)。為了加速收斂過程，一個(gè)較好的思路是自適應(yīng)調(diào)節(jié)學(xué)習(xí)率，使其該大時(shí)增大，該小時(shí)減小。 （ 2） 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 學(xué)習(xí)率 ? 也稱為步長，在標(biāo)準(zhǔn) BP 算法中定為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一個(gè)從始至終都合適的最佳學(xué)習(xí)率。當(dāng)誤差曲面出現(xiàn)驟然起伏時(shí)，可減小振蕩趨勢，提高訓(xùn)練速度。為了提高網(wǎng)絡(luò)的訓(xùn)練速度，可以在權(quán)值調(diào)整公式中增加一動量項(xiàng)若用 w 代表某層權(quán)矩陣， X 代表某層輸入向量，則含有動量項(xiàng)的權(quán)值調(diào)整向量表達(dá)式為 )1()( ????? tWXtW ??? ????????? ???? （ ） 可以看出，增加動量項(xiàng)即從前一次權(quán)值調(diào)整量中取出一部分疊加到本次權(quán)值調(diào)整量中， ? 稱為動量系數(shù)，一般有 )1,0(?? 。然而標(biāo)準(zhǔn)的 BP 算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： (1)易形成局部極小而得不 到全局最優(yōu)； (2)訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； (3)隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； (4)訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢； 針對上述問題，國內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中 3 種較常用的方法?？梢钥闯?BP 算法屬于 ? 學(xué)習(xí)規(guī)則類，這類算法通常被稱為誤差的梯度下降算法。 網(wǎng)絡(luò)誤差與權(quán)值調(diào)整 : 當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時(shí)，存在輸出誤差 E，定義如下 212 )(21)(21 klk k ododE ???? ????????? ???? （ ） 將以上誤差定義式展開至隱層，有 20121 )]([21)]([21 ?????? ????mj jjklk kklk k ywfdn e tfdE??? （ ） 進(jìn)一步展開至輸入層，有 20 01201]})([{21]})([{21? ????? ????????mjniiijjklkkmjjjklkkxvfwfdfwfdE?????? ??? （ ） 由上式可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值 jkw 、 ijv ，的函數(shù)，因此調(diào)整權(quán)值可改變誤差 E。 對于輸出層，有 )( kk fo ? lk ,2,1 ?? ????????? ???? （ ） ??? mj jjkk yw 0 lk ,2,1 ?? ????????? ???? （ ） 對于隱層，有 )( jj fy ? mk ,2,1 ?? ????????? ???? （ ） ??? mj iijj xv 0 mk ,2,1 ?? ?????? ???? ??? ?? ???? （ ） 以上兩式中，轉(zhuǎn)移函數(shù) )(xf 均為單極 Sigmoid 函數(shù) xexf ???1 1)(?????? ??? ????? ??????? ???? （ ） )(xf 具有連續(xù)、可導(dǎo)的特點(diǎn)，且有 ? ? ? ? ? ? x1 x2 xi xi+1 i 層 k 層 j 層 1yy1 2yy1 _ + 訓(xùn)練信號 td 調(diào)整權(quán)值 誤差 輸入層（ n 個(gè)） 隱層（ p 個(gè)） 輸出層（ q 個(gè)） 圖 BP 網(wǎng)絡(luò)結(jié)構(gòu)及反向?qū)W 習(xí) 14 )](1)[()( xfxfxf ??? ????????? ?????? ?? ???? （ ） 根據(jù)應(yīng)用需要，也可以采用雙極性 Sigmoid（或稱雙曲線正切函數(shù)） xxeexf ????? 11)(?????? ???? ???????? ? ?? ???? （ ） 式（ ） ~ 式（ ）共同構(gòu)成了三層前饋網(wǎng)的數(shù)學(xué)模型。 輸 入 層 到 隱 層 之 間 的 權(quán) 值 矩 陣 用 V 表示，Tni VVVVV ),( 21 ??? ,其中列向量 jV 為隱層第 j 個(gè)神經(jīng)元對應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用 W 表示， Tni WWWWW ),( 21 ??? ,其中列向量 kW 為 輸出層第 k 個(gè)神經(jīng)元對應(yīng)的權(quán)向量。三層前饋網(wǎng)中，輸入向量 Tni xxxxX ),( 21 ??? 為 ,如加入 10 ??x ,可為隱層神經(jīng)元引入閥值；隱層輸出向量 Tmj yyyyY ),( 21 ??? , 如加入 10 ??y ,可為輸出層神經(jīng)元引入閥值；輸出 層 輸 出 向 量 為 Tlk ooooO ),( 21 ??? 。在多層前饋網(wǎng)? 2p 1p ? np b a 圖 線性神經(jīng)元模型 13 絡(luò)的應(yīng)用中，已圖 所示的單隱層網(wǎng)絡(luò)的應(yīng)用最為普遍。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復(fù)始地進(jìn)行的。若輸出層的實(shí)際輸出與期望的輸出（ 教師信號）不符，則轉(zhuǎn)入誤差的反向傳播階段。 BP 控制方法 BP 算法的基本思想是，學(xué)習(xí)過程由信號的正 向傳播與誤差的反向傳播兩個(gè)過程組成。該模型的結(jié)構(gòu)如圖 所示： 和感知器神經(jīng)網(wǎng)絡(luò)一樣，線性神經(jīng)網(wǎng)絡(luò)只能反映輸入和輸出樣本矢量間的線性映射關(guān)系，它也只能解決線性可分問題。線性神經(jīng)網(wǎng)絡(luò)采用線性函數(shù)作為傳遞函數(shù)，因此其輸出可取任意值。 線性神 經(jīng)網(wǎng)絡(luò) 線性神經(jīng)網(wǎng)絡(luò)是最簡單的一種神經(jīng)網(wǎng)絡(luò)，它由一個(gè)或多個(gè)線性神經(jīng)元構(gòu)成。 修正權(quán)值 2x … ? f _ + dd 1x nx 誤差 ? 圖 感知器 12 感知器只有一層神經(jīng)元，這是由感知器學(xué)習(xí)規(guī)則所決定的，因?yàn)楦兄鲗W(xué)習(xí)規(guī)則只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)。感知器 的學(xué)習(xí)規(guī)則如下： iii xtydtWtW ))(()()1( ???? ? () 其中 ?為學(xué)習(xí)率（ 0?1）， d 為期望輸出（又稱教師信號）， )(ty 是實(shí)際輸出。與 MP 模型不同之處在于其聯(lián)結(jié)權(quán)值可變，因此它具有學(xué)習(xí)功能。隱層的層數(shù)可以是一層或多層，前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用十分廣泛，感知器、線性網(wǎng)絡(luò)、 BP 網(wǎng)絡(luò)都屬于這種類型。 前向神經(jīng)網(wǎng)絡(luò) 前向神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層神經(jīng)元相連，最上一層為輸出層，最下一層為輸入層。如果環(huán)境是非平穩(wěn)的（統(tǒng)計(jì)特征隨時(shí)間變化），通常的監(jiān)督學(xué)習(xí)沒有能力跟蹤這種變化，為解決此問題，需要網(wǎng)絡(luò) 有一定的自適應(yīng)能力，此時(shí)對每一不同輸入都作為一個(gè)新的例子對待。 在競爭中，與輸入單元間聯(lián)結(jié)權(quán)值變化最大的為優(yōu)勝者，優(yōu)勝者的聯(lián)結(jié)權(quán)值按式（ ） 改變，而失敗的單元，其 ijW? 為零。在不同性的聯(lián)結(jié)機(jī)制中引入競爭。調(diào)整的原則是：當(dāng) ?ijp ?ijp 時(shí)增加權(quán)值，否則減小權(quán)值。 不同狀態(tài)時(shí)實(shí)現(xiàn)聯(lián)結(jié)的概率來調(diào)整其間的權(quán)值： )( ?? ?? ijijij ppW ? 。 從上述簡化過程可知，在選用簡化的 G 函數(shù)時(shí)，我們實(shí)際上令 )(tay jj ? ，也就是用了線性可分函數(shù)。根據(jù)這個(gè)規(guī)則可以設(shè)計(jì)一個(gè)算法，即通過反復(fù)迭代運(yùn)算， 直至求出最佳的 ijW 值，使 ? 達(dá)到最小。 在 式（ ） 中，如將教師示教信號 )(ttj 作為期望輸出 jd ，而把 )(taj 理解為實(shí)際輸出jy ，則該式變?yōu)椋? )()() tytyydW iijjij ??? ????? ??????????????? ???? （ ） 式中 jj yd??? 為期望輸出與實(shí)際輸出的差值。 函數(shù) H 仍與神經(jīng)元 ui 的輸出 )(tyi 成正比： )()),(( 2 tyWtyH iiji ?? ????? ?????????????? ???? （ ） 式中 2? 為正數(shù)。 上式表明，對一個(gè)神經(jīng)元 ju 而言，若該神經(jīng)元有較大的活性度或有較大的輸入（即)(tai iu )(taj ju )(tyj 教師示教信號 )(ttj )(tyj ijW 圖 Hebb學(xué)習(xí)規(guī)則 10 )(tyi ）時(shí)，他們之間的聯(lián)結(jié)權(quán)值會變大。在人工神經(jīng)網(wǎng)絡(luò)中，每一次學(xué)習(xí)，意味著一次權(quán)值 ijW 的調(diào)整，因此權(quán)值變化 Δ ijW 可以用下列函數(shù)式表示： ]),([)](),([ ijijjij WtyHtttaGW ??? ???????? ???? （ ） 采用不同的函數(shù) G 和 H，就有不同的學(xué)習(xí)規(guī)則。 對于神經(jīng)元 ju 而言，其輸入（即 iu 的輸出） )(tyj 可以理解為學(xué)習(xí)的內(nèi)容，連接權(quán)值ijW 可以理解為學(xué)習(xí)的基礎(chǔ)， )(ttj 是教師的指導(dǎo)內(nèi)容， ju 的活性度 )(taj 可以理解為學(xué)習(xí)的“積極性”。 圖 表示了兩個(gè)相連的神經(jīng)元之間的信號聯(lián)系 ，從神經(jīng)元 ui 到神經(jīng)元 uj 之間的聯(lián)結(jié)權(quán)值為 ijW ； uj 與 ui 被“激活”的程度 )(taj 、 )(tai 稱為活性度； uj 與 ui 的輸出分別為 jy與 iy ；教師的示教信號為 )(ttj 。常用的學(xué)習(xí)規(guī)則有以下幾種： （ 1）聯(lián)想式學(xué)習(xí) —— Hebb 規(guī)則 心理學(xué)家 Hebb 在 1949 年提出突觸聯(lián)系的神經(jīng)群體理論，他指出，突觸前后兩個(gè)同時(shí)興奮（即活性度高，或稱處于激發(fā)狀態(tài)）的神經(jīng)元之間的連接強(qiáng)度（權(quán)值）將增強(qiáng)，雖然他本人沒有給出數(shù)學(xué)表達(dá)式，但后來許多研究者用不同的數(shù)學(xué)公式來表示這一基本思想。 (3)強(qiáng)化學(xué)習(xí) 如圖 (c)所示，該方式介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價(jià)信息，學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受到好的評價(jià)的動作來改善自身的性能。 學(xué)習(xí)方式 神經(jīng)網(wǎng)絡(luò)性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的，學(xué)習(xí)方式按環(huán)境提供信息量的多少分為三種： (1)無教師學(xué)習(xí) 如圖 (a)所示，無教師學(xué)習(xí)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)，以表示外部輸入的某些固有特性。 若按神經(jīng)網(wǎng)絡(luò)的功能分類，目前常用的有如下分類： … … … … … … … … … 圖 (a) 圖 (b) 圖 (c) 神經(jīng)網(wǎng)絡(luò)分類 雙值輸入 有教師 Hamming 網(wǎng)絡(luò) Hopfield 網(wǎng)絡(luò) 連續(xù)輸入 無教師 —— Kohonen 網(wǎng)絡(luò) 有教師 單層感知器 無教師 —— Grossterg 網(wǎng)絡(luò)， Carpenter 網(wǎng)絡(luò) 8