【導(dǎo)讀】及任何帶有重復(fù)性、變化性數(shù)據(jù)的文件。網(wǎng)絡(luò)的訓(xùn)練、識別。本文的重點在于BP神經(jīng)網(wǎng)絡(luò)。隱含層節(jié)點的確定。本文給出了多種方法，本文運用了根值的方法。字母識別時，只在先把許多不同的圖像樣板和對應(yīng)。定的權(quán)值這樣網(wǎng)絡(luò)通過自學(xué)習(xí)功能，慢慢學(xué)會識別類似的圖像。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)在字母識別時可以實現(xiàn)這種聯(lián)想。字母識別時尋找一個復(fù)雜問題的優(yōu)化解，往往需要。統(tǒng)，發(fā)揮計算機的高速運算能力，可能很快找到優(yōu)化解。展識別技術(shù)更加成熟，各種難題都將會得到解決。

　　

【正文】 線性動態(tài)系統(tǒng)。單個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但是大量神經(jīng)元之間相互組合而產(chǎn)生的系統(tǒng)卻相當(dāng)復(fù)雜。 人工神經(jīng)網(wǎng)絡(luò)反映出來的許多特性與人的大腦功能功能非常的相似，這并不是生物系統(tǒng)的逼真描述，只能算是是某種簡化、抽象模仿。數(shù)相對于數(shù)字計算機來說，人工神經(jīng)網(wǎng)更接近與人腦的功能，它不像計算機一樣按編輯好的程序一步一步來執(zhí)行運算操作，相對 于這種死板的運算人工神經(jīng)網(wǎng)絡(luò)能夠自身總結(jié)規(guī)律、適應(yīng)環(huán)境完通過自身學(xué)習(xí)完成某種運算、識別或過程控制。在生物學(xué)當(dāng)中神經(jīng)元和其他的細胞一樣，有細胞膜、細胞質(zhì)、細胞核構(gòu)成。但是對于神經(jīng)細胞的來說比較特殊，具有許 多的個性突起，所以把神經(jīng)元細胞為細胞體、樹突、軸突三個部分（如 圖 ）。突起的作用就是用其來傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起。 圖 神經(jīng)元 每個神經(jīng)元的突觸數(shù)目正常，最高可達 10 個。各神經(jīng)元之間的連接強度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲信息 的功能。利用大量神經(jīng)元相互聯(lián)接組成人工神經(jīng)網(wǎng)絡(luò)可顯示出人的大腦的某些特征。下面通過人工神經(jīng)網(wǎng)絡(luò)與通用的計算機工作特點來對比一下： 濟南大學(xué)泉城學(xué)院畢業(yè)論文 20 若從速度的角度出發(fā)，人腦神經(jīng)元之間傳遞信息的速度要遠低于計算機，前者為毫秒量級，而后者的頻率往往可達幾百兆赫。但是，由于人腦是一個大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高于串行結(jié)構(gòu)的普通計算機。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理特征，可以大大提高工作速度。人工神經(jīng)網(wǎng)絡(luò)具有初步自適應(yīng)的能力。在學(xué)習(xí)或訓(xùn)練過程中不斷的改變權(quán)重 值來適應(yīng)環(huán)境的要求。同一網(wǎng)絡(luò)學(xué)習(xí)方式及內(nèi)容不同可具有不同的功能因此人工神經(jīng)網(wǎng)絡(luò)是一個具有學(xué)習(xí)能力的系統(tǒng)。 神經(jīng)網(wǎng)絡(luò)的模型圖 BP 網(wǎng)絡(luò)模型包括輸出模型、輸入模型、誤差計算模型、作用函數(shù)模型和自學(xué)習(xí)模型 [7]。 （ 1）各節(jié)點輸出模型： 隱含層節(jié)點輸出模型： )(? ??? ?jjijj xwo f （ ） 輸出節(jié)點輸出模型： )(? ??? ?jjijk oty f （ ） f 為非線形作用的函數(shù)； θ 神經(jīng)單元閾值。 （ 2）作用函數(shù)模型： 作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為 (0,1)內(nèi)連續(xù)取值 Sigmoid 函數(shù)： )1(1)(f e xx ??? （ ） （ 3）誤差計算模型 誤差計算模型是反映神經(jīng)網(wǎng)絡(luò)期望輸出與計算輸出之間誤差大小的一個函數(shù) ： ? ??? 2p )(21 otE pipi ； （ ） tpi為節(jié)點的期望輸出值； Opi為節(jié)點計算輸出值。 （ 4）自學(xué)習(xí)模型 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)過程，即連接下層和上層節(jié)點之間的權(quán)值 Wij的設(shè)定和誤差縮小過程。 BP 網(wǎng)絡(luò)有師學(xué)習(xí)方式需要設(shè)定期望值和無師學(xué)習(xí)方式只需輸入模式之分。自學(xué)習(xí)模型為： )()1( nan wwijiij ????? ?? （ ） 濟南大學(xué)泉城學(xué)院畢業(yè)論文 21 h 為學(xué)習(xí)因子； Фi為輸出節(jié)點 i 的計算誤差； Oj為輸出節(jié)點 j 的計算輸出； a為動量因子 知道了 BP神經(jīng)網(wǎng)絡(luò)的各結(jié)構(gòu)模型我們進一步建立本文所用到的 BP神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)， 如 圖 所示。 BP 神經(jīng)網(wǎng)絡(luò)由三層節(jié)點集合組成：輸入層、輸出層、隱含層。每一層節(jié)點的輸出結(jié)果送到下一層節(jié)點。各個輸出值由于其連接權(quán)值的不同而被放大或縮小。 輸入層 隱含層 輸出 層 圖 神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu) BP 神經(jīng)網(wǎng)絡(luò)的工作原理 人工神經(jīng)網(wǎng)絡(luò)的實質(zhì)就是模擬人思維的一種方式。這是一非線性系統(tǒng)，其優(yōu)點是信息分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)非常的簡單，并且功能有限，但是很多神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能夠?qū)崿F(xiàn)的具體操作卻是豐富多彩的。人工神經(jīng)網(wǎng)絡(luò)必須要以一定的學(xué)習(xí)準則來進行學(xué)習(xí)，然后才能運用于實踐。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對手寫英文字母 “A”、 “B”兩個字母的識別為例進行說明，規(guī)定當(dāng) “A”輸入網(wǎng)絡(luò)時，其輸出層輸出 “0”，而當(dāng)輸入為 “B”時，輸 出層輸出為 “1”。 網(wǎng)絡(luò)學(xué)習(xí)的基本準則：如果網(wǎng)絡(luò)作出了一個錯誤的的判決，則通過 BP 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力，使得 BP 神經(jīng)網(wǎng)絡(luò)減少下次識別時犯同樣錯誤的可能性。第一，給網(wǎng)絡(luò)的各連接權(quán)值賦予 (0， 1)之間內(nèi)的一個隨機值，將 “A”所對應(yīng)的圖象模式，其實質(zhì)是一系列的值，輸入給網(wǎng)絡(luò)的輸入層， BP 網(wǎng)絡(luò)把輸入值進行加權(quán)求和與門限值比較然后進行非線性的運算，得到神經(jīng)網(wǎng)絡(luò)的輸出值。這樣網(wǎng)絡(luò)輸濟南大學(xué)泉城學(xué)院畢業(yè)論文 22 出值為 “1”和 “0”的概率都為 。此時如果輸出值為 “0”(正確 )，則權(quán)值就會增大，以便使網(wǎng)絡(luò)再次遇到 “A”這個字符的模式輸入時，仍然能作 出正確的判斷。如果輸出為 “1”(結(jié)果錯誤 )，則把網(wǎng)絡(luò)的權(quán)值朝著減小綜合輸入加權(quán)值的方向進行調(diào)整，其目是使網(wǎng)絡(luò)下次再遇到 “A”的模式輸入時，減小犯錯誤的可能性。進行如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)大量輸入手寫字母 “A”、 “B”后，通過網(wǎng)絡(luò)自學(xué)習(xí)能力，網(wǎng)絡(luò)判斷的正確率將會大大提高。這說明網(wǎng)絡(luò)對這兩個模式的學(xué)習(xí)是成功的自學(xué)習(xí)后 BP 神經(jīng)網(wǎng)絡(luò)自身已將這兩個模式分布地記憶在網(wǎng)絡(luò)的各個連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個 A 或 B 模式時，能夠作出迅速、準確的判斷進行識別 [22]。 一般情況下，網(wǎng)絡(luò)中所含的神經(jīng)元的個數(shù)與其能記憶、識別 的模式是成正比的。但是神經(jīng)元的個數(shù)也不可以太多否則影響其是別的速度過多的神經(jīng)元也容易出錯，所以神經(jīng)元也不可以太多。 如圖 所示拓撲結(jié)構(gòu)的單隱層（隱含層只有一層）前饋網(wǎng)絡(luò)，通常稱為三層前向反饋神經(jīng)網(wǎng)絡(luò)，即：輸入層、中間層、隱含層及輸出層。其特點是：上層神經(jīng)元只與下一層神經(jīng)元間相互全連接，同一層內(nèi)的神經(jīng)元無連接，構(gòu)成了具有層次結(jié)構(gòu)的前向反饋型的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。單層的前饋神經(jīng)網(wǎng)絡(luò)只能夠解覺線性可分問題，能夠解決非線性問題的 BP 神經(jīng)網(wǎng)絡(luò)必須是具有隱含層（一層或多層）的多層網(wǎng)絡(luò)。 BP 神經(jīng)網(wǎng)絡(luò)模型處理圖像的基本原 理是：輸入信號 Xi通過隱含層節(jié)點作用于輸出節(jié)點，經(jīng)過 f 非線形變換，產(chǎn)生輸出信號 Yk，網(wǎng)絡(luò)訓(xùn)練的每個樣本包括輸入向量 X 和期望輸出量 t，網(wǎng)絡(luò)輸出值 Y 與期望輸出值 t 之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值 Wij和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度 Tjk以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)（權(quán)值和閾值），訓(xùn)練即告停止。此時經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。 [9][32] 神經(jīng)網(wǎng)絡(luò)的各層節(jié)點數(shù) 輸入 層和輸出層 神經(jīng)網(wǎng)絡(luò)的輸入層實質(zhì)就是一個緩沖存貯器，它的職責(zé)就是把提取的特征數(shù)據(jù)加到神經(jīng)網(wǎng)絡(luò)中。確定輸入層的節(jié)點數(shù)就不需要確定數(shù)據(jù)源的維數(shù)這是因為輸入層的節(jié)點數(shù)就是就是輸入數(shù)據(jù)的個數(shù)。輸入的這些數(shù)據(jù)可以是連續(xù)的也可以是離散的甚至可以是二進制數(shù) 0、 1，輸入節(jié)點與輸入數(shù)據(jù)是等價的。所以要想確定輸入層節(jié)點的個數(shù)就必須確定要輸入的有效數(shù)據(jù)的個數(shù)。本文提到必須確定有效數(shù)據(jù)這時因為數(shù)據(jù)源中有很多的沒有經(jīng)過處理甚至是虛假的數(shù)據(jù)，那就會對網(wǎng)絡(luò)的識別正確率造成影響，要防止這種數(shù)據(jù)進入輸入層，確定輸入數(shù)據(jù)的合適數(shù)濟南大學(xué)泉城學(xué)院畢業(yè)論文 23 目分為以下 4 步 ： （ 1）確定能夠反應(yīng)字符特征的所有數(shù)據(jù)； （ 2）消除不可靠或邊緣的數(shù)據(jù)源； （ 3）選擇可以代表字符共同特征（或?qū)嶋H應(yīng)用）數(shù)據(jù)源； （ 4）刪除那些只在理論上可以但不實用的數(shù)據(jù)源； 輸入數(shù)據(jù)的維數(shù)是根據(jù)要解決的具體問題而確定的。在本系統(tǒng)中輸入層的節(jié)點數(shù)就是提取的特征向量的個數(shù)。 網(wǎng)絡(luò)的輸出層節(jié)點數(shù)一般就是所識別事物的類別數(shù)，比如說簽名識別結(jié)果只有兩種真或假，所以輸出層節(jié)點數(shù)就有兩個。本文是對 26 個英文字母進行識別所以確定輸出層的節(jié)點數(shù)就是 26 個。本文的設(shè)計思想是希望 26 個輸出節(jié)點對應(yīng)位置上的輸出是 1，而其他位 置上的輸出為 0，一次對應(yīng)著 AZ26 個英文字母，輸入特征的影響或是訓(xùn)練次數(shù)較低以及訓(xùn)練過程中的噪聲影響可能會導(dǎo)致輸出結(jié)果不是 1 或 0 而出現(xiàn)其他的值，入 、 、 、 等一系列的值不符合設(shè)計的要求 為了使網(wǎng)絡(luò)具有一定的適應(yīng)環(huán)境的能力將其輸出結(jié)果用網(wǎng)絡(luò)函數(shù) 處理，相當(dāng)于曾加一個閥值比如說是 ，則大于 輸出為 1，小于 輸出為0。保證輸出結(jié)果的可靠性，指定位置輸出為 1 其余位置為 0，我們期望的輸出形式見附錄。 隱含層節(jié)點數(shù)的優(yōu)化確定 隱含層的節(jié)點數(shù)的確定目前為止在世界 上還沒有一個固定的算法。如果隱含層節(jié)點數(shù)過少的話，可能導(dǎo)致網(wǎng)絡(luò)不能進行訓(xùn)練或?qū)е戮W(wǎng)絡(luò)性能變差；如果隱層節(jié)點數(shù)過多，雖然能夠使的神經(jīng)網(wǎng)絡(luò)的整體系統(tǒng)誤差降低，但它不僅延長了神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間，且容易在訓(xùn)練過程中陷入局部極小值點而無法得到最優(yōu)點， 甚至不能收斂，網(wǎng)絡(luò)的容錯能力差， 往往使得其反，這也是訓(xùn)練時網(wǎng)絡(luò)出現(xiàn)“過擬合的原因。因此在網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)目的選擇時我們遵循這樣的原則：在能夠有效地解決所提出的問題的基礎(chǔ)上，隱含層的節(jié)點數(shù)再加上 l 到 2 個來加快誤差的下降速度加快訓(xùn)練過程。 （ 1）增長方法 在開始的時候構(gòu)造一 個小規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在訓(xùn)練的時候，結(jié)合具體實際問題，針對網(wǎng)絡(luò)性能要求的提高逐步來增加隱含層的節(jié)點數(shù)，直到滿足所要求的誤差。例如， Mezard 的 Tiling 算法、 Fahlman 的 CC(CascadeCorrelation)算法都是增長方法的原理。 （ 2） 進化方法 該方法結(jié)合了生物進化的原理稱為遺傳算法 (GAGeic Algorithm)，具有全局搜索的能力，對 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化和調(diào)整有著顯著的作用。 濟南大學(xué)泉城學(xué)院畢業(yè)論文 24 （ 3） 修剪方法 首先構(gòu)造一個具有冗余節(jié)點的多層次的網(wǎng)絡(luò)結(jié)構(gòu)，然后在訓(xùn)練中逐步刪除不必要的節(jié)點 或權(quán)值。常用的方法有：復(fù)雜性調(diào)整方法、靈敏度計算方法、互相作用的修剪方法、增益方法。 （ 4） 自適應(yīng)方法 這一方法來之于生物神經(jīng)元的各種狀態(tài)變化會導(dǎo)致人腦空間思維方式的變化這一原理，經(jīng)過網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)來生成解決提出問題的適宜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該方法在網(wǎng)絡(luò)隱含層節(jié)點數(shù)的確定過程中綜結(jié)合了增長方法和修剪方法這兩種方法。 在此基礎(chǔ)上本文有提出了一種隱含層節(jié)點的解決方法：利用逐步回歸分析法結(jié)合參數(shù)的顯著性檢驗來刪除部分線形相關(guān)的隱含層節(jié)點，節(jié)點刪除的標準是：當(dāng)上一層節(jié)點指向的下一層節(jié)點的所有權(quán)值均落在了死區(qū) （通常取 177。、 177。等區(qū)間）中時，則該節(jié)點可刪除。最佳隱節(jié)點數(shù) L 可參考下面的公式計算： L ??? m 。 （ ） m：輸入節(jié)點數(shù)； n：輸出節(jié)點數(shù)； c：介于 1～ 10 的常數(shù)。 隱含層節(jié)點的選擇不僅僅是一種方法來決定，我們可以結(jié)合多種方法進行選擇，在通過 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練來最終確定隱含層的節(jié)點 [25]。 本文采用了式（ ） 來確 定隱含層的節(jié)點數(shù)為 40（其中 c 取 7） ,并加以訓(xùn)練結(jié)果識別率達到期望的結(jié)果 ， 因此最終確定為 40. 各層節(jié)點確定之后就確定了本文采用的 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 圖 所示： 濟南大學(xué)泉城學(xué)院畢業(yè)論文 25 圖 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)計和訓(xùn)練過程 [17] BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置直接影響到最后的識別結(jié)果決定著網(wǎng)絡(luò)設(shè)計的好壞，有著重要的意思。下面是一些參數(shù)的設(shè)計： 每迭代 50 步顯示一次訓(xùn)練結(jié)果 ． trainParam． show=5 0： 學(xué)習(xí)速率決定著每一 次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值的變化量地大小。學(xué)習(xí)速率太大會導(dǎo)致系統(tǒng)不穩(wěn)定，學(xué)習(xí)速率太小將導(dǎo)致訓(xùn)練時間延長使的收斂很慢，但是可以保證網(wǎng)絡(luò)的誤差值跳不出誤差范圍，使的訓(xùn)練結(jié)果趨于最小誤差值。所以本文選取了較小的學(xué)習(xí)速率來保證系統(tǒng)的正確識別率，學(xué)習(xí)速率的選取范圍一般在O． 01 到 之間 [28]。 本文在選取學(xué)習(xí)速率是，一般要選取幾個不同的學(xué)習(xí)速率進行訓(xùn)練，通過觀察訓(xùn)練后的均方誤差值的下降速率來來決定學(xué)習(xí)速率的大小。如果均方誤差值的下降速率較快，則說明學(xué)習(xí)速率選取的還是比較合。適的，若訓(xùn)練過程中的均方誤差出現(xiàn)平坦化 甚至說是震蕩現(xiàn)象，則說明學(xué)習(xí)速率選的比較大。經(jīng)過訓(xùn)練本文選取的學(xué)習(xí)速率是 . 學(xué)習(xí)速率為 0． 003 像素百分比 粗網(wǎng)格 特征 矩陣變換 筆畫密度 外輪廓 特征 重心 特征 . .. . . . . . . X1 X2 Xn W12 W21 W1n Y1 Yn 輸入層 隱含層 輸出層