【導讀】及任何帶有重復性、變化性數(shù)據(jù)的文件。網(wǎng)絡的訓練、識別。本文的重點在于BP神經網(wǎng)絡。隱含層節(jié)點的確定。本文給出了多種方法，本文運用了根值的方法。字母識別時，只在先把許多不同的圖像樣板和對應。定的權值這樣網(wǎng)絡通過自學習功能，慢慢學會識別類似的圖像。用人工神經網(wǎng)絡的反饋網(wǎng)絡在字母識別時可以實現(xiàn)這種聯(lián)想。字母識別時尋找一個復雜問題的優(yōu)化解，往往需要。統(tǒng)，發(fā)揮計算機的高速運算能力，可能很快找到優(yōu)化解。展識別技術更加成熟，各種難題都將會得到解決。

　　

【正文】 態(tài)系統(tǒng)。單個神經元的結構和功能比較簡單，但是大量神經元之間相互組合而產生的系統(tǒng)卻相當復雜。 人工神經網(wǎng)絡反映出來的許多特性與人的大腦功能功能非常的相似，這并不是生物系統(tǒng)的逼真描述，只能算是是某種簡化、抽象模仿。數(shù)相對于數(shù)字計算機來說，人工神經網(wǎng)更接近與人腦的功能，它不像計算機一樣按編輯好的程序一步一步來執(zhí)行運算操作，相對 于這種死板的運算人工神經網(wǎng)絡能夠自身總結規(guī)律、適應環(huán)境完通過自身學習完成某種運算、識別或過程控制。在生物學當中神經元和其他的細胞一樣，有細胞膜、細胞質、細胞核構成。但是對于神經細胞的來說比較特殊，具有許 多的個性突起，所以把神經元細胞為細胞體、樹突、軸突三個部分（如 圖 ）。突起的作用就是用其來傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起。 圖 神經元 每個神經元的突觸數(shù)目正常，最高可達 10 個。各神經元之間的連接強度和極性有所不同，并且都可調整、基于這一特性，人腦具有存儲信息 的功能。利用大量神經元相互聯(lián)接組成人工神經網(wǎng)絡可顯示出人的大腦的某些特征。下面通過人工神經網(wǎng)絡與通用的計算機工作特點來對比一下： 濟南大學泉城學院畢業(yè)論文 20 若從速度的角度出發(fā)，人腦神經元之間傳遞信息的速度要遠低于計算機，前者為毫秒量級，而后者的頻率往往可達幾百兆赫。但是，由于人腦是一個大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高于串行結構的普通計算機。人工神經網(wǎng)絡的基本結構模仿人腦，具有并行處理特征，可以大大提高工作速度。人工神經網(wǎng)絡具有初步自適應的能力。在學習或訓練過程中不斷的改變權重 值來適應環(huán)境的要求。同一網(wǎng)絡學習方式及內容不同可具有不同的功能因此人工神經網(wǎng)絡是一個具有學習能力的系統(tǒng)。 神經網(wǎng)絡的模型圖 BP 網(wǎng)絡模型包括輸出模型、輸入模型、誤差計算模型、作用函數(shù)模型和自學習模型 [7]。 （ 1）各節(jié)點輸出模型： 隱含層節(jié)點輸出模型： )(? ??? ?jjijj xwo f （ ） 輸出節(jié)點輸出模型： )(? ??? ?jjijk oty f （ ） f 為非線形作用的函數(shù)； θ 神經單元閾值。 （ 2）作用函數(shù)模型： 作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為 (0,1)內連續(xù)取值 Sigmoid 函數(shù)： )1(1)(f e xx ??? （ ） （ 3）誤差計算模型 誤差計算模型是反映神經網(wǎng)絡期望輸出與計算輸出之間誤差大小的一個函數(shù) ： ? ??? 2p )(21 otE pipi ； （ ） tpi為節(jié)點的期望輸出值； Opi為節(jié)點計算輸出值。 （ 4）自學習模型 神經網(wǎng)絡的自學習過程，即連接下層和上層節(jié)點之間的權值 Wij的設定和誤差縮小過程。 BP 網(wǎng)絡有師學習方式需要設定期望值和無師學習方式只需輸入模式之分。自學習模型為： )()1( nan wwijiij ????? ?? （ ） 濟南大學泉城學院畢業(yè)論文 21 h 為學習因子； Фi為輸出節(jié)點 i 的計算誤差； Oj為輸出節(jié)點 j 的計算輸出； a為動量因子 知道了 BP神經網(wǎng)絡的各結構模型我們進一步建立本文所用到的 BP神經網(wǎng)絡的拓撲結構， 如 圖 所示。 BP神經網(wǎng)絡由三層節(jié)點集合組成：輸入層、輸出層、隱含層。每一層節(jié)點的輸出結果送到下一層節(jié)點。各個輸出值由于其連接權值的不同而被放大或縮小。 輸入層 隱含層 輸出 層 圖 神經網(wǎng)絡拓撲結構 BP 神經網(wǎng)絡的工作原理 人工神經網(wǎng)絡的實質就是模擬人思維的一種方式。這是一非線性系統(tǒng)，其優(yōu)點是信息分布式存儲和并行協(xié)同處理。雖然單個神經元的結構非常的簡單，并且功能有限，但是很多神經元構成的網(wǎng)絡系統(tǒng)所能夠實現(xiàn)的具體操作卻是豐富多彩的。人工神經網(wǎng)絡必須要以一定的學習準則來進行學習，然后才能運用于實踐?，F(xiàn)以人工神經網(wǎng)絡對手寫英文字母 “A”、 “B”兩個字母的識別為例進行說明，規(guī)定當 “A”輸入網(wǎng)絡時，其輸出層輸出 “0”，而當輸入為 “B”時，輸 出層輸出為 “1”。 網(wǎng)絡學習的基本準則：如果網(wǎng)絡作出了一個錯誤的的判決，則通過 BP 神經網(wǎng)絡的自學習能力，使得 BP 神經網(wǎng)絡減少下次識別時犯同樣錯誤的可能性。第一，給網(wǎng)絡的各連接權值賦予 (0， 1)之間內的一個隨機值，將 “A”所對應的圖象模式，其實質是一系列的值，輸入給網(wǎng)絡的輸入層， BP 網(wǎng)絡把輸入值進行加權求和與門限值比較然后進行非線性的運算，得到神經網(wǎng)絡的輸出值。這樣網(wǎng)絡輸濟南大學泉城學院畢業(yè)論文 22 出值為 “1”和 “0”的概率都為 。此時如果輸出值為 “0”(正確 )，則權值就會增大，以便使網(wǎng)絡再次遇到 “A”這個字符的模式輸入時，仍然能作 出正確的判斷。如果輸出為 “1”(結果錯誤 )，則把網(wǎng)絡的權值朝著減小綜合輸入加權值的方向進行調整，其目是使網(wǎng)絡下次再遇到 “A”的模式輸入時，減小犯錯誤的可能性。進行如此操作調整，當給網(wǎng)絡大量輸入手寫字母 “A”、 “B”后，通過網(wǎng)絡自學習能力，網(wǎng)絡判斷的正確率將會大大提高。這說明網(wǎng)絡對這兩個模式的學習是成功的自學習后 BP 神經網(wǎng)絡自身已將這兩個模式分布地記憶在網(wǎng)絡的各個連接權值上。當網(wǎng)絡再次遇到其中任何一個 A 或 B 模式時，能夠作出迅速、準確的判斷進行識別 [22]。 一般情況下，網(wǎng)絡中所含的神經元的個數(shù)與其能記憶、識別 的模式是成正比的。但是神經元的個數(shù)也不可以太多否則影響其是別的速度過多的神經元也容易出錯，所以神經元也不可以太多。 如圖 所示拓撲結構的單隱層（隱含層只有一層）前饋網(wǎng)絡，通常稱為三層前向反饋神經網(wǎng)絡，即：輸入層、中間層、隱含層及輸出層。其特點是：上層神經元只與下一層神經元間相互全連接，同一層內的神經元無連接，構成了具有層次結構的前向反饋型的神經網(wǎng)絡系統(tǒng)。單層的前饋神經網(wǎng)絡只能夠解覺線性可分問題，能夠解決非線性問題的 BP 神經網(wǎng)絡必須是具有隱含層（一層或多層）的多層網(wǎng)絡。 BP 神經網(wǎng)絡模型處理圖像的基本原 理是：輸入信號 Xi通過隱含層節(jié)點作用于輸出節(jié)點，經過 f 非線形變換，產生輸出信號 Yk，網(wǎng)絡訓練的每個樣本包括輸入向量 X 和期望輸出量 t，網(wǎng)絡輸出值 Y 與期望輸出值 t 之間的偏差，通過調整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值 Wij和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度 Tjk以及閾值，使誤差沿梯度方向下降，經過反復學習訓練，確定與最小誤差相對應的網(wǎng)絡參數(shù)（權值和閾值），訓練即告停止。此時經過訓練的神經網(wǎng)絡對類似樣本的輸入信息，自行處理輸出誤差最小的經過非線形轉換的信息。 [9][32] 神經網(wǎng)絡的各層節(jié)點數(shù) 輸入 層和輸出層 神經網(wǎng)絡的輸入層實質就是一個緩沖存貯器，它的職責就是把提取的特征數(shù)據(jù)加到神經網(wǎng)絡中。確定輸入層的節(jié)點數(shù)就不需要確定數(shù)據(jù)源的維數(shù)這是因為輸入層的節(jié)點數(shù)就是就是輸入數(shù)據(jù)的個數(shù)。輸入的這些數(shù)據(jù)可以是連續(xù)的也可以是離散的甚至可以是二進制數(shù) 0、 1，輸入節(jié)點與輸入數(shù)據(jù)是等價的。所以要想確定輸入層節(jié)點的個數(shù)就必須確定要輸入的有效數(shù)據(jù)的個數(shù)。本文提到必須確定有效數(shù)據(jù)這時因為數(shù)據(jù)源中有很多的沒有經過處理甚至是虛假的數(shù)據(jù)，那就會對網(wǎng)絡的識別正確率造成影響，要防止這種數(shù)據(jù)進入輸入層，確定輸入數(shù)據(jù)的合適數(shù)濟南大學泉城學院畢業(yè)論文 23 目分為以下 4 步 ： （ 1）確定能夠反應字符特征的所有數(shù)據(jù)； （ 2）消除不可靠或邊緣的數(shù)據(jù)源； （ 3）選擇可以代表字符共同特征（或實際應用）數(shù)據(jù)源； （ 4）刪除那些只在理論上可以但不實用的數(shù)據(jù)源； 輸入數(shù)據(jù)的維數(shù)是根據(jù)要解決的具體問題而確定的。在本系統(tǒng)中輸入層的節(jié)點數(shù)就是提取的特征向量的個數(shù)。 網(wǎng)絡的輸出層節(jié)點數(shù)一般就是所識別事物的類別數(shù)，比如說簽名識別結果只有兩種真或假，所以輸出層節(jié)點數(shù)就有兩個。本文是對 26 個英文字母進行識別所以確定輸出層的節(jié)點數(shù)就是 26 個。本文的設計思想是希望 26 個輸出節(jié)點對應位置上的輸出是 1，而其他位 置上的輸出為 0，一次對應著 AZ26 個英文字母，輸入特征的影響或是訓練次數(shù)較低以及訓練過程中的噪聲影響可能會導致輸出結果不是 1 或 0 而出現(xiàn)其他的值，入 、 、 、 等一系列的值不符合設計的要求 為了使網(wǎng)絡具有一定的適應環(huán)境的能力將其輸出結果用網(wǎng)絡函數(shù) 處理，相當于曾加一個閥值比如說是 ，則大于 輸出為 1，小于 輸出為0。保證輸出結果的可靠性，指定位置輸出為 1 其余位置為 0，我們期望的輸出形式見附錄。 隱含層節(jié)點數(shù)的優(yōu)化確定 隱含層的節(jié)點數(shù)的確定目前為止在世界 上還沒有一個固定的算法。如果隱含層節(jié)點數(shù)過少的話，可能導致網(wǎng)絡不能進行訓練或導致網(wǎng)絡性能變差；如果隱層節(jié)點數(shù)過多，雖然能夠使的神經網(wǎng)絡的整體系統(tǒng)誤差降低，但它不僅延長了神經網(wǎng)絡訓練時間，且容易在訓練過程中陷入局部極小值點而無法得到最優(yōu)點， 甚至不能收斂，網(wǎng)絡的容錯能力差， 往往使得其反，這也是訓練時網(wǎng)絡出現(xiàn)“過擬合的原因。因此在網(wǎng)絡隱含層神經元數(shù)目的選擇時我們遵循這樣的原則：在能夠有效地解決所提出的問題的基礎上，隱含層的節(jié)點數(shù)再加上 l 到 2 個來加快誤差的下降速度加快訓練過程。 （ 1）增長方法 在開始的時候構造一 個小規(guī)模的神經網(wǎng)絡結構，在訓練的時候，結合具體實際問題，針對網(wǎng)絡性能要求的提高逐步來增加隱含層的節(jié)點數(shù)，直到滿足所要求的誤差。例如， Mezard 的 Tiling 算法、 Fahlman 的 CC(CascadeCorrelation)算法都是增長方法的原理。 （ 2） 進化方法 該方法結合了生物進化的原理稱為遺傳算法 (GAGeic Algorithm)，具有全局搜索的能力，對 BP 神經網(wǎng)絡結構的優(yōu)化和調整有著顯著的作用。 濟南大學泉城學院畢業(yè)論文 24 （ 3） 修剪方法 首先構造一個具有冗余節(jié)點的多層次的網(wǎng)絡結構，然后在訓練中逐步刪除不必要的節(jié)點 或權值。常用的方法有：復雜性調整方法、靈敏度計算方法、互相作用的修剪方法、增益方法。 （ 4） 自適應方法 這一方法來之于生物神經元的各種狀態(tài)變化會導致人腦空間思維方式的變化這一原理，經過網(wǎng)絡的自適應學習來生成解決提出問題的適宜的神經網(wǎng)絡結構，該方法在網(wǎng)絡隱含層節(jié)點數(shù)的確定過程中綜結合了增長方法和修剪方法這兩種方法。 在此基礎上本文有提出了一種隱含層節(jié)點的解決方法：利用逐步回歸分析法結合參數(shù)的顯著性檢驗來刪除部分線形相關的隱含層節(jié)點，節(jié)點刪除的標準是：當上一層節(jié)點指向的下一層節(jié)點的所有權值均落在了死區(qū) （通常取 177。、 177。等區(qū)間）中時，則該節(jié)點可刪除。最佳隱節(jié)點數(shù) L 可參考下面的公式計算： L ??? m 。 （ ） m：輸入節(jié)點數(shù)； n：輸出節(jié)點數(shù)； c：介于 1～ 10 的常數(shù)。 隱含層節(jié)點的選擇不僅僅是一種方法來決定，我們可以結合多種方法進行選擇，在通過 BP 神經網(wǎng)絡的訓練來最終確定隱含層的節(jié)點 [25]。 本文采用了式（ ） 來確 定隱含層的節(jié)點數(shù)為 40（其中 c取 7） ,并加以訓練結果識別率達到期望的結果 ， 因此最終確定為 40. 各層節(jié)點確定之后就確定了本文采用的 BP 神經網(wǎng)絡結構，如 圖 所示： 濟南大學泉城學院畢業(yè)論文 25 圖 BP神經網(wǎng)絡結構圖 BP 神經網(wǎng)絡的參數(shù)設計和訓練過程 [17] BP 神經網(wǎng)絡的參數(shù)設置直接影響到最后的識別結果決定著網(wǎng)絡設計的好壞，有著重要的意思。下面是一些參數(shù)的設計： 每迭代 50 步顯示一次訓練結果 ． trainParam． show=5 0： 學習速率決定著每一 次循環(huán)訓練中所產生的權值的變化量地大小。學習速率太大會導致系統(tǒng)不穩(wěn)定，學習速率太小將導致訓練時間延長使的收斂很慢，但是可以保證網(wǎng)絡的誤差值跳不出誤差范圍，使的訓練結果趨于最小誤差值。所以本文選取了較小的學習速率來保證系統(tǒng)的正確識別率，學習速率的選取范圍一般在O． 01 到 之間 [28]。 本文在選取學習速率是，一般要選取幾個不同的學習速率進行訓練，通過觀察訓練后的均方誤差值的下降速率來來決定學習速率的大小。如果均方誤差值的下降速率較快，則說明學習速率選取的還是比較合。適的，若訓練過程中的均方誤差出現(xiàn)平坦化 甚至說是震蕩現(xiàn)象，則說明學習速率選的比較大。經過訓練本文選取的學習速率是 . 學習速率為 0． 003 像素百分比 粗網(wǎng)格 特征 矩陣變換 筆畫密度 外輪廓 特征 重心 特征 . .. . . . . . . X1 X2 Xn W12 W21 W1n Y1 Yn 輸入層 隱含層 輸出層 濟