【正文】 確率，提出了改進的 BP 新算法。算法的流程如下 :歸一化后的字符，分為完全不同的3 種類型，分別是漢字字符，阿拉伯?dāng)?shù)字，英文大寫字母。針對不同類型的字符，進行不同的特征提取，然后采用了不同類別的識別神經(jīng)網(wǎng)絡(luò)，分別用來識別漢字字符，阿拉伯?dāng)?shù)字和大寫英文字符。圖 51 汽車牌照字符識別的流程 車牌字符特征提取基于字符特征的字符識別算法一般包括以下 3 個步驟 [11]：（1）提取字符的特征，建立一個字符特征向量空間，每個字符對應(yīng)向量空間中的一個向量；（2）定義分類函數(shù)；（3）對輸入的字符圖像自動提取相應(yīng)的特征，根據(jù)分類函數(shù)進行特征匹配，識別出相應(yīng)的字符。用于字符識別的分類特征應(yīng)滿足以下要求：（1）有較強的分類能力。分類后的樣本要實現(xiàn):類內(nèi)各樣本具有較好的一致性，類間各樣本的區(qū)分度應(yīng)盡量大；（2）具有較好的魯棒性，穩(wěn)定性。車牌字符經(jīng)常會發(fā)生變形、斷裂等情況，使字符結(jié)構(gòu)等受損，應(yīng)盡量減少其影響；（3）易于提取，方便運算。特征的選取直接影響到最終的識別效率，因此好的模式特征應(yīng)具有較好的平移不變性、旋轉(zhuǎn)不變性和尺度不變性。 一般，涉及到車牌內(nèi)字符的識別，最常用的有兩大類特征，分別是:結(jié)構(gòu)特征和統(tǒng)計特征 [12]。結(jié)構(gòu)特征可以準(zhǔn)確的描述待識別漢字字符的幾何特 32 征，同時受噪聲和字符形變的影響較小，因此基于結(jié)構(gòu)的識別方法是字符識別的一種有力工具。字符的結(jié)構(gòu)特征通常包括：特征點、筆畫、線段等，字符結(jié)構(gòu)特征的提取主要有兩種方法:第一種是基于像素的字符輪廓獲取方法，這種方法沒有考慮全局信息和結(jié)構(gòu)信息，因而結(jié)果中會存在諸如毛邊和交叉點變形等問題；第二種方法是用一組線段及它們相互間的關(guān)系來描述字符并進行識別，但該方法易受邊界噪聲和交叉點的影響。字符的統(tǒng)計特征，是從原始數(shù)據(jù)中提取與分類最相關(guān)的信息，這些信息使得類內(nèi)差距最小，類間差距最大，同時這些信息對同一類字符的形變應(yīng)盡量保持不變。本文中，為了保證識別的正確率，簡化網(wǎng)絡(luò)規(guī)模，提高神經(jīng)網(wǎng)絡(luò)的處理速度，對英文大寫字母，阿拉伯?dāng)?shù)字的特征提取與對漢字字符的特征提取，采用不同的提取方法。對英文和阿拉伯?dāng)?shù)字的特征提取，采用具有統(tǒng)計性質(zhì)的，根據(jù)局部特征的，適應(yīng)性較好的 13 特征提取法，也就是直接利用每個點的像素值作為特征提取的基礎(chǔ)，從構(gòu)成該字符的像素點中，統(tǒng)計提取出 13 個特征點。為了提取出這 13 個特征點，首先把字符分 8 份，統(tǒng)計每一份內(nèi)目標(biāo)像素點的個數(shù)作為 8 個特征。如下圖所示：圖 52 字符分割然后依此規(guī)律，統(tǒng)計水平方向上的中間兩列和豎直方向上的中間兩列的目標(biāo)像素個數(shù)作為 4 個特征，即畫四條穿過該位置的線，然后，統(tǒng)計線內(nèi)所占的目標(biāo)像素的個數(shù)。最后統(tǒng)計整個字符中目標(biāo)像素的個數(shù)作為一個整體特征，最后，一共得到了關(guān)于該字符的 13 個特征。這樣，對于每一個輸入樣本，輸入節(jié)點個數(shù)為 13 個。對于漢字字符，考慮到其自有的特性，采用密度筆畫特征。它首先將歸一化后字符圖像向不同的方向進行投影，然后對文字黑像素的個數(shù)做累加運算，形成筆畫密度直方圖 [13]。 基于 BP 神經(jīng)網(wǎng)絡(luò)的字符識別 神經(jīng)網(wǎng)絡(luò)理論概述人工神經(jīng)網(wǎng)絡(luò)的研究背景最早開始于 19 世紀(jì)末，20 世紀(jì)處。它源于物理學(xué)、心理學(xué)和神經(jīng)生理學(xué)的跨學(xué)科研究。神經(jīng)網(wǎng)絡(luò)(Neural Network)是由 33 大量神經(jīng)元(處理單元) ，廣泛連接而成的網(wǎng)絡(luò)，它是在人類對其大腦工作機理認(rèn)識的基礎(chǔ)上，以人腦的組織結(jié)構(gòu)和活動規(guī)律為背景，反映了人腦的某些基本特征，可以說是對人腦的某種抽象，簡化和模仿。它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)或用計算機來模擬人的自然智能。神經(jīng)網(wǎng)絡(luò)是巨量信息并行處理和大規(guī)模平行計算的基礎(chǔ)，它既是高度非線形動力學(xué)系統(tǒng)，又是自適應(yīng)系統(tǒng)?？捎脕砻枋稣J(rèn)知決策及控制的智能行為，它具有存儲知識和應(yīng)用經(jīng)驗知識的自然特性，它與人腦相似之處可概括為如下兩個方面:一是通過學(xué)習(xí)從外部環(huán)境中獲取知識；二是內(nèi)部神經(jīng)元具有存儲知識的能力。神經(jīng)網(wǎng)絡(luò)具有高度非線性映射能力、自組織和適應(yīng)能力、記憶聯(lián)想能力。它可以在外界環(huán)境的刺激作用下調(diào)整網(wǎng)絡(luò)自由參數(shù)，并以新的方式來響應(yīng)外部環(huán)境。能夠從環(huán)境中學(xué)習(xí)并在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)最有意義的性質(zhì)。神經(jīng)網(wǎng)絡(luò)的工作方式，由兩個階段構(gòu)成：（1）學(xué)習(xí)期：神經(jīng)元之間的連接權(quán)值可由學(xué)習(xí)規(guī)則進行修改，以使目標(biāo)函數(shù)達到最??；（2）工作期：在此期間，保持連接權(quán)值不變，由網(wǎng)絡(luò)的輸入得到相應(yīng)的輸出。神經(jīng)網(wǎng)絡(luò)有不同的分類方法，但從總的方面來講，一般將神經(jīng)網(wǎng)絡(luò)分為以下四種模型 [14]：前饋網(wǎng)絡(luò)模型、反饋網(wǎng)絡(luò)模型、自組織網(wǎng)絡(luò)模型與隨機型網(wǎng)絡(luò)模型。 34 神經(jīng)網(wǎng)絡(luò)算法的描述圖 53BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP 網(wǎng)絡(luò)是一個多層前饋網(wǎng)絡(luò)(FFNForward Feedback Network)，最常用的 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖 53，由 3 層網(wǎng)絡(luò)，即輸入層，隱含層，輸出層共同組建而成，其運行機理如下：（1）初始化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，置所有的權(quán)值為隨機任意小，以一個隨機分布隨機地挑選閉值，該分布選擇為均值等于 0 的均勻分布 [15]，其方差的選擇應(yīng)該使得神經(jīng)元的輸出應(yīng)盡量在激活函數(shù)的線性部分變化；(2)確定輸入的學(xué)習(xí)訓(xùn)練集合： ，期望的輸出集合: ，輸入層到隱含層之間存在一個權(quán)值矩陣，其中的列向量 為隱含層第 i 個神經(jīng)元所對應(yīng)的權(quán)值向量：隱含層到輸出層之間存在一個權(quán)值矩陣： ， 35 其中的列向量 為輸出層第 j 個神經(jīng)元對應(yīng)的權(quán)值向量。假設(shè)：隱含jw層輸出向量記為： ,輸出層的輸出向量Tm21 }yy{，， ??Y定義為： 。Tt21oo，， ?O(3)通過前饋網(wǎng)絡(luò)，使隱藏層和輸出層的所有神經(jīng)元都采用非線性激活函數(shù)( 一般取單極性:Sigmoid 函數(shù)): ，逐級計算輸出值。輸入層xef???1)(的神經(jīng)單元不對輸入做函數(shù)變換，只起緩沖作用。各層信號之間的數(shù)學(xué)關(guān)系如下：對于隱含層，有如下公式： )(jjfy? （51）iijnij xv0??（52）對于輸出層有如下公式： )(kkfo? （53）jjkmjkyw0?? （54）(4)利用誤差反饋調(diào)整權(quán)值，用遞歸的方法從輸出節(jié)點開始返回到中間隱層，按下式進行調(diào)整權(quán)值： 36 首先計算網(wǎng)絡(luò)輸出值與期望輸出值之間的誤差 E： 21)(2)(21 kklkodODE?????? （55）將該式展開至隱含層，可得： 202212 )]([)]([ jkmjklkkl ywfdfdE??? ????（56） 將該式展開至輸入層，可得： 2ij0ijk0jk1 )]}xvf(f[{d2nmlkE??? ?? （57）由上式可看出，通過調(diào)整權(quán)值 wij，v jk，可以改變誤差 E。因此，為使誤差不斷減小，以滿足實際要求，得到如下的權(quán)值調(diào)整量：對于輸出層，有： jkkkjkjk wtwE?????????（58） 定義一個誤差信號： )(`kkkkkok oEoE f??????????（59） 又由式（1） ，得： )(kkkodoE??? （510） 37 最后，可得： jkkkjokjk yoodyw)1()(????? （511）對于隱含層，有： ijjijij vtEvEv ????????（512）定義一個誤差信號： )(`jjjjjjyj yEyE f???????（513）又由式（2） ，得： jkkkklkyE wodfj )()(`1????（514）最后可得： ijjjkolkikjij xywxv )1()(1???????（515）（5）迭代。首先判斷訓(xùn)練學(xué)習(xí)后的誤差是否達到預(yù)定要求，如果沒有達到，則返回第（2）步輸入新的樣本輸入集；如果己經(jīng)達到預(yù)定目標(biāo)或某一給定值，則學(xué)習(xí)過程結(jié)束。 即網(wǎng)絡(luò)存在的缺陷及其原因分析BP 神經(jīng)網(wǎng)絡(luò)的層數(shù)、及節(jié)點數(shù)，對整個網(wǎng)絡(luò)的收斂性，收斂時間、泛化能力都有極大的影響。因此，對于 BP 神經(jīng)網(wǎng)絡(luò)的具體應(yīng)用，網(wǎng)絡(luò)最佳結(jié)構(gòu)的確定非常關(guān)鍵。另外，網(wǎng)絡(luò)的繁簡程度對 BP 網(wǎng)絡(luò)的硬件實現(xiàn)也有很大的影響，因此，如何確定網(wǎng)絡(luò)層數(shù)和每層應(yīng)選的節(jié)點數(shù)非常重要。目前， 38 對于 BP 神經(jīng)網(wǎng)絡(luò)隱含層結(jié)構(gòu)的確定，最常用的方法是依靠經(jīng)驗來確定。而且，對于不同應(yīng)用問題其遵循的規(guī)律也不一樣，這就給 BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用及推廣帶來了很大的障礙。BP 神經(jīng)網(wǎng)絡(luò)采用 WidrowHoff 學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個典型的 BP 網(wǎng)絡(luò)采用的是梯度下降算法，也就是 WidrowHoff 算法所固定的，這種算法計算量小，易實現(xiàn)，但對于定義在多維空間上的函數(shù)，其誤差函數(shù)是多維空間的曲面，曲面本身凹凸不平，存在多個局部極小點或平坦區(qū)域，因此，使用 BP 網(wǎng)絡(luò)，在訓(xùn)練的過程中，梯度法很容易陷入某一局部最小點中，以至于使得訓(xùn)練無法進行，得到全局最優(yōu)解。BP 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練學(xué)習(xí)的后期，算法的收斂速度會相當(dāng)慢，通常會需要成百上千次迭代甚至更多。主要是有以下兩個方面的原因：(1)固定的學(xué)習(xí)率 η 和慣性因子 α因為根據(jù)上述公式，BP 神經(jīng)網(wǎng)絡(luò)本質(zhì)上是優(yōu)化計算中的梯度下降法，利用誤差對權(quán)值、閾值的一階導(dǎo)數(shù)信息來指導(dǎo)下一步的權(quán)值調(diào)節(jié)方向，以求達到最終誤差達到預(yù)設(shè)的誤差范圍，使之最?。粸榱吮ＷC算法的收斂性，學(xué)習(xí) η 必須小于某一上界。這就決定了 BP 神經(jīng)網(wǎng)絡(luò)的收斂速度不可能很快。BP 神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)率 η 和慣性因子 α 一般都是由經(jīng)驗確定，在訓(xùn)練過程中保持不變。在接近極小點時，目標(biāo)函數(shù)一般可用二次函數(shù)近似，其等勢面接近橢球面，由于梯度法相鄰兩次迭代的搜索方向是正交的，這樣，如果同心的橢球面族很扁，會導(dǎo)致迭代過程呈現(xiàn)鋸齒現(xiàn)象。如果不能求出正確的學(xué)習(xí)率，會使得收斂非常緩慢。BP 網(wǎng)絡(luò)在執(zhí)行過程中，權(quán)值和閾值每次調(diào)整的幅度，均以一個與網(wǎng)絡(luò)誤差函數(shù)或其對權(quán)值或閾值的導(dǎo)數(shù)大小成正比的項乘以固定的因子進行。這樣就出現(xiàn): 在誤差曲面較平坦處，由于這一偏導(dǎo)數(shù)值較小，以至于需要經(jīng)過多次調(diào)整才能將誤差函數(shù)曲面降低。在誤差曲面較偏斗處，偏倒數(shù)值較大，權(quán)值和閾值的調(diào)整幅度也較大，以至在誤差函數(shù)最小點附近發(fā)生過沖現(xiàn)象，難以收斂到最小點。(2)學(xué)習(xí)訓(xùn)練過程中的“假飽和”現(xiàn)象所謂“假飽和”現(xiàn)象，是指在學(xué)習(xí)過程中誤差在一定的時間范圍內(nèi)，并不隨著學(xué)習(xí)次數(shù)的增多而減小，而過了這段時間以后，誤差才明顯下降的現(xiàn)象。學(xué)習(xí)一旦進入“假飽和”狀態(tài)，會需要較長時間才能脫離這種狀態(tài)，甚至無法達到全局最優(yōu)。 39 算法的改進對于 BP 神經(jīng)網(wǎng)絡(luò)，構(gòu)成它的多層前饋網(wǎng)絡(luò)，在理論上能夠以任意精度逼近連續(xù)非線性函數(shù)，但這一結(jié)論成立的前提是:網(wǎng)絡(luò)要足夠復(fù)雜。對于其實際的應(yīng)用，如何根據(jù)其實際的完成能力來設(shè)計相應(yīng)的 BP 神經(jīng)網(wǎng)絡(luò)，是一個需要探討的過程。一般，對于一個實際的 BP 神經(jīng)網(wǎng)絡(luò)，如果它的網(wǎng)絡(luò)比較簡單，則網(wǎng)絡(luò)可能對實際的應(yīng)用解決能力不夠；如果它的網(wǎng)絡(luò)比較復(fù)雜，網(wǎng)絡(luò)的計算量相應(yīng)增大很多，同時網(wǎng)絡(luò)的泛化能力，即經(jīng)過學(xué)習(xí)訓(xùn)練后的網(wǎng)絡(luò)對于未在學(xué)習(xí)訓(xùn)練中集中出現(xiàn)的樣本輸入做出正確反應(yīng)的能力，可能并不會得到相應(yīng)的提高。由于 BP 網(wǎng)絡(luò)存在的固有局限性，為了改進網(wǎng)絡(luò)的整體性能，本文對其做了改進，具體方法如下：BP 神經(jīng)網(wǎng)絡(luò)的隱含層，有多層和單層網(wǎng)絡(luò)之分。對于一個 BP 神經(jīng)網(wǎng)絡(luò)，增加它的隱含層數(shù)，可以增加網(wǎng)絡(luò)的處理能力，但同時，需要更多的運算和反饋調(diào)整，增加了運算量，并且劃分空間過細(xì)會導(dǎo)致網(wǎng)絡(luò)的歸納與泛化能力下降。在 BP 神經(jīng)網(wǎng)絡(luò)的具體運用中，首先要確定隱含層的結(jié)構(gòu)。HechtNielsen 曾經(jīng)證明了當(dāng)各個節(jié)點具有不同的門限時，對于在任何閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用含一個隱含層的神經(jīng)網(wǎng)絡(luò)來逼近。因而一個三層的 BP 神經(jīng)網(wǎng)絡(luò)可以完成任意的從 n 維到 m 維的映射。Cybenko 也指出，當(dāng)各節(jié)點均采用 Sigmoid 型函數(shù)時，一個隱含層就足以實現(xiàn)任意的判決分類問題兩個隱含層足以表示輸入圖形的任意輸出函數(shù)。這個結(jié)論對 BP神經(jīng)網(wǎng)絡(luò)隱含層數(shù)目的確定具有指導(dǎo)性的意義。采用兩個隱含層的 BP 神經(jīng)網(wǎng)絡(luò)比采用一個隱含層的 BP 網(wǎng)絡(luò)訓(xùn)練次數(shù)要多得多：一個隱含層的 BP 神經(jīng)網(wǎng)絡(luò)逼近函數(shù)時，在函數(shù)的細(xì)節(jié)部分 (如最大、最小值附近)要精確的多。結(jié)論：一般來說，開始選取一個隱含層，如果隱含層內(nèi)節(jié)點數(shù)目不是太多的情況下，就能按要求完成任務(wù)，則可以不加隱含層；否則可按需要再增加隱含層數(shù)目。因此