【正文】 確率，提出了改進(jìn)的 BP 新算法。算法的流程如下 :歸一化后的字符，分為完全不同的3 種類型，分別是漢字字符，阿拉伯?dāng)?shù)字，英文大寫字母。針對(duì)不同類型的字符，進(jìn)行不同的特征提取，然后采用了不同類別的識(shí)別神經(jīng)網(wǎng)絡(luò)，分別用來(lái)識(shí)別漢字字符，阿拉伯?dāng)?shù)字和大寫英文字符。圖 51 汽車牌照字符識(shí)別的流程 車牌字符特征提取基于字符特征的字符識(shí)別算法一般包括以下 3 個(gè)步驟 [11]：（1）提取字符的特征，建立一個(gè)字符特征向量空間，每個(gè)字符對(duì)應(yīng)向量空間中的一個(gè)向量；（2）定義分類函數(shù)；（3）對(duì)輸入的字符圖像自動(dòng)提取相應(yīng)的特征，根據(jù)分類函數(shù)進(jìn)行特征匹配，識(shí)別出相應(yīng)的字符。用于字符識(shí)別的分類特征應(yīng)滿足以下要求：（1）有較強(qiáng)的分類能力。分類后的樣本要實(shí)現(xiàn):類內(nèi)各樣本具有較好的一致性，類間各樣本的區(qū)分度應(yīng)盡量大；（2）具有較好的魯棒性，穩(wěn)定性。車牌字符經(jīng)常會(huì)發(fā)生變形、斷裂等情況，使字符結(jié)構(gòu)等受損，應(yīng)盡量減少其影響；（3）易于提取，方便運(yùn)算。特征的選取直接影響到最終的識(shí)別效率，因此好的模式特征應(yīng)具有較好的平移不變性、旋轉(zhuǎn)不變性和尺度不變性。 一般，涉及到車牌內(nèi)字符的識(shí)別，最常用的有兩大類特征，分別是:結(jié)構(gòu)特征和統(tǒng)計(jì)特征 [12]。結(jié)構(gòu)特征可以準(zhǔn)確的描述待識(shí)別漢字字符的幾何特 32 征，同時(shí)受噪聲和字符形變的影響較小，因此基于結(jié)構(gòu)的識(shí)別方法是字符識(shí)別的一種有力工具。字符的結(jié)構(gòu)特征通常包括：特征點(diǎn)、筆畫、線段等，字符結(jié)構(gòu)特征的提取主要有兩種方法:第一種是基于像素的字符輪廓獲取方法，這種方法沒(méi)有考慮全局信息和結(jié)構(gòu)信息，因而結(jié)果中會(huì)存在諸如毛邊和交叉點(diǎn)變形等問(wèn)題；第二種方法是用一組線段及它們相互間的關(guān)系來(lái)描述字符并進(jìn)行識(shí)別，但該方法易受邊界噪聲和交叉點(diǎn)的影響。字符的統(tǒng)計(jì)特征，是從原始數(shù)據(jù)中提取與分類最相關(guān)的信息，這些信息使得類內(nèi)差距最小，類間差距最大，同時(shí)這些信息對(duì)同一類字符的形變應(yīng)盡量保持不變。本文中，為了保證識(shí)別的正確率，簡(jiǎn)化網(wǎng)絡(luò)規(guī)模，提高神經(jīng)網(wǎng)絡(luò)的處理速度，對(duì)英文大寫字母，阿拉伯?dāng)?shù)字的特征提取與對(duì)漢字字符的特征提取，采用不同的提取方法。對(duì)英文和阿拉伯?dāng)?shù)字的特征提取，采用具有統(tǒng)計(jì)性質(zhì)的，根據(jù)局部特征的，適應(yīng)性較好的 13 特征提取法，也就是直接利用每個(gè)點(diǎn)的像素值作為特征提取的基礎(chǔ)，從構(gòu)成該字符的像素點(diǎn)中，統(tǒng)計(jì)提取出 13 個(gè)特征點(diǎn)。為了提取出這 13 個(gè)特征點(diǎn)，首先把字符分 8 份，統(tǒng)計(jì)每一份內(nèi)目標(biāo)像素點(diǎn)的個(gè)數(shù)作為 8 個(gè)特征。如下圖所示：圖 52 字符分割然后依此規(guī)律，統(tǒng)計(jì)水平方向上的中間兩列和豎直方向上的中間兩列的目標(biāo)像素個(gè)數(shù)作為 4 個(gè)特征，即畫四條穿過(guò)該位置的線，然后，統(tǒng)計(jì)線內(nèi)所占的目標(biāo)像素的個(gè)數(shù)。最后統(tǒng)計(jì)整個(gè)字符中目標(biāo)像素的個(gè)數(shù)作為一個(gè)整體特征，最后，一共得到了關(guān)于該字符的 13 個(gè)特征。這樣，對(duì)于每一個(gè)輸入樣本，輸入節(jié)點(diǎn)個(gè)數(shù)為 13 個(gè)。對(duì)于漢字字符，考慮到其自有的特性，采用密度筆畫特征。它首先將歸一化后字符圖像向不同的方向進(jìn)行投影，然后對(duì)文字黑像素的個(gè)數(shù)做累加運(yùn)算，形成筆畫密度直方圖 [13]。 基于 BP 神經(jīng)網(wǎng)絡(luò)的字符識(shí)別 神經(jīng)網(wǎng)絡(luò)理論概述人工神經(jīng)網(wǎng)絡(luò)的研究背景最早開始于 19 世紀(jì)末，20 世紀(jì)處。它源于物理學(xué)、心理學(xué)和神經(jīng)生理學(xué)的跨學(xué)科研究。神經(jīng)網(wǎng)絡(luò)(Neural Network)是由 33 大量神經(jīng)元(處理單元) ，廣泛連接而成的網(wǎng)絡(luò)，它是在人類對(duì)其大腦工作機(jī)理認(rèn)識(shí)的基礎(chǔ)上，以人腦的組織結(jié)構(gòu)和活動(dòng)規(guī)律為背景，反映了人腦的某些基本特征，可以說(shuō)是對(duì)人腦的某種抽象，簡(jiǎn)化和模仿。它是一個(gè)數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)或用計(jì)算機(jī)來(lái)模擬人的自然智能。神經(jīng)網(wǎng)絡(luò)是巨量信息并行處理和大規(guī)模平行計(jì)算的基礎(chǔ)，它既是高度非線形動(dòng)力學(xué)系統(tǒng)，又是自適應(yīng)系統(tǒng)?？捎脕?lái)描述認(rèn)知決策及控制的智能行為，它具有存儲(chǔ)知識(shí)和應(yīng)用經(jīng)驗(yàn)知識(shí)的自然特性，它與人腦相似之處可概括為如下兩個(gè)方面:一是通過(guò)學(xué)習(xí)從外部環(huán)境中獲取知識(shí)；二是內(nèi)部神經(jīng)元具有存儲(chǔ)知識(shí)的能力。神經(jīng)網(wǎng)絡(luò)具有高度非線性映射能力、自組織和適應(yīng)能力、記憶聯(lián)想能力。它可以在外界環(huán)境的刺激作用下調(diào)整網(wǎng)絡(luò)自由參數(shù)，并以新的方式來(lái)響應(yīng)外部環(huán)境。能夠從環(huán)境中學(xué)習(xí)并在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)最有意義的性質(zhì)。神經(jīng)網(wǎng)絡(luò)的工作方式，由兩個(gè)階段構(gòu)成：（1）學(xué)習(xí)期：神經(jīng)元之間的連接權(quán)值可由學(xué)習(xí)規(guī)則進(jìn)行修改，以使目標(biāo)函數(shù)達(dá)到最??；（2）工作期：在此期間，保持連接權(quán)值不變，由網(wǎng)絡(luò)的輸入得到相應(yīng)的輸出。神經(jīng)網(wǎng)絡(luò)有不同的分類方法，但從總的方面來(lái)講，一般將神經(jīng)網(wǎng)絡(luò)分為以下四種模型 [14]：前饋網(wǎng)絡(luò)模型、反饋網(wǎng)絡(luò)模型、自組織網(wǎng)絡(luò)模型與隨機(jī)型網(wǎng)絡(luò)模型。 34 神經(jīng)網(wǎng)絡(luò)算法的描述圖 53BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP 網(wǎng)絡(luò)是一個(gè)多層前饋網(wǎng)絡(luò)(FFNForward Feedback Network)，最常用的 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖 53，由 3 層網(wǎng)絡(luò)，即輸入層，隱含層，輸出層共同組建而成，其運(yùn)行機(jī)理如下：（1）初始化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，置所有的權(quán)值為隨機(jī)任意小，以一個(gè)隨機(jī)分布隨機(jī)地挑選閉值，該分布選擇為均值等于 0 的均勻分布 [15]，其方差的選擇應(yīng)該使得神經(jīng)元的輸出應(yīng)盡量在激活函數(shù)的線性部分變化；(2)確定輸入的學(xué)習(xí)訓(xùn)練集合： ，期望的輸出集合: ，輸入層到隱含層之間存在一個(gè)權(quán)值矩陣，其中的列向量 為隱含層第 i 個(gè)神經(jīng)元所對(duì)應(yīng)的權(quán)值向量：隱含層到輸出層之間存在一個(gè)權(quán)值矩陣： ， 35 其中的列向量 為輸出層第 j 個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)值向量。假設(shè)：隱含jw層輸出向量記為： ,輸出層的輸出向量Tm21 }yy{，， ??Y定義為： 。Tt21oo，， ?O(3)通過(guò)前饋網(wǎng)絡(luò)，使隱藏層和輸出層的所有神經(jīng)元都采用非線性激活函數(shù)( 一般取單極性:Sigmoid 函數(shù)): ，逐級(jí)計(jì)算輸出值。輸入層xef???1)(的神經(jīng)單元不對(duì)輸入做函數(shù)變換，只起緩沖作用。各層信號(hào)之間的數(shù)學(xué)關(guān)系如下：對(duì)于隱含層，有如下公式： )(jjfy? （51）iijnij xv0??（52）對(duì)于輸出層有如下公式： )(kkfo? （53）jjkmjkyw0?? （54）(4)利用誤差反饋調(diào)整權(quán)值，用遞歸的方法從輸出節(jié)點(diǎn)開始返回到中間隱層，按下式進(jìn)行調(diào)整權(quán)值： 36 首先計(jì)算網(wǎng)絡(luò)輸出值與期望輸出值之間的誤差 E： 21)(2)(21 kklkodODE?????? （55）將該式展開至隱含層，可得： 202212 )]([)]([ jkmjklkkl ywfdfdE??? ????（56） 將該式展開至輸入層，可得： 2ij0ijk0jk1 )]}xvf(f[{d2nmlkE??? ?? （57）由上式可看出，通過(guò)調(diào)整權(quán)值 wij，v jk，可以改變誤差 E。因此，為使誤差不斷減小，以滿足實(shí)際要求，得到如下的權(quán)值調(diào)整量：對(duì)于輸出層，有： jkkkjkjk wtwE?????????（58） 定義一個(gè)誤差信號(hào)： )(`kkkkkok oEoE f??????????（59） 又由式（1） ，得： )(kkkodoE??? （510） 37 最后，可得： jkkkjokjk yoodyw)1()(????? （511）對(duì)于隱含層，有： ijjijij vtEvEv ????????（512）定義一個(gè)誤差信號(hào)： )(`jjjjjjyj yEyE f???????（513）又由式（2） ，得： jkkkklkyE wodfj )()(`1????（514）最后可得： ijjjkolkikjij xywxv )1()(1???????（515）（5）迭代。首先判斷訓(xùn)練學(xué)習(xí)后的誤差是否達(dá)到預(yù)定要求，如果沒(méi)有達(dá)到，則返回第（2）步輸入新的樣本輸入集；如果己經(jīng)達(dá)到預(yù)定目標(biāo)或某一給定值，則學(xué)習(xí)過(guò)程結(jié)束。 即網(wǎng)絡(luò)存在的缺陷及其原因分析BP 神經(jīng)網(wǎng)絡(luò)的層數(shù)、及節(jié)點(diǎn)數(shù)，對(duì)整個(gè)網(wǎng)絡(luò)的收斂性，收斂時(shí)間、泛化能力都有極大的影響。因此，對(duì)于 BP 神經(jīng)網(wǎng)絡(luò)的具體應(yīng)用，網(wǎng)絡(luò)最佳結(jié)構(gòu)的確定非常關(guān)鍵。另外，網(wǎng)絡(luò)的繁簡(jiǎn)程度對(duì) BP 網(wǎng)絡(luò)的硬件實(shí)現(xiàn)也有很大的影響，因此，如何確定網(wǎng)絡(luò)層數(shù)和每層應(yīng)選的節(jié)點(diǎn)數(shù)非常重要。目前， 38 對(duì)于 BP 神經(jīng)網(wǎng)絡(luò)隱含層結(jié)構(gòu)的確定，最常用的方法是依靠經(jīng)驗(yàn)來(lái)確定。而且，對(duì)于不同應(yīng)用問(wèn)題其遵循的規(guī)律也不一樣，這就給 BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用及推廣帶來(lái)了很大的障礙。BP 神經(jīng)網(wǎng)絡(luò)采用 WidrowHoff 學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個(gè)典型的 BP 網(wǎng)絡(luò)采用的是梯度下降算法，也就是 WidrowHoff 算法所固定的，這種算法計(jì)算量小，易實(shí)現(xiàn)，但對(duì)于定義在多維空間上的函數(shù)，其誤差函數(shù)是多維空間的曲面，曲面本身凹凸不平，存在多個(gè)局部極小點(diǎn)或平坦區(qū)域，因此，使用 BP 網(wǎng)絡(luò)，在訓(xùn)練的過(guò)程中，梯度法很容易陷入某一局部最小點(diǎn)中，以至于使得訓(xùn)練無(wú)法進(jìn)行，得到全局最優(yōu)解。BP 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練學(xué)習(xí)的后期，算法的收斂速度會(huì)相當(dāng)慢，通常會(huì)需要成百上千次迭代甚至更多。主要是有以下兩個(gè)方面的原因：(1)固定的學(xué)習(xí)率 η 和慣性因子 α因?yàn)楦鶕?jù)上述公式，BP 神經(jīng)網(wǎng)絡(luò)本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對(duì)權(quán)值、閾值的一階導(dǎo)數(shù)信息來(lái)指導(dǎo)下一步的權(quán)值調(diào)節(jié)方向，以求達(dá)到最終誤差達(dá)到預(yù)設(shè)的誤差范圍，使之最??；為了保證算法的收斂性，學(xué)習(xí) η 必須小于某一上界。這就決定了 BP 神經(jīng)網(wǎng)絡(luò)的收斂速度不可能很快。BP 神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)率 η 和慣性因子 α 一般都是由經(jīng)驗(yàn)確定，在訓(xùn)練過(guò)程中保持不變。在接近極小點(diǎn)時(shí)，目標(biāo)函數(shù)一般可用二次函數(shù)近似，其等勢(shì)面接近橢球面，由于梯度法相鄰兩次迭代的搜索方向是正交的，這樣，如果同心的橢球面族很扁，會(huì)導(dǎo)致迭代過(guò)程呈現(xiàn)鋸齒現(xiàn)象。如果不能求出正確的學(xué)習(xí)率，會(huì)使得收斂非常緩慢。BP 網(wǎng)絡(luò)在執(zhí)行過(guò)程中，權(quán)值和閾值每次調(diào)整的幅度，均以一個(gè)與網(wǎng)絡(luò)誤差函數(shù)或其對(duì)權(quán)值或閾值的導(dǎo)數(shù)大小成正比的項(xiàng)乘以固定的因子進(jìn)行。這樣就出現(xiàn): 在誤差曲面較平坦處，由于這一偏導(dǎo)數(shù)值較小，以至于需要經(jīng)過(guò)多次調(diào)整才能將誤差函數(shù)曲面降低。在誤差曲面較偏斗處，偏倒數(shù)值較大，權(quán)值和閾值的調(diào)整幅度也較大，以至在誤差函數(shù)最小點(diǎn)附近發(fā)生過(guò)沖現(xiàn)象，難以收斂到最小點(diǎn)。(2)學(xué)習(xí)訓(xùn)練過(guò)程中的“假飽和”現(xiàn)象所謂“假飽和”現(xiàn)象，是指在學(xué)習(xí)過(guò)程中誤差在一定的時(shí)間范圍內(nèi)，并不隨著學(xué)習(xí)次數(shù)的增多而減小，而過(guò)了這段時(shí)間以后，誤差才明顯下降的現(xiàn)象。學(xué)習(xí)一旦進(jìn)入“假飽和”狀態(tài)，會(huì)需要較長(zhǎng)時(shí)間才能脫離這種狀態(tài)，甚至無(wú)法達(dá)到全局最優(yōu)。 39 算法的改進(jìn)對(duì)于 BP 神經(jīng)網(wǎng)絡(luò)，構(gòu)成它的多層前饋網(wǎng)絡(luò)，在理論上能夠以任意精度逼近連續(xù)非線性函數(shù)，但這一結(jié)論成立的前提是:網(wǎng)絡(luò)要足夠復(fù)雜。對(duì)于其實(shí)際的應(yīng)用，如何根據(jù)其實(shí)際的完成能力來(lái)設(shè)計(jì)相應(yīng)的 BP 神經(jīng)網(wǎng)絡(luò)，是一個(gè)需要探討的過(guò)程。一般，對(duì)于一個(gè)實(shí)際的 BP 神經(jīng)網(wǎng)絡(luò)，如果它的網(wǎng)絡(luò)比較簡(jiǎn)單，則網(wǎng)絡(luò)可能對(duì)實(shí)際的應(yīng)用解決能力不夠；如果它的網(wǎng)絡(luò)比較復(fù)雜，網(wǎng)絡(luò)的計(jì)算量相應(yīng)增大很多，同時(shí)網(wǎng)絡(luò)的泛化能力，即經(jīng)過(guò)學(xué)習(xí)訓(xùn)練后的網(wǎng)絡(luò)對(duì)于未在學(xué)習(xí)訓(xùn)練中集中出現(xiàn)的樣本輸入做出正確反應(yīng)的能力，可能并不會(huì)得到相應(yīng)的提高。由于 BP 網(wǎng)絡(luò)存在的固有局限性，為了改進(jìn)網(wǎng)絡(luò)的整體性能，本文對(duì)其做了改進(jìn)，具體方法如下：BP 神經(jīng)網(wǎng)絡(luò)的隱含層，有多層和單層網(wǎng)絡(luò)之分。對(duì)于一個(gè) BP 神經(jīng)網(wǎng)絡(luò)，增加它的隱含層數(shù)，可以增加網(wǎng)絡(luò)的處理能力，但同時(shí)，需要更多的運(yùn)算和反饋調(diào)整，增加了運(yùn)算量，并且劃分空間過(guò)細(xì)會(huì)導(dǎo)致網(wǎng)絡(luò)的歸納與泛化能力下降。在 BP 神經(jīng)網(wǎng)絡(luò)的具體運(yùn)用中，首先要確定隱含層的結(jié)構(gòu)。HechtNielsen 曾經(jīng)證明了當(dāng)各個(gè)節(jié)點(diǎn)具有不同的門限時(shí)，對(duì)于在任何閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可以用含一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)來(lái)逼近。因而一個(gè)三層的 BP 神經(jīng)網(wǎng)絡(luò)可以完成任意的從 n 維到 m 維的映射。Cybenko 也指出，當(dāng)各節(jié)點(diǎn)均采用 Sigmoid 型函數(shù)時(shí)，一個(gè)隱含層就足以實(shí)現(xiàn)任意的判決分類問(wèn)題兩個(gè)隱含層足以表示輸入圖形的任意輸出函數(shù)。這個(gè)結(jié)論對(duì) BP神經(jīng)網(wǎng)絡(luò)隱含層數(shù)目的確定具有指導(dǎo)性的意義。采用兩個(gè)隱含層的 BP 神經(jīng)網(wǎng)絡(luò)比采用一個(gè)隱含層的 BP 網(wǎng)絡(luò)訓(xùn)練次數(shù)要多得多：一個(gè)隱含層的 BP 神經(jīng)網(wǎng)絡(luò)逼近函數(shù)時(shí)，在函數(shù)的細(xì)節(jié)部分 (如最大、最小值附近)要精確的多。結(jié)論：一般來(lái)說(shuō)，開始選取一個(gè)隱含層，如果隱含層內(nèi)節(jié)點(diǎn)數(shù)目不是太多的情況下，就能按要求完成任務(wù)，則可以不加隱含層；否則可按需要再增加隱含層數(shù)目。因此