【導(dǎo)讀】為了對車牌字符的識別，本文將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于汽車車牌的自動識別，首先將訓練樣本做圖像預(yù)處理，對車牌上的字符進行分割，得到單。對大小不一的字符做歸一化后，對字符進行特征提取，把長為15，寬。把這個特征向量送到BP網(wǎng)絡(luò)中進行訓練，得到了訓練好的權(quán)值，把他。保存到“”和“”中。然后打開要識別的圖片（即車牌），對圖。識別率也在90%以上，表明該方法的有效性。

　　

【正文】 () HO（隱藏層導(dǎo)輸出層） () 其中，輸人層神經(jīng)元個數(shù)為 n，隱含層神經(jīng)元個數(shù)為 n1，輸出層神經(jīng)元個數(shù)為 S2。 3．網(wǎng)絡(luò)學習訓練 前面已經(jīng)說過，神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題之一是權(quán)值的確定。下面，討論一下 第 25 頁 BP網(wǎng)絡(luò)中的權(quán)值確定方法。 我們假定輸入 q組本 p1,p2,? ,pq， pi Rn， 期望輸出為 T1,T2,? ,Tq，這里 T Rs2， 網(wǎng)絡(luò)的實際輸出為 a21,a22,? ,a2q,a2 Rs2。 評價的準則是誤差最小，所以網(wǎng)絡(luò)訓練的實質(zhì)轉(zhuǎn)化為一個優(yōu)化問題。這里考慮用梯 度法（ Gradient）來找出誤差與 加權(quán)系數(shù)的關(guān)系，以得到加權(quán)系 數(shù)改變的規(guī)律。 定義誤差函數(shù)為： () 我們利用剃度下降法求權(quán)值的變化及誤差的反向傳播。 (1)．輸出層的權(quán)值變化 從第 i個輸入到第 k個輸出的權(quán)值改變有： () 同理可得： () (2)．隱含層權(quán)值變化 () 其中， 同理可得， 。 第 26 頁 (3)．解釋 輸出層誤差 ej(j=1S2) 隱含層誤差 ei(i=1n2), 這里，可以認為 ei 是由 ej 加權(quán)組合形成的，由于作用函數(shù)的存在， ej 的等效作用為 δ ji=ejf ‘()。 4． BP網(wǎng)絡(luò)的設(shè)計問題 在進行 BP 網(wǎng)絡(luò)的設(shè)計時，一般應(yīng)從網(wǎng)絡(luò)的層數(shù)，每層中的神經(jīng)元個數(shù)和激活函數(shù)、初始值以及學習速率等幾個方面來進行考慮。下面討論各自的選取原則。 (1)．網(wǎng)絡(luò)的層數(shù) 理論上已經(jīng)證明：具有偏差和至少一個 S 型隱含層加上一個線性輸入層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)可以進一步的降低誤 差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化。另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題。因為能用單層網(wǎng)絡(luò)完美解決的問題，用自適應(yīng)線性網(wǎng)絡(luò)也一定能解決，而且自適應(yīng)線性網(wǎng)絡(luò)的運算速度還要快。而對于只能用非線性函數(shù)解決的問題，單層精度又不夠高，也只有增加層才能達到期望的結(jié)果。 (2)． 隱含層神經(jīng)元數(shù) 網(wǎng)絡(luò)訓練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得，這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。 為了對隱含層神經(jīng)元數(shù)在網(wǎng)絡(luò)設(shè)計時所起的作用有一個比較深入的理解，下面先給出一個有代表性的實 例，然后從中得出幾點結(jié)論。 例：用兩層 BP 網(wǎng)絡(luò)實現(xiàn)“異或”功能。 網(wǎng)絡(luò)要實現(xiàn)如下的輸人 l輸出功能： 對于一個二元輸入網(wǎng)絡(luò)來說，神經(jīng)元數(shù)即為分割線數(shù)。所以隱含層神經(jīng)元數(shù)應(yīng) ≥ 2。 通過改變隱含層的節(jié)點數(shù)做試驗，當 sl＝ 2， 3， 4， 5， 6 以及為 25和 30 時對網(wǎng)絡(luò)進行設(shè)計。選擇誤差目標為 err_goal＝ ，并通過對網(wǎng)絡(luò)訓 第 27 頁 練 時所需的循環(huán)次數(shù)和訓練時間的情況來觀察網(wǎng)絡(luò)求解效果。整個網(wǎng)絡(luò)的訓練結(jié)果如表 21所示。 表 21 當 Sl ＝ 2， 3， 4， 5， 6， 20， 25， 30 時的訓練結(jié)果 我們評 價一個網(wǎng)絡(luò)設(shè)計的好壞，首先是它的精度，再一個就是訓練時間。從表 2l 中可以看出下面幾種情況： ① 神經(jīng)元數(shù)太少，網(wǎng)絡(luò)不能很好的學習，需要訓練的次數(shù)也多，訓練精度也不高； ② 一般而言，網(wǎng)絡(luò)隱含層神經(jīng)元的個數(shù) S1 越多，功能越大，但當神經(jīng)元數(shù)太多，會產(chǎn)生其他的問題 ③ 當 S1=3， 4， 5 時，其輸出精度都相仿，而 S1=3 是的訓練次數(shù)最多。 一般的講，網(wǎng)絡(luò) sl 的選擇原則是：在能夠解決問題的前提下，再加上一個到兩個神經(jīng)元以加快誤差的下降速度即可。 (3)．初始權(quán)值的選取 一般取初始權(quán)值在 (1,1)之間的隨機數(shù)。 另 外，威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對一個函數(shù)進行訓練后，提出一種選定初始權(quán)值的策略：選擇權(quán)值的量級為 ，其中 S1 為第一層神經(jīng)元數(shù)，r為輸入個數(shù)。 (4)．學習速率 學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權(quán)值變化量。大的學習速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學習速率導(dǎo)致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于誤差最小值。所以一般情況下傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍是~。 對于較復(fù)雜的網(wǎng)絡(luò)，在誤差曲面的不同部位可能需要不同的學 習速率。為 第 28 頁 了減少尋找學習速率的訓練次數(shù)以及訓練時間，比較合適的方法是采用變化 的自適應(yīng)學習速率，使網(wǎng)絡(luò)的訓練在不同的階段設(shè)置不同大小的學習速率。 (5)．期望誤差的選取 在設(shè)計網(wǎng)絡(luò)的訓練過程中，期望誤差值也應(yīng)當通過對比訓練后確定一個合適的值，這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進行訓練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò) 。 5. BP 網(wǎng)絡(luò)的限制與不足 (1)．需要較長的訓練時間 這主要是由于學習速率太小所造成的?？刹捎米?化的學習速率或自適應(yīng)的學習速率來加以改進。 (2)．完全不能訓練 這主要表現(xiàn)在網(wǎng)絡(luò)的麻痹上。通常為了避免這種情況的產(chǎn)生，一是選取較小的初始權(quán)值，二是采用較小的學習速率。 (3)．局部最小值 采用多層網(wǎng)絡(luò)或較多的神經(jīng)元，有可能得到更好的結(jié)果。 6. B P 算法力改進 BP 算法改進的主要目標是為了加快訓練速度，避免陷入局部極小值和改善其他能力。本節(jié)只討論前兩種性能的改進方法的有關(guān)內(nèi)容 。 (1)．帶動量因子算法 該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項正比于前次權(quán)之變化的值，并根據(jù)反向傳播法來產(chǎn)生 新的權(quán)值變化。帶有附加動量因子的權(quán)值調(diào)節(jié)公式為： () () 其中 k為訓練次數(shù)， mc 為動量因子，一般取 左右。 附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量團于來傳遞。以此方式，當增加動量項后，促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當網(wǎng)絡(luò)權(quán)值進入誤差曲面底部的平坦區(qū)時， δ 將變得很小，于是， 第 29 頁 () 從而防止了 △ Wij(k)＝ 0 的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出。 (2)．自適應(yīng)學習速率 對于一個特定的問題，要選擇適當?shù)膶W習速率并不是一件容易的事情。對訓練開始初期功效很好的學習速率，不見得對后來的訓練合適。為了解決這一問題，人們自然會想到在訓練過程中自動調(diào)整學習速率。下面給出一個自適應(yīng)學習速率的調(diào)整公式： () 其中 ?為學習速率，初始學習速率 ?(0)的選取范圍可以有很大的隨意性。 (3)．改變學習速率方法 學習 速率的局部調(diào)整法基于如下的幾個直觀的推斷： 目標函數(shù)中的每一個網(wǎng)絡(luò)可調(diào)參數(shù)有獨工的學習速率； 每一步迭代中，每個學習速率參數(shù)都能改變； 在連續(xù)幾次迭代中，若目標函數(shù)對某個權(quán)導(dǎo)數(shù)的符號相同，則這個權(quán)的學習速率要增加； 在連續(xù)幾次迭代中，若目標函數(shù)對某個權(quán)導(dǎo)數(shù)的符號相反，則這個權(quán)的學習速率要減小。 ① δ δ 規(guī)則 ； 設(shè) αij(k)為 Wij(k)的學習速率，則 () 式中， γ 是一個正實數(shù)，成為學習速率調(diào)整步長。 上式的學習規(guī)則雖然和上述推斷一 致，但在應(yīng)用時還存在一些潛在的問題。 例如，若在連續(xù)兩次迭代中，目標函數(shù)對某個權(quán)的導(dǎo)數(shù)具有相同的符號 ， 第 30 頁 但他們的權(quán)值很小，則對應(yīng)于那個權(quán)值的學習速率的正調(diào)整也很小。另一方面，若在兩次連續(xù)的迭代中，目標函數(shù)對某個權(quán)的導(dǎo)數(shù)具有相反的符號和很大的值，則對應(yīng)于那個權(quán)學習速率的負調(diào)整也很大。在這兩種情況下，就難于選擇合適的步長參數(shù) γ。 上述問題可以用 δ barδ 方法來克服。 ② δ barδ 方法 令 Wij(k)為第 k 次迭代 i 神經(jīng)元到 j 神經(jīng)元連接權(quán)，令 αij(k)為這次迭代對應(yīng)于該權(quán)的學習速率，學習速率可按如下調(diào)整 規(guī)則來確定： () () () 式 中， ξ 是一個正實數(shù)，參數(shù) a、 b 和 ξ 由使用者確定，典型值為 ： 104≤ a≤ ， ≤ b≤ 5， ≤ ξ ≤ 。 (4)．作用函數(shù)后縮法 () () 實驗證明，采用此方法，收斂時問平均可 減少 30％ ~50%。 第 31 頁 第三章 系統(tǒng)的實現(xiàn) 系統(tǒng)流程圖 利用神經(jīng)網(wǎng)絡(luò)進行字符識別的過程主要包括網(wǎng)絡(luò)的訓練、數(shù)據(jù)的讀取、字符的判定、結(jié)果的輸出。神經(jīng)網(wǎng)絡(luò)字符識別的具體流程圖如 所示 圖 神經(jīng)網(wǎng)絡(luò)字符識別流程圖 程序?qū)崿F(xiàn) 系統(tǒng)是對車牌圖像進行了圖像灰度 化、二值化、圖像的調(diào)整、離散噪音點的去除、字符的切分、圖像的縮放、字符的細化、字符的平滑、圖像的求梯度等圖像預(yù)處理之后的圖像中的字符進行二次處理。系統(tǒng)對字符進行特征提取，對提取的結(jié)果再利用神經(jīng)網(wǎng)絡(luò)進行字符識別。 1．特征提取 圖像經(jīng)過一系列的預(yù)處理之后，原來大小不同、分布不規(guī)則的各個字符變成了一個個大小相同、排列整齊的字符。下面接要從被分割歸一處理完畢的字符中，提取最能體現(xiàn)這個字符特點的特征向量。將提取出訓練樣本中的特征向量代入BP 網(wǎng)絡(luò)之中就可以對網(wǎng)絡(luò)進行訓練，提取出待識別的樣本中的特征向量代入到訓 練好的 BP網(wǎng)絡(luò)中，就可以對字符進行識別。 特征向量的提取方法多種多樣，有逐像素特征提取法、骨架特征提取法、垂直方向數(shù)據(jù)統(tǒng)計特征提取法、 13 點特征提取法、弧度梯度特征提取法等很多方法。 本系統(tǒng)選擇的是逐像素特征提取法。 逐像素特征提取法是一中最簡單的特征提取法，對圖像進行逐行逐列的掃描當遇到黑色像素時取其特征值為 1，遇到白色像素時取其特征值為 0，這樣當掃描結(jié)束以后就形成了一維數(shù)與圖像中像素點的個數(shù)相同的特征向量矩陣。 這種特征提取方法的特點是算法簡單、運算速度快、可以是 BP 網(wǎng)絡(luò)很快的樣本訓練 字符特征輸入 識別并給出結(jié)果 特征提取 第 32 頁 收斂、訓練效果好，缺點是適 應(yīng)性不強。但可以通過加大訓練樣本數(shù)目的方法來增強其適應(yīng)性。 2． BP神經(jīng)網(wǎng)絡(luò) 經(jīng)圖像預(yù)處理過程和特征提取之后，可以將最終得到的字符特征送入 BP 網(wǎng)絡(luò)中進行訓練及識別了。這里，假設(shè)設(shè)定的字符標準歸一化的寬度為 8，高度為16，那么對于每個字符就有 128 維的特征。設(shè)計 BP 網(wǎng)絡(luò)的關(guān)鍵之處在于高效的特征提取方法、大量有代表性的訓練樣本、高效穩(wěn)定速收斂學習算法。