【導(dǎo)讀】為了對車牌字符的識別，本文將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于汽車車牌的自動識別，首先將訓(xùn)練樣本做圖像預(yù)處理，對車牌上的字符進(jìn)行分割，得到單。對大小不一的字符做歸一化后，對字符進(jìn)行特征提取，把長為15，寬。把這個特征向量送到BP網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到了訓(xùn)練好的權(quán)值，把他。保存到“”和“”中。然后打開要識別的圖片（即車牌），對圖。識別率也在90%以上，表明該方法的有效性。

　　

【正文】 結(jié)構(gòu) 可以看出， BP 網(wǎng)絡(luò)一般情況下有一個輸入層，一個隱藏層（有時是兩個或更多），一個輸出層。 2．輸入輸出關(guān)系 IH（輸入層到隱藏層 ） () () HO（隱藏層導(dǎo)輸出層） () 其中，輸人層神經(jīng)元個數(shù)為 n，隱含層神經(jīng)元個數(shù)為 n1，輸出層神經(jīng)元個數(shù)為 S2。 3．網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練 前面已經(jīng)說過，神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題之一是權(quán)值的確定。下面，討論一下本科畢業(yè)設(shè)計 (論文 ) 第 25 頁 BP網(wǎng)絡(luò)中的權(quán)值確定方法。 我們假定輸入 q組本 p1,p2,? ,pq， pi Rn， 期望輸出為 T1,T2,? ,Tq，這里 T Rs2， 網(wǎng)絡(luò)的實際輸出為 a21,a22,? ,a2q,a2 Rs2。 評價的準(zhǔn)則是誤差最小，所以網(wǎng)絡(luò)訓(xùn)練的實質(zhì)轉(zhuǎn)化為一個優(yōu)化問題。這里考慮用梯 度法（ Gradient）來找出誤差與 加權(quán)系數(shù)的關(guān)系，以得到加權(quán)系數(shù)改變的規(guī)律。 定義 誤差函數(shù)為： () 我們利用剃度下降法求權(quán)值的變化及誤差的反向傳播。 (1)．輸出層的權(quán)值變化 從第 i個輸入到第 k個輸出的權(quán)值改變有： () 同理可得： () (2)．隱含層權(quán)值變化 () 其中， 同理可得， 。 本科畢業(yè)設(shè)計 (論文 ) 第 26 頁 (3)．解釋 輸出層誤差 ej(j=1S2) 隱含層誤差 ei(i=1n2), 這里，可以認(rèn)為 ei 是由 ej 加權(quán)組合形成的，由于作用函數(shù)的存在， ej 的等效作用為 δ ji=ejf ?()。 4． BP網(wǎng)絡(luò)的設(shè)計問題 在進(jìn)行 BP 網(wǎng)絡(luò)的設(shè)計時，一般應(yīng)從網(wǎng)絡(luò)的層數(shù)，每層中的神經(jīng)元個數(shù)和激活函數(shù)、初始值以及學(xué)習(xí)速率等幾個方面來進(jìn)行考慮。下面討論各自的選取原則。 (1)．網(wǎng)絡(luò)的層數(shù) 理論上已經(jīng)證明：具有偏差和至少一個 S 型隱含層加上一個線性輸入層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)可以進(jìn)一步的降低誤差，提高精度，但同時 也使網(wǎng)絡(luò)復(fù)雜化。另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題。因為能用單層網(wǎng)絡(luò)完美解決的問題，用自適應(yīng)線性網(wǎng)絡(luò)也一定能解決，而且自適應(yīng)線性網(wǎng)絡(luò)的運(yùn)算速度還要快。而對于只能用非線性函數(shù)解決的問題，單層精度又不夠高，也只有增加層才能達(dá)到期望的結(jié)果。 (2)． 隱含層神經(jīng)元數(shù) 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得，這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。 為了對隱含層神經(jīng)元數(shù)在網(wǎng)絡(luò)設(shè)計時所起的作用有一個比較深入的理解，下面先給出一個有代表性的實例，然后從中得出幾點(diǎn) 結(jié)論。 例：用兩層 BP 網(wǎng)絡(luò)實現(xiàn)“異或”功能。 網(wǎng)絡(luò)要實現(xiàn)如下的輸人 l輸出功能： 對于一個二元輸入網(wǎng)絡(luò)來說，神經(jīng)元數(shù)即為分割線數(shù)。所以隱含層神經(jīng)元數(shù)應(yīng) ≥ 2。 通過改變隱含層的節(jié)點(diǎn)數(shù)做試驗，當(dāng) sl＝ 2， 3， 4， 5， 6 以及為 25和 30 時對網(wǎng)絡(luò)進(jìn)行設(shè)計。選擇誤差目標(biāo)為 err_goal＝ ，并通過對網(wǎng)絡(luò)訓(xùn)本科畢業(yè)設(shè)計 (論文 ) 第 27 頁 練 時所需的循環(huán)次數(shù)和訓(xùn)練時間的情況來觀察網(wǎng)絡(luò)求解效果。整個網(wǎng)絡(luò)的訓(xùn)練結(jié)果如表 21所示。 表 21 當(dāng) Sl ＝ 2， 3， 4， 5， 6， 20， 25， 30 時的訓(xùn)練結(jié)果 我們評價一個網(wǎng)絡(luò)設(shè)計的好壞 ，首先是它的精度，再一個就是訓(xùn)練時間。從表 2l 中可以看出下面幾種情況： ① 神經(jīng)元數(shù)太少，網(wǎng)絡(luò)不能很好的學(xué)習(xí)，需要訓(xùn)練的次數(shù)也多，訓(xùn)練精度也不高； ② 一般而言，網(wǎng)絡(luò)隱含層神經(jīng)元的個數(shù) S1 越多，功能越大，但當(dāng)神經(jīng)元數(shù)太多，會產(chǎn)生其他的問題 ③ 當(dāng) S1=3， 4， 5 時，其輸出精度都相仿，而 S1=3 是的訓(xùn)練次數(shù)最多。 一般的講，網(wǎng)絡(luò) sl 的選擇原則是：在能夠解決問題的前提下，再加上一個到兩個神經(jīng)元以加快誤差的下降速度即可。 (3)．初始權(quán)值的選取 一般取初始權(quán)值在 (1,1)之間的隨機(jī)數(shù)。 另外，威得羅等人在分析 了兩層網(wǎng)絡(luò)是如何對一個函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略：選擇權(quán)值的量級為 ，其中 S1 為第一層神經(jīng)元數(shù)，r為輸入個數(shù)。 (4)．學(xué)習(xí)速率 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于誤差最小值。所以一般情況下傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍是~。 對于較復(fù)雜的網(wǎng)絡(luò)，在誤差曲面的不同部位可能需要不同的學(xué)習(xí)速率。為本科畢業(yè)設(shè)計 (論文 ) 第 28 頁 了減少尋找 學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時間，比較合適的方法是采用變化 的自適應(yīng)學(xué)習(xí)速率，使網(wǎng)絡(luò)的訓(xùn)練在不同的階段設(shè)置不同大小的學(xué)習(xí)速率。 (5)．期望誤差的選取 在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合適的值，這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點(diǎn)數(shù)來確定的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò) 。 5. BP 網(wǎng)絡(luò)的限制與不足 (1)．需要較長的訓(xùn)練時間 這主要是由于學(xué)習(xí)速率太小所造成的?？刹捎米兓膶W(xué)習(xí)速率或自適應(yīng) 的學(xué)習(xí)速率來加以改進(jìn)。 (2)．完全不能訓(xùn)練 這主要表現(xiàn)在網(wǎng)絡(luò)的麻痹上。通常為了避免這種情況的產(chǎn)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率。 (3)．局部最小值 采用多層網(wǎng)絡(luò)或較多的神經(jīng)元，有可能得到更好的結(jié)果。 6. B P 算法力改進(jìn) BP 算法改進(jìn)的主要目標(biāo)是為了加快訓(xùn)練速度，避免陷入局部極小值和改善其他能力。本節(jié)只討論前兩種性能的改進(jìn)方法的有關(guān)內(nèi)容 。 (1)．帶動量因子算法 該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項正比于前次權(quán)之變化的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化。帶有附 加動量因子的權(quán)值調(diào)節(jié)公式為： () () 其中 k為訓(xùn)練次數(shù)， mc 為動量因子，一般取 左右。 附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量團(tuán)于來傳遞。以此方式，當(dāng)增加動量項后，促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時， δ 將變得很小，于是， 本科畢業(yè)設(shè)計 (論文 ) 第 29 頁 () 從而防止了 △ Wij(k)＝ 0 的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出。 (2)．自適應(yīng)學(xué)習(xí)速率 對于一個特定的問題，要選擇適當(dāng)?shù)膶W(xué)習(xí)速率并不是一件容易的事情。對訓(xùn)練開始初期功效很好的學(xué)習(xí)速率，不見得對后來的訓(xùn)練合適。為了解決這一問題，人們自然會想到在訓(xùn)練過程中自動調(diào)整學(xué)習(xí)速率。下面給出一個自適應(yīng)學(xué)習(xí)速率的調(diào)整公式： () 其中 ?為學(xué)習(xí)速率，初始學(xué)習(xí)速率 ?(0)的選取范圍可以有很大的隨意性。 (3)．改變學(xué)習(xí)速率方法 學(xué)習(xí)速率的局部調(diào)整法基于 如下的幾個直觀的推斷： 目標(biāo)函數(shù)中的每一個網(wǎng)絡(luò)可調(diào)參數(shù)有獨(dú)工的學(xué)習(xí)速率； 每一步迭代中，每個學(xué)習(xí)速率參數(shù)都能改變； 在連續(xù)幾次迭代中，若目標(biāo)函數(shù)對某個權(quán)導(dǎo)數(shù)的符號相同，則這個權(quán)的學(xué)習(xí)速率要增加； 在連續(xù)幾次迭代中，若目標(biāo)函數(shù)對某個權(quán)導(dǎo)數(shù)的符號相反，則這個權(quán)的學(xué)習(xí)速率要減小。 ① δ δ 規(guī)則 ； 設(shè) αij(k)為 Wij(k)的學(xué)習(xí)速率，則 () 式中， γ 是一個正實數(shù)，成為學(xué)習(xí)速率調(diào)整步長。 上式的學(xué)習(xí)規(guī)則雖然和上述推斷一致，但在應(yīng)用時還存在 一些潛在的問題。 例如，若在連續(xù)兩次迭代中，目標(biāo)函數(shù)對某個權(quán)的導(dǎo)數(shù)具有相同的符號 ，本科畢業(yè)設(shè)計 (論文 ) 第 30 頁 但他們的權(quán)值很小，則對應(yīng)于那個權(quán)值的學(xué)習(xí)速率的正調(diào)整也很小。另一方面，若在兩次連續(xù)的迭代中，目標(biāo)函數(shù)對某個權(quán)的導(dǎo)數(shù)具有相反的符號和很大的值，則對應(yīng)于那個權(quán)學(xué)習(xí)速率的負(fù)調(diào)整也很大。在這兩種情況下，就難于選擇合適的步長參數(shù) γ。 上述問題可以用 δ barδ 方法來克服。 ② δ barδ 方法 令 Wij(k)為第 k 次迭代 i 神經(jīng)元到 j 神經(jīng)元連接權(quán)，令 αij(k)為這次迭代對應(yīng)于該權(quán)的學(xué)習(xí)速率，學(xué)習(xí)速率可按如下調(diào)整規(guī)則來確定： () () () 式 中， ξ 是一個正實數(shù)，參數(shù) a、 b 和 ξ 由使用者確定，典型值為 ： 104≤ a≤ ， ≤ b≤ 5， ≤ ξ ≤ 。 (4)．作用函數(shù)后縮法 () () 實驗證明，采用此方法，收斂時問平均可 減少 30％ ~50%。 本科畢業(yè)設(shè)計 (論文 ) 第 31 頁 第三章 系統(tǒng)的實現(xiàn) 系統(tǒng)流程圖 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識別的過程主要包括網(wǎng)絡(luò)的訓(xùn)練、數(shù)據(jù)的讀取、字符的判定、結(jié)果的輸出。神經(jīng)網(wǎng)絡(luò)字符識別的具體流程圖如 所示 圖 神經(jīng)網(wǎng)絡(luò)字符識別流程圖 程序?qū)崿F(xiàn) 系統(tǒng)是對車牌圖像進(jìn)行了圖像灰度化、二值化、圖像的調(diào) 整、離散噪音點(diǎn)的去除、字符的切分、圖像的縮放、字符的細(xì)化、字符的平滑、圖像的求梯度等圖像預(yù)處理之后的圖像中的字符進(jìn)行二次處理。系統(tǒng)對字符進(jìn)行特征提取，對提取的結(jié)果再利用神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識別。 1．特征提取 圖像經(jīng)過一系列的預(yù)處理之后，原來大小不同、分布不規(guī)則的各個字符變成了