【導讀】為了對車牌字符的識別，本文將BP神經(jīng)網(wǎng)絡應用于汽車車牌的自動識別，首先將訓練樣本做圖像預處理，對車牌上的字符進行分割，得到單。對大小不一的字符做歸一化后，對字符進行特征提取，把長為15，寬。把這個特征向量送到BP網(wǎng)絡中進行訓練，得到了訓練好的權(quán)值，把他。保存到“”和“”中。然后打開要識別的圖片（即車牌），對圖。識別率也在90%以上，表明該方法的有效性。

　　

【正文】 () () 上式中， △ Wij為權(quán)值的改變， α 為學習系數(shù)， Vi是當前神經(jīng)元的興奮度， δ是實際輸出與期望輸出的偏差。 BP 神經(jīng)網(wǎng)絡 BP 網(wǎng)絡是應用中經(jīng)常碰到的，這一節(jié)將詳細介紹一下 BP 網(wǎng)絡。 1． BP網(wǎng)絡模型 BP 神經(jīng)網(wǎng)絡模型見圖 圖 BP 神經(jīng)網(wǎng)絡結(jié)構(gòu) 可以看出， BP 網(wǎng)絡一般情況下有一個輸入層，一個隱藏層（有時是兩個或更多），一個輸出層。 2．輸入輸出關(guān)系 IH（輸入層到隱藏層） () () HO（隱藏層導輸出層） () 其中，輸人層神經(jīng)元個數(shù)為 n，隱含層神經(jīng)元個數(shù)為 n1，輸出層神經(jīng)元個數(shù)為 S2。 3．網(wǎng)絡學習訓練 前面已經(jīng)說過，神經(jīng)網(wǎng)絡的關(guān)鍵問題之一是權(quán)值的確定。下面，討論一下武漢科技大學本科畢業(yè)設計 (論文 ) 第 25 頁 BP網(wǎng)絡中的權(quán)值確定方法。 我們假定輸入 q組本 p1,p2,? ,pq， pi Rn， 期望輸出為 T1,T2,? ,Tq，這里 T Rs2， 網(wǎng)絡的實際輸出為 a21,a22,? ,a2q,a2 Rs2。 評價的準則是誤差最小，所以網(wǎng)絡訓練的實質(zhì)轉(zhuǎn)化為一個優(yōu)化問題。這里考慮用梯 度法（ Gradient）來找出誤差與 加權(quán)系數(shù)的關(guān)系，以得到加權(quán)系數(shù) 改變的規(guī)律。 定義誤差函數(shù)為： () 我們利用剃度下降法求權(quán)值的變化及誤差的反向傳播。 (1)．輸出層的權(quán)值變化 從第 i個輸入到第 k個輸出的權(quán)值改變有： () 同理可得： () (2)．隱含層權(quán)值變化 () 其中， 同理可得， 。 武漢科技大學本科畢業(yè)設計 (論文 ) 第 26 頁 (3)．解釋 輸出層誤差 ej(j=1S2) 隱含層誤差 ei(i=1n2), 這里，可以認為 ei 是由 ej 加權(quán)組合形成的，由于作用函數(shù)的存在， ej 的等效作用為 δ ji=ejf ‘()。 4． BP網(wǎng)絡的設計問題 在進行 BP 網(wǎng)絡的設計時，一般應從網(wǎng)絡的層數(shù)，每層中的神經(jīng)元個數(shù)和激活函數(shù)、初始值以及學習速率等幾個方面來進行考慮。下面討論各自的選取原則。 (1)．網(wǎng)絡的層數(shù) 理論上已經(jīng)證明：具有偏差和至少一個 S 型隱含層加上一個線性輸入層的網(wǎng)絡，能夠逼近任何有理函數(shù)。增加層數(shù)可以進一步的降低誤差 ，提高精度，但同時也使網(wǎng)絡復雜化。另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡來解決問題。因為能用單層網(wǎng)絡完美解決的問題，用自適應線性網(wǎng)絡也一定能解決，而且自適應線性網(wǎng)絡的運算速度還要快。而對于只能用非線性函數(shù)解決的問題，單層精度又不夠高，也只有增加層才能達到期望的結(jié)果。 (2)． 隱含層神經(jīng)元數(shù) 網(wǎng)絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得，這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。 為了對隱含層神經(jīng)元數(shù)在網(wǎng)絡設計時所起的作用有一個比較深入的理解，下面先給出一個有代表性的實例 ，然后從中得出幾點結(jié)論。 例：用兩層 BP 網(wǎng)絡實現(xiàn)“異或”功能。 網(wǎng)絡要實現(xiàn)如下的輸人 l輸出功能： 對于一個二元輸入網(wǎng)絡來說，神經(jīng)元數(shù)即為分割線數(shù)。所以隱含層神經(jīng)元數(shù)應 ≥ 2。 通過改變隱含層的節(jié)點數(shù)做試驗，當 sl＝ 2， 3， 4， 5， 6 以及為 25和 30 時對網(wǎng)絡進行設計。選擇誤差目標為 err_goal＝ ，并通過對網(wǎng)絡訓武漢科技大學本科畢業(yè)設計 (論文 ) 第 27 頁 練 時所需的循環(huán)次數(shù)和訓練時間的情況來觀察網(wǎng)絡求解效果。整個網(wǎng)絡的訓練結(jié)果如表 21所示。 表 21 當 Sl ＝ 2， 3， 4， 5， 6， 20， 25， 30 時的訓練結(jié)果 我們評價 一個網(wǎng)絡設計的好壞，首先是它的精度，再一個就是訓練時間。從表 2l 中可以看出下面幾種情況： ① 神經(jīng)元數(shù)太少，網(wǎng)絡不能很好的學習，需要訓練的次數(shù)也多，訓練精度也不高； ② 一般而言，網(wǎng)絡隱含層神經(jīng)元的個數(shù) S1 越多，功能越大，但當神經(jīng)元數(shù)太多，會產(chǎn)生其他的問題 ③ 當 S1=3， 4， 5 時，其輸出精度都相仿，而 S1=3 是的訓練次數(shù)最多。 一般的講，網(wǎng)絡 sl 的選擇原則是：在能夠解決問題的前提下，再加上一個到兩個神經(jīng)元以加快誤差的下降速度即可。 (3)．初始權(quán)值的選取 一般取初始權(quán)值在 (1,1)之間的隨機數(shù)。 另外 ，威得羅等人在分析了兩層網(wǎng)絡是如何對一個函數(shù)進行訓練后，提出一種選定初始權(quán)值的策略：選擇權(quán)值的量級為 ，其中 S1 為第一層神經(jīng)元數(shù)，r為輸入個數(shù)。 (4)．學習速率 學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權(quán)值變化量。大的學習速率可能導致系統(tǒng)的不穩(wěn)定；但小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于誤差最小值。所以一般情況下傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍是~。 對于較復雜的網(wǎng)絡，在誤差曲面的不同部位可能需要不同的學習 速率。為武漢科技大學本科畢業(yè)設計 (論文 ) 第 28 頁 了減少尋找學習速率的訓練次數(shù)以及訓練時間，比較合適的方法是采用變化 的自適應學習速率，使網(wǎng)絡的訓練在不同的階段設置不同大小的學習速率。 (5)．期望誤差的選取 在設計網(wǎng)絡的訓練過程中，期望誤差值也應當通過對比訓練后確定一個合適的值，這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡進行訓練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡 。 5. BP 網(wǎng)絡的限制與不足 (1)．需要較長的訓練時間 這主要是由于學習速率太小所造成的?？刹捎米兓?的學習速率或自適應的學習速率來加以改進。 (2)．完全不能訓練 這主要表現(xiàn)在網(wǎng)絡的麻痹上。通常為了避免這種情況的產(chǎn)生，一是選取較小的初始權(quán)值，二是采用較小的學習速率。 (3)．局部最小值 采用多層網(wǎng)絡或較多的神經(jīng)元，有可能得到更好的結(jié)果。 6. B P 算法力改進 BP 算法改進的主要目標是為了加快訓練速度，避免陷入局部極小值和改善其他能力。本節(jié)只討論前兩種性能的改進方法的有關(guān)內(nèi)容 。 (1)．帶動量因子算法 該方法是在反向傳播法的基礎上在每一個權(quán)值的變化上加上一項正比于前次權(quán)之變化的值，并根據(jù)反向傳播法來產(chǎn)生新 的權(quán)值變化。帶有附加動量因子的權(quán)值調(diào)節(jié)公式為： () () 其中 k為訓練次數(shù)， mc 為動量因子，一般取 左右。 附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量團于來傳遞。以此方式，當增加動量項后，促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當網(wǎng)絡權(quán)值進入誤差曲面底部的平坦區(qū)時， δ 將變得很小，于是， 武漢科技大學本科畢業(yè)設計 (論文 ) 第 29 頁 () 從而防止了 △ Wij(k)＝ 0 的出現(xiàn)，有助于使網(wǎng)絡從誤差曲面的局部極小值中跳出。 (2)．自適應學習速率 對于一個特定的問題，要選擇適當?shù)膶W習速率并不是一件容易的事情。對訓練開始初期功效很好的學習速率，不見得對后來的訓練合適。為了解決這一問題，人們自然會想到在訓練過程中自動調(diào)整學習速率。下面給出一個自適應學習速率的調(diào)整公式： () 其中 ?為學習速率，初始學習速率 ?(0)的選取范圍可以有很大的隨意性。 (3)．改變學習速率方法 學習速 率的局部調(diào)整法基于如下的幾個直觀的推斷： 目標函數(shù)中的每一個網(wǎng)絡可調(diào)參數(shù)有獨工的學習速率； 每一步迭代中，每個學習速率參數(shù)都能改變； 在連續(xù)幾次迭代中，若目標函數(shù)對某個權(quán)導數(shù)的符號相同，則這個權(quán)的學習速率要增加； 在連續(xù)幾次迭代中，若目標函數(shù)對某個權(quán)導數(shù)的符號相反，則這個權(quán)的學習速率要減小。 ① δ δ 規(guī)則 ； 設 αij(k)為 Wij(k)的學習速率，則 () 式中， γ 是一個正實數(shù)，成為學習速率調(diào)整步長。 上式的學習規(guī)則雖然和上述推斷一致 ，但在應用時還存在一些潛在的問題。 例如，若在連續(xù)兩次迭代中，目標函數(shù)對某個權(quán)的導數(shù)具有相同的符號 ，武漢科技大學本科畢業(yè)設計 (論文 ) 第 30 頁 但他們的權(quán)值很小，則對應于那個權(quán)值的學習速率的正調(diào)整也很小。另一方面，若在兩次連續(xù)的迭代中，目標函數(shù)對某個權(quán)的導數(shù)具有相反的符號和很大的值，則對應于那個權(quán)學習速率的負調(diào)整也很大。在這兩種情況下，就難于選擇合適的步長參數(shù) γ。 上述問題可以用 δ barδ 方法來克服。 ② δ barδ 方法 令 Wij(k)為第 k 次迭代 i 神經(jīng)元到 j 神經(jīng)元連接權(quán)，令 αij(k)為這次迭代對應于該權(quán)的學習速率，學習速率可按如下調(diào)整規(guī) 則來確定： () () () 式 中， ξ 是一個正實數(shù)，參數(shù) a、 b 和 ξ 由使用者確定，典型值為 ： 104≤ a≤ ， ≤ b≤ 5， ≤ ξ ≤ 。 (4)．作用函數(shù)后縮法 () () 實驗證明，采用此方法，收斂時問平均可 減少 30％ ~50%。 武漢科技大學本科畢業(yè)設計 (論文 ) 第 31 頁 第三章 系統(tǒng)的實現(xiàn) 系統(tǒng)流程圖 利用神經(jīng)網(wǎng)絡進行字符識別的過程