【導讀】為了對車牌字符的識別，本文將BP神經(jīng)網(wǎng)絡應用于汽車車牌的自動識別，首先將訓練樣本做圖像預處理，對車牌上的字符進行分割，得到單。對大小不一的字符做歸一化后，對字符進行特征提取，把長為15，寬。把這個特征向量送到BP網(wǎng)絡中進行訓練，得到了訓練好的權值，把他。保存到“”和“”中。然后打開要識別的圖片（即車牌），對圖。識別率也在90%以上，表明該方法的有效性。

　　

【正文】 () () 上式中， △ Wij為權值的改變， α 為學習系數(shù)， Vi是當前神經(jīng)元的興奮度， δ是實際輸出與期望輸出的偏差。 BP 神經(jīng)網(wǎng)絡 BP 網(wǎng)絡是應用中經(jīng)常碰到的，這一節(jié)將詳細介紹一下 BP 網(wǎng)絡。 1． BP網(wǎng)絡模型 BP 神經(jīng)網(wǎng)絡模型見圖 圖 BP 神經(jīng)網(wǎng)絡結(jié)構(gòu) 可以看出， BP 網(wǎng)絡一般情況下有一個輸入層，一個隱藏層（有時是兩個或更多），一個輸出層。 2．輸入輸出關系 IH（輸入層到隱藏層） () () HO（隱藏層導輸出層） () 其中，輸人層神經(jīng)元個數(shù)為 n，隱含層神經(jīng)元個數(shù)為 n1，輸出層神經(jīng)元個數(shù)為 S2。 3．網(wǎng)絡學習訓練 前面已經(jīng)說過，神經(jīng)網(wǎng)絡的關鍵問題之一是權值的確定。下面，討論一下武漢科技大學本科畢業(yè)設計 (論文 ) 第 25 頁 BP網(wǎng)絡中的權值確定方法。 我們假定輸入 q組本 p1,p2,? ,pq， pi Rn， 期望輸出為 T1,T2,? ,Tq，這里 T Rs2， 網(wǎng)絡的實際輸出為 a21,a22,? ,a2q,a2 Rs2。 評價的準則是誤差最小，所以網(wǎng)絡訓練的實質(zhì)轉(zhuǎn)化為一個優(yōu)化問題。這里考慮用梯 度法（ Gradient）來找出誤差與 加權系數(shù)的關系，以得到加權系 數(shù)改變的規(guī)律。 定義誤差函數(shù)為： () 我們利用剃度下降法求權值的變化及誤差的反向傳播。 (1)．輸出層的權值變化 從第 i個輸入到第 k 個輸出的權值改變有： () 同理可得： () (2)．隱含層權值變化 () 其中， 同理可得， 。 武漢科技大學本科畢業(yè)設計 (論文 ) 第 26 頁 (3)．解釋 輸出層誤差 ej(j=1S2) 隱含層誤差 ei(i=1n2), 這里，可以認為 ei 是由 ej 加權組合形成的，由于作用函數(shù)的存在， ej 的等效作用為 δ ji=ejf ‘()。 4． BP網(wǎng)絡的設計問題 在進行 BP 網(wǎng)絡的設計時，一般應從網(wǎng)絡的層數(shù)，每層中的神經(jīng)元個數(shù)和激活函數(shù)、初始值以及學習速率等幾個方面來進行考慮。下面討論各自的選取原則。 (1)．網(wǎng)絡的層數(shù) 理論上已經(jīng)證明：具有偏差和至少一個 S 型隱含層加上一個線性輸入層的網(wǎng)絡，能夠逼近任何有理函數(shù)。增加層數(shù)可以進一步的降低誤 差，提高精度，但同時也使網(wǎng)絡復雜化。另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡來解決問題。因為能用單層網(wǎng)絡完美解決的問題，用自適應線性網(wǎng)絡也一定能解決，而且自適應線性網(wǎng)絡的運算速度還要快。而對于只能用非線性函數(shù)解決的問題，單層精度又不夠高，也只有增加層才能達到期望的結(jié)果。 (2)． 隱含層神經(jīng)元數(shù) 網(wǎng)絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得，這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。 為了對隱含層神經(jīng)元數(shù)在網(wǎng)絡設計時所起的作用有一個比較深入的理解，下面先給出一個有代表性的實 例，然后從中得出幾點結(jié)論。 例：用兩層 BP 網(wǎng)絡實現(xiàn)“異或”功能。 網(wǎng)絡要實現(xiàn)如下的輸人 l輸出功能： 對于一個二元輸入網(wǎng)絡來說，神經(jīng)元數(shù)即為分割線數(shù)。所以隱含層神經(jīng)元數(shù)應 ≥ 2。 通過改變隱含層的節(jié)點數(shù)做試驗，當 sl＝ 2， 3， 4， 5， 6 以及為 25和 30 時對網(wǎng)絡進行設計。選擇誤差目標為 err_goal＝ ，并通過對網(wǎng)絡訓武漢科技大學本科畢業(yè)設計 (論文 ) 第 27 頁 練 時所需的循環(huán)次數(shù)和訓練時間的情況來觀察網(wǎng)絡求解效果。整個網(wǎng)絡的訓練結(jié)果如表 21所示。 表 21 當 Sl ＝ 2， 3， 4， 5， 6， 20， 25， 30 時的訓練結(jié)果 我們評 價一個網(wǎng)絡設計的好壞，首先是它的精度，再一個就是訓練時間。從表 2l 中可以看出下面幾種情況： ① 神經(jīng)元數(shù)太少，網(wǎng)絡不能很好的學習，需要訓練的次數(shù)也多，訓練精度也不高； ② 一般而言，網(wǎng)絡隱含層神經(jīng)元的個數(shù) S1 越多，功能越大，但當神經(jīng)元數(shù)太多，會產(chǎn)生其他的問題 ③ 當 S1=3， 4， 5 時，其輸出精度都相仿，而 S1=3 是的訓練次數(shù)最多。 一般的講，網(wǎng)絡 sl 的選擇原則是：在能夠解決問題的前提下，再加上一個到兩個神經(jīng)元以加快誤差的下降速度即可。 (3)．初始權值的選取 一般取初始權值在 (1,1)之間的隨機數(shù)。 另 外，威得羅等人在分析了兩層網(wǎng)絡是如何對一個函數(shù)進行訓練后，提出一種選定初始權值的策略：選擇權值的量級為 ，其中 S1 為第一層神經(jīng)元數(shù)，r為輸入個數(shù)。 (4)．學習速率 學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權值變化量。大的學習速率可能導致系統(tǒng)的不穩(wěn)定；但小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于誤差最小值。所以一般情況下傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍是~。 對于較復雜的網(wǎng)絡，在誤差曲面的不同部位可能需要不同的學 習速率。為武漢科技大學本科畢業(yè)設計 (論文 ) 第 28 頁 了減少尋找學習速率的訓練次數(shù)以及訓練時間，比較合適的方法是采用變化 的自適應學習速率，使網(wǎng)絡的訓練在不同的階段設置不同大小的學習速率。 (5)．期望誤差的選取 在設計網(wǎng)絡的訓練過程中，期望誤差值也應當通過對比訓練后確定一個合適的值，這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡進行訓練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡 。 5. BP 網(wǎng)絡的限制與不足 (1)．需要較長的訓練時間 這主要是由于學習速率太小所造成的。可采用變 化的學習速率或自適應的學習速率來加以改進。 (2)．完全不能訓練 這主要表現(xiàn)在網(wǎng)絡的麻痹上。通常為了避免這種情況的產(chǎn)生，一是選取較小的初始權值，二是采用較小的學習速率。 (3)．局部最小值 采用多層網(wǎng)絡或較多的神經(jīng)元，有可能得到更好的結(jié)果。 6. B P 算法力改進 BP 算法改進的主要目標是為了加快訓練速度，避免陷入局部極小值和改善其他能力。本節(jié)只討論前兩種性能的改進方法的有關內(nèi)容 。 (1)．帶動量因子算法 該方法是在反向傳播法的基礎上在每一個權值的變化上加上一項正比于前次權之變化的值，并根據(jù)反向傳播法來產(chǎn)生 新的權值變化。帶有附加動量因子的權值調(diào)節(jié)公式為： () () 其中 k為訓練次數(shù)， mc 為動量因子，一般取 左右。 附加動量法的實質(zhì)是將最后一次權值變化的影響，通過一個動量團于來傳遞。以此方式，當增加動量項后，促使權值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當網(wǎng)絡權值進入誤差曲面底部的平坦區(qū)時， δ 將變得很小，于是， 武漢科技大學本科畢業(yè)設計 (論文 ) 第 29 頁 () 從而防止了 △ Wij(k)＝ 0 的出現(xiàn)，有助于使網(wǎng)絡從誤差曲面的局部極小值中跳出。 (2)．自適應學習速率 對于一個特定的問題，要選擇適當?shù)膶W習速率并不是一件容易的事情。對訓練開始初期功效很好的學習速率，不見得對后來的訓練合適。為了解決這一問題，人們自然會想到在訓練過程中自動調(diào)整學習速率。下面給出一個自適應學習速率的調(diào)整公式： () 其中 ?為學習速率，初始學習速率 ?(0)的選取范圍可以有很大的隨意性。 (3)．改變學習速率方法 學習 速率的局部調(diào)整法基于如下的幾個直觀的推斷： 目標函數(shù)中的每一個網(wǎng)絡可調(diào)參數(shù)有獨工的學習速率； 每一步迭代中，每個學習速率參數(shù)都能改變； 在連續(xù)幾次迭代中，若目標函數(shù)對某個權導數(shù)的符號相同，則這個權的學習速率要增加； 在連續(xù)幾次迭代中，若目標函數(shù)對某個權導數(shù)的符號相反，則這個權的學習速率要減小。 ① δ δ 規(guī)則 ； 設 αij(k)為 Wij(k)的學習速率，則 () 式中， γ 是一個正實數(shù)，成為學習速率調(diào)整步長。 上式的學習規(guī)則雖然和上述推斷一 致，但在應用時還存在一些潛在的問題。 例如，若在連續(xù)兩次迭代中，目標函數(shù)對某個權的導數(shù)具有相同的符號 ，武漢科技大學本科畢業(yè)設計 (論文 ) 第 30 頁 但他們的權值很小，則對應于那個權值的學習速率的正調(diào)整也很小。另一方面，若在兩次連續(xù)的迭代中，目標函數(shù)對某個權的導數(shù)具有相反的符號和很大的值，則對應于那個權學習速率的負調(diào)整也很大。在這兩種情況下，就難于選擇合適的步長參數(shù) γ。 上述問題可以用 δ barδ 方法來克服。 ② δ barδ 方法 令 Wij(k)為第 k 次迭代 i 神經(jīng)元到 j 神經(jīng)元連接權，令 αij(k)為這次迭代對應于該權的學習速率，學習速率可按如下調(diào)整 規(guī)則來確定： () () () 式 中， ξ 是一個正實數(shù)，參數(shù) a、 b 和 ξ 由使用者確定，典型值為 ： 104≤ a≤ ， ≤ b≤ 5， ≤ ξ ≤ 。 (4)．作用函數(shù)后縮法 () () 實驗證明，采用此方法，收斂時問平均可 減少 30％ ~50%。 武漢科技大學本科畢業(yè)設計 (論文 ) 第 31 頁 第三章 系統(tǒng)的實現(xiàn) 系統(tǒng)