【導(dǎo)讀】為了對(duì)車牌字符的識(shí)別，本文將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于汽車車牌的自動(dòng)識(shí)別，首先將訓(xùn)練樣本做圖像預(yù)處理，對(duì)車牌上的字符進(jìn)行分割，得到單。對(duì)大小不一的字符做歸一化后，對(duì)字符進(jìn)行特征提取，把長(zhǎng)為15，寬。把這個(gè)特征向量送到BP網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到了訓(xùn)練好的權(quán)值，把他。保存到“”和“”中。然后打開要識(shí)別的圖片（即車牌），對(duì)圖。識(shí)別率也在90%以上，表明該方法的有效性。

　　

【正文】 () () 上式中， △ Wij為權(quán)值的改變， α 為學(xué)習(xí)系數(shù)， Vi是當(dāng)前神經(jīng)元的興奮度， δ是實(shí)際輸出與期望輸出的偏差。 BP 神經(jīng)網(wǎng)絡(luò) BP 網(wǎng)絡(luò)是應(yīng)用中經(jīng)常碰到的，這一節(jié)將詳細(xì)介紹一下 BP 網(wǎng)絡(luò)。 1． BP網(wǎng)絡(luò)模型 BP 神經(jīng)網(wǎng)絡(luò)模型見圖 圖 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 可以看出， BP 網(wǎng)絡(luò)一般情況下有一個(gè)輸入層，一個(gè)隱藏層（有時(shí)是兩個(gè)或更多），一個(gè)輸出層。 2．輸入輸出關(guān)系 IH（輸入層到隱藏層） () () HO（隱藏層導(dǎo)輸出層） () 其中，輸人層神經(jīng)元個(gè)數(shù)為 n，隱含層神經(jīng)元個(gè)數(shù)為 n1，輸出層神經(jīng)元個(gè)數(shù)為 S2。 3．網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練 前面已經(jīng)說(shuō)過(guò)，神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題之一是權(quán)值的確定。下面，討論一下武漢科技大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 第 25 頁(yè) BP網(wǎng)絡(luò)中的權(quán)值確定方法。 我們假定輸入 q組本 p1,p2,? ,pq， pi Rn， 期望輸出為 T1,T2,? ,Tq，這里 T Rs2， 網(wǎng)絡(luò)的實(shí)際輸出為 a21,a22,? ,a2q,a2 Rs2。 評(píng)價(jià)的準(zhǔn)則是誤差最小，所以網(wǎng)絡(luò)訓(xùn)練的實(shí)質(zhì)轉(zhuǎn)化為一個(gè)優(yōu)化問(wèn)題。這里考慮用梯 度法（ Gradient）來(lái)找出誤差與 加權(quán)系數(shù)的關(guān)系，以得到加權(quán)系數(shù) 改變的規(guī)律。 定義誤差函數(shù)為： () 我們利用剃度下降法求權(quán)值的變化及誤差的反向傳播。 (1)．輸出層的權(quán)值變化 從第 i個(gè)輸入到第 k個(gè)輸出的權(quán)值改變有： () 同理可得： () (2)．隱含層權(quán)值變化 () 其中， 同理可得， 。 武漢科技大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 第 26 頁(yè) (3)．解釋 輸出層誤差 ej(j=1S2) 隱含層誤差 ei(i=1n2), 這里，可以認(rèn)為 ei 是由 ej 加權(quán)組合形成的，由于作用函數(shù)的存在， ej 的等效作用為 δ ji=ejf ‘()。 4． BP網(wǎng)絡(luò)的設(shè)計(jì)問(wèn)題 在進(jìn)行 BP 網(wǎng)絡(luò)的設(shè)計(jì)時(shí)，一般應(yīng)從網(wǎng)絡(luò)的層數(shù)，每層中的神經(jīng)元個(gè)數(shù)和激活函數(shù)、初始值以及學(xué)習(xí)速率等幾個(gè)方面來(lái)進(jìn)行考慮。下面討論各自的選取原則。 (1)．網(wǎng)絡(luò)的層數(shù) 理論上已經(jīng)證明：具有偏差和至少一個(gè) S 型隱含層加上一個(gè)線性輸入層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)可以進(jìn)一步的降低誤差 ，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化。另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題。因?yàn)槟苡脝螌泳W(wǎng)絡(luò)完美解決的問(wèn)題，用自適應(yīng)線性網(wǎng)絡(luò)也一定能解決，而且自適應(yīng)線性網(wǎng)絡(luò)的運(yùn)算速度還要快。而對(duì)于只能用非線性函數(shù)解決的問(wèn)題，單層精度又不夠高，也只有增加層才能達(dá)到期望的結(jié)果。 (2)． 隱含層神經(jīng)元數(shù) 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過(guò)采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來(lái)獲得，這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡(jiǎn)單得多。 為了對(duì)隱含層神經(jīng)元數(shù)在網(wǎng)絡(luò)設(shè)計(jì)時(shí)所起的作用有一個(gè)比較深入的理解，下面先給出一個(gè)有代表性的實(shí)例 ，然后從中得出幾點(diǎn)結(jié)論。 例：用兩層 BP 網(wǎng)絡(luò)實(shí)現(xiàn)“異或”功能。 網(wǎng)絡(luò)要實(shí)現(xiàn)如下的輸人 l輸出功能： 對(duì)于一個(gè)二元輸入網(wǎng)絡(luò)來(lái)說(shuō)，神經(jīng)元數(shù)即為分割線數(shù)。所以隱含層神經(jīng)元數(shù)應(yīng) ≥ 2。 通過(guò)改變隱含層的節(jié)點(diǎn)數(shù)做試驗(yàn)，當(dāng) sl＝ 2， 3， 4， 5， 6 以及為 25和 30 時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)。選擇誤差目標(biāo)為 err_goal＝ ，并通過(guò)對(duì)網(wǎng)絡(luò)訓(xùn)武漢科技大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 第 27 頁(yè) 練 時(shí)所需的循環(huán)次數(shù)和訓(xùn)練時(shí)間的情況來(lái)觀察網(wǎng)絡(luò)求解效果。整個(gè)網(wǎng)絡(luò)的訓(xùn)練結(jié)果如表 21所示。 表 21 當(dāng) Sl ＝ 2， 3， 4， 5， 6， 20， 25， 30 時(shí)的訓(xùn)練結(jié)果 我們?cè)u(píng)價(jià) 一個(gè)網(wǎng)絡(luò)設(shè)計(jì)的好壞，首先是它的精度，再一個(gè)就是訓(xùn)練時(shí)間。從表 2l 中可以看出下面幾種情況： ① 神經(jīng)元數(shù)太少，網(wǎng)絡(luò)不能很好的學(xué)習(xí)，需要訓(xùn)練的次數(shù)也多，訓(xùn)練精度也不高； ② 一般而言，網(wǎng)絡(luò)隱含層神經(jīng)元的個(gè)數(shù) S1 越多，功能越大，但當(dāng)神經(jīng)元數(shù)太多，會(huì)產(chǎn)生其他的問(wèn)題 ③ 當(dāng) S1=3， 4， 5 時(shí)，其輸出精度都相仿，而 S1=3 是的訓(xùn)練次數(shù)最多。 一般的講，網(wǎng)絡(luò) sl 的選擇原則是：在能夠解決問(wèn)題的前提下，再加上一個(gè)到兩個(gè)神經(jīng)元以加快誤差的下降速度即可。 (3)．初始權(quán)值的選取 一般取初始權(quán)值在 (1,1)之間的隨機(jī)數(shù)。 另外 ，威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略：選擇權(quán)值的量級(jí)為 ，其中 S1 為第一層神經(jīng)元數(shù)，r為輸入個(gè)數(shù)。 (4)．學(xué)習(xí)速率 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于誤差最小值。所以一般情況下傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍是~。 對(duì)于較復(fù)雜的網(wǎng)絡(luò)，在誤差曲面的不同部位可能需要不同的學(xué)習(xí) 速率。為武漢科技大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 第 28 頁(yè) 了減少尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用變化 的自適應(yīng)學(xué)習(xí)速率，使網(wǎng)絡(luò)的訓(xùn)練在不同的階段設(shè)置不同大小的學(xué)習(xí)速率。 (5)．期望誤差的選取 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也應(yīng)當(dāng)通過(guò)對(duì)比訓(xùn)練后確定一個(gè)合適的值，這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定的。一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)綜合因素的考慮來(lái)確定采用其中一個(gè)網(wǎng)絡(luò) 。 5. BP 網(wǎng)絡(luò)的限制與不足 (1)．需要較長(zhǎng)的訓(xùn)練時(shí)間 這主要是由于學(xué)習(xí)速率太小所造成的?？刹捎米兓?的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率來(lái)加以改進(jìn)。 (2)．完全不能訓(xùn)練 這主要表現(xiàn)在網(wǎng)絡(luò)的麻痹上。通常為了避免這種情況的產(chǎn)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率。 (3)．局部最小值 采用多層網(wǎng)絡(luò)或較多的神經(jīng)元，有可能得到更好的結(jié)果。 6. B P 算法力改進(jìn) BP 算法改進(jìn)的主要目標(biāo)是為了加快訓(xùn)練速度，避免陷入局部極小值和改善其他能力。本節(jié)只討論前兩種性能的改進(jìn)方法的有關(guān)內(nèi)容 。 (1)．帶動(dòng)量因子算法 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)之變化的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新 的權(quán)值變化。帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式為： () () 其中 k為訓(xùn)練次數(shù)， mc 為動(dòng)量因子，一般取 左右。 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過(guò)一個(gè)動(dòng)量團(tuán)于來(lái)傳遞。以此方式，當(dāng)增加動(dòng)量項(xiàng)后，促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí)， δ 將變得很小，于是， 武漢科技大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 第 29 頁(yè) () 從而防止了 △ Wij(k)＝ 0 的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出。 (2)．自適應(yīng)學(xué)習(xí)速率 對(duì)于一個(gè)特定的問(wèn)題，要選擇適當(dāng)?shù)膶W(xué)習(xí)速率并不是一件容易的事情。對(duì)訓(xùn)練開始初期功效很好的學(xué)習(xí)速率，不見得對(duì)后來(lái)的訓(xùn)練合適。為了解決這一問(wèn)題，人們自然會(huì)想到在訓(xùn)練過(guò)程中自動(dòng)調(diào)整學(xué)習(xí)速率。下面給出一個(gè)自適應(yīng)學(xué)習(xí)速率的調(diào)整公式： () 其中 ?為學(xué)習(xí)速率，初始學(xué)習(xí)速率 ?(0)的選取范圍可以有很大的隨意性。 (3)．改變學(xué)習(xí)速率方法 學(xué)習(xí)速 率的局部調(diào)整法基于如下的幾個(gè)直觀的推斷： 目標(biāo)函數(shù)中的每一個(gè)網(wǎng)絡(luò)可調(diào)參數(shù)有獨(dú)工的學(xué)習(xí)速率； 每一步迭代中，每個(gè)學(xué)習(xí)速率參數(shù)都能改變； 在連續(xù)幾次迭代中，若目標(biāo)函數(shù)對(duì)某個(gè)權(quán)導(dǎo)數(shù)的符號(hào)相同，則這個(gè)權(quán)的學(xué)習(xí)速率要增加； 在連續(xù)幾次迭代中，若目標(biāo)函數(shù)對(duì)某個(gè)權(quán)導(dǎo)數(shù)的符號(hào)相反，則這個(gè)權(quán)的學(xué)習(xí)速率要減小。 ① δ δ 規(guī)則 ； 設(shè) αij(k)為 Wij(k)的學(xué)習(xí)速率，則 () 式中， γ 是一個(gè)正實(shí)數(shù)，成為學(xué)習(xí)速率調(diào)整步長(zhǎng)。 上式的學(xué)習(xí)規(guī)則雖然和上述推斷一致 ，但在應(yīng)用時(shí)還存在一些潛在的問(wèn)題。 例如，若在連續(xù)兩次迭代中，目標(biāo)函數(shù)對(duì)某個(gè)權(quán)的導(dǎo)數(shù)具有相同的符號(hào) ，武漢科技大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 第 30 頁(yè) 但他們的權(quán)值很小，則對(duì)應(yīng)于那個(gè)權(quán)值的學(xué)習(xí)速率的正調(diào)整也很小。另一方面，若在兩次連續(xù)的迭代中，目標(biāo)函數(shù)對(duì)某個(gè)權(quán)的導(dǎo)數(shù)具有相反的符號(hào)和很大的值，則對(duì)應(yīng)于那個(gè)權(quán)學(xué)習(xí)速率的負(fù)調(diào)整也很大。在這兩種情況下，就難于選擇合適的步長(zhǎng)參數(shù) γ。 上述問(wèn)題可以用 δ barδ 方法來(lái)克服。 ② δ barδ 方法 令 Wij(k)為第 k 次迭代 i 神經(jīng)元到 j 神經(jīng)元連接權(quán)，令 αij(k)為這次迭代對(duì)應(yīng)于該權(quán)的學(xué)習(xí)速率，學(xué)習(xí)速率可按如下調(diào)整規(guī) 則來(lái)確定： () () () 式 中， ξ 是一個(gè)正實(shí)數(shù)，參數(shù) a、 b 和 ξ 由使用者確定，典型值為 ： 104≤ a≤ ， ≤ b≤ 5， ≤ ξ ≤ 。 (4)．作用函數(shù)后縮法 () () 實(shí)驗(yàn)證明，采用此方法，收斂時(shí)問(wèn)平均可 減少 30％ ~50%。 武漢科技大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 第 31 頁(yè) 第三章 系統(tǒng)的實(shí)現(xiàn) 系統(tǒng)流程圖 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別的過(guò)程