【正文】 I 車輛牌照?qǐng)D像識(shí)別算法研究與實(shí)現(xiàn)摘要：近年來(lái)隨著國(guó)民經(jīng)濟(jì)的蓬勃發(fā)展，國(guó)內(nèi)高速公路、城市道路、停車場(chǎng)建設(shè)越來(lái)越多，對(duì)交通控制、安全管理的要求也日益提高。因此，汽車牌照識(shí)別技術(shù)在公共安全及交通管理中具有特別重要的實(shí)際應(yīng)用意義。對(duì)車牌定位，本文采用投影法對(duì)車牌進(jìn)行定位；在字符分割方面，本文使用閾值規(guī)則進(jìn)行字符分割；針對(duì)車牌圖像中數(shù)字字符識(shí)別的問(wèn)題，本文采用了基于 BP 神經(jīng)網(wǎng)絡(luò)的識(shí)別方法。實(shí)現(xiàn)了對(duì)車牌的定位和車牌中數(shù)字字符的識(shí)別。 On the characters segmentation, the liminal rule was used to divide the characters。 隨著汽車數(shù)量的急劇增加，車牌自動(dòng)識(shí)別(license plate recognition, LPR)技術(shù)日益成為交通管理自動(dòng)化的重要手段 [1]。通過(guò)車輛牌照自動(dòng)識(shí)別，就可以對(duì)運(yùn)動(dòng)車輛查詢相關(guān)的數(shù)據(jù)庫(kù)，根據(jù)提取的車輛信息，實(shí)現(xiàn)有針對(duì)性的車輛檢查，極大的提高工作人員的效率，降低工作強(qiáng)度，同時(shí)也減少了國(guó)家財(cái)政收入的流失，減少交通事故的發(fā)生以及加強(qiáng)社會(huì)治安。由于車牌自動(dòng)識(shí)別技術(shù)在智能化交通控制管理中發(fā)揮的重要作用，吸引了各國(guó)的科研工作者對(duì)其進(jìn)行廣泛的研究，目前已有眾多的算法，有些已應(yīng)用于交叉路口、車庫(kù)管理、路口收費(fèi)、高速公路等場(chǎng)合。但隨著計(jì)算機(jī)性能的提高和計(jì)算機(jī)視覺(jué)理論及技術(shù)的發(fā)展，這種技術(shù)必將日趨成熟。本課題是對(duì)汽車圖像進(jìn)行分析，從算法角度來(lái)研究車牌的定位與識(shí)別。當(dāng)系統(tǒng)發(fā)現(xiàn)有車時(shí)，圖像采集系統(tǒng)便開(kāi)始采集車輛牌照信息，得到的信息是圖像識(shí)別系統(tǒng)的輸入。在預(yù)處理的基礎(chǔ)上把圖像中的車牌從背景中分割出來(lái)。整套系統(tǒng)實(shí)際是一種硬件和軟件的集成。這樣一體化的結(jié)構(gòu)形式能在現(xiàn)實(shí)中降低對(duì)環(huán)境的要求。然而無(wú)論是 LPR 算法還是 LPR 產(chǎn)品都存在一定的局限性，都需要適應(yīng)新的要求而不斷完善。我國(guó)在 90 年代初期開(kāi)始了車輛牌照識(shí)別技術(shù)的研究。② 國(guó)外許多國(guó)家汽車牌照的底色和字符顏色通常只有對(duì)比度較強(qiáng)的兩種顏色，而我國(guó)汽車牌照僅底色就有藍(lán)、黃、黑、白等多種顏色，字符顏色也有黑、紅、白等幾種顏色。④我國(guó)汽車牌照的規(guī)范懸掛位置并不唯一，而且由于環(huán)境、道路或人為因素造成汽 西南科技大學(xué)本科生畢業(yè)論文 3車牌照污染的情況比較嚴(yán)重，這都給車牌識(shí)別造成了一定的難度。 本文主要工作及內(nèi)容安排本文主要研究車輛牌照識(shí)別系統(tǒng)中的數(shù)字識(shí)別技術(shù)，將數(shù)字圖像處理技術(shù)與模式識(shí)別技術(shù)緊密結(jié)合，針對(duì)汽車牌照字符識(shí)別的特點(diǎn)，分析了車牌定位與分割、字符分割、特征提取、BP神經(jīng)網(wǎng)絡(luò)等算法。文章在接下來(lái)的第二章介紹了車輛牌照的定位方法；第三章介紹了車輛牌照的字符分割算法；第四章介紹了車輛牌照數(shù)字字符的識(shí)別。文章在每一步處理后給出了實(shí)驗(yàn)結(jié)果，并給出了最后的識(shí)別結(jié)果。定位方法的研究與車牌特征和圖像處理技術(shù)是分不開(kāi)的。為此人們進(jìn)行了大量的研究，并取得了一定的成果。車牌的定位算法分為預(yù)處理、水平定位、垂直定位。 圖像輸入牌照區(qū)域定位 中值濾波 削弱背景干擾灰度圖像二值化彩色圖像灰度化裁減車牌子圖像圖 21 車輛牌照定位原理 車輛牌照?qǐng)D像的預(yù)處理為了使車牌能夠被精確定位，在定位搜索以前，要對(duì)車牌圖像進(jìn)行預(yù)處理。經(jīng)過(guò)以上的預(yù)處理，就可以對(duì)車牌進(jìn)行定位和分割處理。所謂灰度圖像就是圖像的每一個(gè)象素的RGB 分量的值是相等的?；叶葓D像沒(méi)有這些顏色差異，有的只是亮度上的不同。圖像灰度化有各種不同的算法，比較直接的一種是給象素的 RGB 值各自一個(gè)加權(quán)系數(shù)，然后求和。加權(quán)系數(shù)的取值是建立在人眼的視覺(jué)模型之上的，對(duì)于人眼較為敏感的綠色取較大的權(quán)值，對(duì)人眼較為不敏感的藍(lán)色則取較小的權(quán)值。應(yīng)該注意的是最后得到結(jié)果一定要?dú)w一到 0～255之內(nèi)。它的大小決定了象素的亮暗程度。圖像的二值化就是把圖像中的象素的灰度值根據(jù)一定的標(biāo)準(zhǔn)分化成兩種顏色。圖像的二值化有很多成熟的方法：可以采用閾值分割法，也可以采用給定閾值法。所謂局部閾值分割法是將原始圖像劃分成較小的圖像，并對(duì)每個(gè)子圖像選取相應(yīng)的閾值。局部閾值法常用的方法有灰度差直方圖法、微分直方圖法。根據(jù)閾值選擇方法的不同，可以分為模態(tài)方法、迭代式閾值選擇等方法。另外還有類間方差閾值分割法、二維最大熵分割法、模糊閾值分割法、共生矩陣分割法、區(qū)域生長(zhǎng)法等等。該閾值對(duì)不同牌照有一定的適應(yīng)性，能夠保maxGin證背景基本被置為 0，以突出牌照區(qū)域。 西南科技大學(xué)本科生畢業(yè)論文 8 消除背景干擾去除噪聲對(duì)二值化后的圖像進(jìn)行相鄰象素灰度值相減，得到新的圖像，左邊緣可以直接賦值，不會(huì)影響整體效果。 車輛牌照的定位方法簡(jiǎn)介經(jīng)過(guò)以上的預(yù)處理，我們就可以對(duì)圖像進(jìn)行車牌的定位和分割。其中，眾多算法都是利用了車牌自身異于背景區(qū)域的特征來(lái)進(jìn)行車牌定位的。車牌定位的算法基本上可以分為兩大類：第 1 類是通過(guò)一個(gè)步驟將車牌定位出來(lái)；第 2 類是通過(guò)兩個(gè)步驟將車牌定位出來(lái) [4]。其主要的算法介紹如下：(1)基于神經(jīng)網(wǎng)絡(luò)的車牌定位方法：該方法首先是用神經(jīng)網(wǎng)絡(luò)對(duì)大量的樣本圖像進(jìn)行訓(xùn)練，然后再進(jìn)行圖像預(yù)處理，最后用訓(xùn)練的神經(jīng)網(wǎng)絡(luò)提取真正的車牌區(qū)域。(2)基于模板匹配的車牌定位方法：該算法主要是設(shè)立一個(gè)滑動(dòng)窗口，該窗口有若干向量值，利用該窗口在汽車圖像上滑動(dòng)，并計(jì)算該窗口所覆蓋的那塊車牌圖像的向量值，找出最佳的向量值，認(rèn)為是車牌區(qū)域。這種方法的缺點(diǎn)是 Hough 變換計(jì)算量大，對(duì)于邊框不連續(xù)的實(shí)際車牌，需附加大量的運(yùn)算 [6]。該方法的缺點(diǎn)是對(duì)噪聲敏感，且牌照?qǐng)D像存在傾斜時(shí)，不能達(dá)到預(yù)期的效果。所謂粗定位 西南科技大學(xué)本科生畢業(yè)論文 9有兩種含義：第 1 種粗定位的含義就是從車輛圖像中找出車牌的大致位置，它并不要求非常精確的定位出車牌的位置，只需要給出包含車牌的相對(duì)較小或較大的一塊區(qū)域就達(dá)到目的；第 2 種粗定位的含義就是利用粗分割，即給出包含車牌區(qū)域在內(nèi)的若干候選區(qū)域，再?gòu)倪@些區(qū)域中提取車牌區(qū)域 [7]。 系統(tǒng)采用的定位方法在系統(tǒng)中，采用投影法來(lái)實(shí)現(xiàn)車輛牌照的定位。 車輛牌照的水平定位得到二值化圖像以后，首先把二值圖像投影到 y 軸。因此在車牌對(duì)應(yīng)的水平位置上會(huì)出現(xiàn)一個(gè)峰值，如圖 22 所示。所以問(wèn)題轉(zhuǎn)成確定低谷點(diǎn)的位置。窗口尺寸比較關(guān)鍵，選小了不足以平滑，選大了則會(huì)改變投影圖原有的基本變化特性。 ???nhnh找出其由正至負(fù)的點(diǎn)，也就是局部最小值。如何判決峰的獨(dú)立性呢？本文采取了 3 個(gè)判決依據(jù)：1. 獨(dú)立峰具有一定峰頂和峰谷的落差，當(dāng)局部最大值和鄰近的局部最小值的差大于閾值，則該局部最小值為谷底，反之則為毛刺。3．獨(dú)立峰具有一定的面積，這是因?yàn)樵诮?jīng)過(guò)邊緣提取，二值化后，在車牌區(qū)域具有明顯的紋理特征。但在光照不均勻或背景復(fù)雜的圖像中峰值特性就不是很明顯了。 車輛牌照的垂直定位 西南科技大學(xué)本科生畢業(yè)論文 10根據(jù)車牌的特征可以知道，車牌在垂直方向的投影呈現(xiàn)有規(guī)律的“峰、谷、峰”的分布。但在現(xiàn)實(shí)中得到二值圖像的“峰、谷、峰” 的特點(diǎn)并不十分明顯，采用這種方法對(duì)車牌的垂直位置進(jìn)行定位效果不是很好，本文考慮使用形態(tài)學(xué)與投影法相結(jié)合的方法來(lái)對(duì)車牌進(jìn)行垂直定位，下面簡(jiǎn)單介紹圖像形態(tài)學(xué) [9]。形態(tài)學(xué)的基本思想是使用具有一定形態(tài)的結(jié)構(gòu)元素來(lái)度量和提取圖像中的對(duì)應(yīng)形狀，從而達(dá)到對(duì)圖像進(jìn)行分析和識(shí)別的目的。使用形態(tài)學(xué)操作可以實(shí)現(xiàn)增強(qiáng)對(duì)比度、消除噪聲、細(xì)化、填充和分割等常用的圖像處理任務(wù)?；谶@些基本運(yùn)算還可以推導(dǎo)和組成各種數(shù)學(xué)形態(tài)學(xué)運(yùn)算方法。結(jié)構(gòu)元素是一個(gè)用來(lái)定義形態(tài)操作中所用到的鄰域的形狀和大小的矩陣，可以具有任意的大小和維數(shù)。膨脹膨脹的運(yùn)算符為“ ”，圖像集合 用結(jié)構(gòu)元素 來(lái)膨脹，記作 ，其定義?ABBA?見(jiàn)式（24 ），其中 表示 的映像，即與 關(guān)于原點(diǎn)對(duì)稱的集合。也就是說(shuō)，x用 來(lái)膨脹 得到的集合是 的位移與 至少有一個(gè)非零元素相交時(shí) 的原點(diǎn)的位^BAB置的集合。其中白色表示目標(biāo)，背景為黑色，結(jié)構(gòu)元素為一 33 正方形對(duì)象。Ax A腐蝕的操作效果如圖 24 所示，其中白色為目標(biāo)，黑色為背景，結(jié)構(gòu)元素為一33 正方形對(duì)象。開(kāi)啟和閉合操作的效果如圖 25 所示，其中白色為目標(biāo)，黑色為背景。 （a）原圖 （b）對(duì)原圖開(kāi)啟操作后 （c）對(duì)原圖閉合操作后 圖 25 圖像的開(kāi)啟、閉合操作的顯示效果再進(jìn)行二次膨脹運(yùn)算，由于膨脹的目的是要把車牌區(qū)域連通，因此使用的結(jié)構(gòu)算子和腐蝕的結(jié)構(gòu)算子不一樣，要略大一些?？梢园l(fā)現(xiàn)車牌在圖像中形成了一個(gè)塊狀區(qū)域。將得到的圖像再投影到垂直方向，再根據(jù)車牌的寬度信息，設(shè)定一個(gè)范圍，可以把這個(gè)范圍設(shè)置大些，這是因?yàn)榻?jīng)過(guò)形態(tài)學(xué)變化后，車牌的長(zhǎng)度會(huì)變大，而且有可能把附近的一些雜點(diǎn)連在一起了，從而增大了車牌連通區(qū)域的長(zhǎng)度，如果范圍定 西南科技大學(xué)本科生畢業(yè)論文 13的太小，就有可能檢測(cè)不到車牌區(qū)域 [10]。實(shí)驗(yàn)中水平方向上的定位函數(shù)為 HprojectDIB()；垂直方向上的定位函數(shù)為VprojectDIB()；定位以后分割過(guò)程所用的函數(shù)為 TempSubert()；iTop 和 iBottom 分別是車牌的上下邊緣，iLeft 和 iRight 為車牌的左右邊緣。圖像定位算法流程圖如圖 27 所示。實(shí)驗(yàn)表明，投影法基本上實(shí)現(xiàn)了車輛牌照的定位，但同時(shí)不難看出被定位的車牌還包括車牌邊框，與理想要求還有很大差距，如果在這些車牌上進(jìn)行字符分割，將會(huì)有很大的困難。圖 28 定位前后的圖像 西南科技大學(xué)本科生畢業(yè)論文 16第 3 章 車輛牌照的字符分割在做字符分割以前，必須對(duì)定位出來(lái)的圖像做進(jìn)一步的處理，要對(duì)車牌做去邊框處理、去噪聲處理、梯度銳化、傾斜度調(diào)整等預(yù)處理才能進(jìn)行字符分割。濾除上下邊框?qū)z測(cè)到的二值牌照?qǐng)D像進(jìn)行水平投影，在 0IHeight 的范圍內(nèi)，計(jì)算各sum[I]，( sum[I]為從 0 到 Width 的范圍內(nèi)，二值化牌照?qǐng)D像的白像素點(diǎn)數(shù))然后，將所有的 sum[I]累加起來(lái)，記為一值，然后將該值除以 2*Height(2/3)*Height，如果sum[I]小于該商，就令該 sum[I]為 0。濾除左右邊框?yàn)V除左右邊框的方法與濾除上下邊框的方法類似，只是閾值有些不同，不再贅述。通常去噪聲用濾波的方法，比如空間域?yàn)V波和同態(tài)濾波。下面介紹幾種常用的濾波方法。它的作用有兩種：一種是模糊；另一種是消除噪聲。鄰域的大小與平滑的效果直接相關(guān)，鄰域越大平滑的效果越好，但鄰域過(guò)大，平滑會(huì)使邊緣信息損失的越大，從而使輸出的圖像變得模糊，因此需要合理選擇鄰域的大小。如果圖像中的噪聲是隨機(jī)不相關(guān)的加性噪聲，窗口內(nèi)各點(diǎn)噪聲是獨(dú)立分布的，經(jīng)過(guò)上述模板平滑后，信號(hào)與噪聲的方差比可提高許多倍。而且， （3???????014M???????1081）隨著鄰域的增大，雖然增強(qiáng)了去噪聲的能力，但同時(shí)模糊程度也更嚴(yán)重。同樣的，可以采用在空間域?qū)D像進(jìn)行濾波的方法，只不過(guò)這時(shí)采用的沖激響應(yīng)陣列與空間域低通濾波時(shí)所采用的完全不同。但是，對(duì)圖像進(jìn)行空間域的高通濾波，在增強(qiáng)圖像邊緣的同時(shí)，孤立的噪聲點(diǎn)也得到了增強(qiáng)。但中值濾波的計(jì)算不是加權(quán)求和，而是把它鄰域內(nèi)的所有像素按灰度值進(jìn)行排序，然后取該組的中間值作為鄰域中心像素點(diǎn)的輸出值。如果圖像的噪聲多是孤立的點(diǎn)，這些點(diǎn)對(duì)應(yīng)的像素又很少，而圖像則是由像素較多、面積較大的塊構(gòu)成，中值濾波效果很好。同態(tài)濾波以圖像的照明反射模型作為頻域處理的基礎(chǔ)，它在數(shù)字圖像處理中有著十分重要的應(yīng)用。 西南科技大學(xué)本科生畢業(yè)論文 18去除噪聲處理要根據(jù)不同的噪聲特點(diǎn)選取合適的方法。具體的算法如下：掃描整個(gè)圖像，當(dāng)發(fā)現(xiàn)一個(gè)黑色點(diǎn)的時(shí)候就考察和該點(diǎn)直接或間接相連接的黑色點(diǎn)的個(gè)數(shù)有多少，如果大于一定的值，就說(shuō)明該點(diǎn)不是離散點(diǎn)，否則就是離散點(diǎn)，把它去除掉。 西南科技大學(xué)本科生畢業(yè)論文 19 梯度銳化我們所得到的二值化圖像的字體一般是比較模糊的，對(duì)識(shí)別造成了一定的困難，所以有時(shí)要對(duì)圖像進(jìn)行銳化處理使模糊的圖像變得清晰，同時(shí)可以對(duì)噪聲起到一定的抑制和去除作用。梯度對(duì)應(yīng)一階導(dǎo)數(shù)，梯度算子是一階導(dǎo)數(shù)算子。在實(shí)際中常用小區(qū)域模板卷積來(lái)近似計(jì)算。根據(jù)模板的大小，其中元素值的不同，人們提出了許多種不同的算子如圖 31。算子運(yùn)算時(shí)是采用類似卷積的方式，將模板在圖像上移動(dòng)并在每個(gè)位置計(jì)算中心象素的梯度值。 1 11 1 1 11 11 1