【正文】 ment and taken the position and vehicle speed it also can satisfy the timely requirement. In this paper, my work is focused on the image processing based on MATLAB emulator. Three problems were analyzed, which are license locating, segmentation and character recognition. Before license locating, artificial neural work (ANN) is adopted to handle the image, then the information of license plate is obtained in evidence. To locate the license plate, the inherent features of license plate being used, and then use mathematical morphology to locate the license plate accurately。然后結(jié)合牌照自身的一些固有特征，用形態(tài)學(xué)的方法進(jìn)行了車牌區(qū)域的準(zhǔn)確定位；對定位得到的車牌，再次結(jié)合牌照內(nèi)部細(xì)節(jié)特征，對車牌進(jìn)行投影，從而得到了車牌較為完整的分割 。由于汽車牌照是機(jī)動車輛管理的主要標(biāo)志符號之一，因此對車輛牌照識別系統(tǒng)的研究就尤為重要，該研究的核心是提高車牌識別準(zhǔn)確性，這就需要識別算法能夠?qū)Νh(huán)境光照條件，拍攝位置和車輛行駛速度等因素的影響有較大的魯棒性，并能夠滿足實(shí)時(shí)性的要求。 本文設(shè)計(jì)的主要內(nèi)容包括：運(yùn)用 MATLAB 仿真軟件對后臺圖像進(jìn)行高速，準(zhǔn)確的處理。最后在車牌字符識別階段，以現(xiàn)今比較流行的神經(jīng)網(wǎng)絡(luò)為理論基礎(chǔ)，在原有的神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ)上進(jìn)行有效改進(jìn)。 According to the inside features of locating license plate, the platearea is pop out by project the license plate。該系統(tǒng)的應(yīng)用要求對車牌正確識別具有較高的識別率。 LPR 技術(shù)隸屬于于智能交通系統(tǒng)，也是車輛自動識別技術(shù) (automatic vehicle identification， AVL)的重要組成部分，它在現(xiàn)代交通監(jiān)管及管理中發(fā)揮著越來越大的作用。在不影響汽車狀態(tài)的情況下，大部分 LPR 系統(tǒng)的工作由計(jì)算機(jī)自動完成，從而可降低工作復(fù)雜度。 因此，本課題的研究對于提高城市交通管理水平，維護(hù)城市環(huán)境清潔，加快交通管理，環(huán)境保護(hù)現(xiàn)代化步伐具有很重要的實(shí)際使用價(jià)值。目前這三方面的研究情況大致如下： 車牌定位技術(shù) 在對實(shí)際車牌區(qū)域定位之前，需要進(jìn)行相應(yīng)的預(yù)處理。目前所利用的車牌特征主要分為空域特征和變換域特征兩大類其中空域特征主要有： （ 1）車牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計(jì)特征，車牌區(qū)域內(nèi)的邊緣灰度直方圖具有兩個(gè)明顯且分離的分布中心，可以較好地提取邊緣。 （ 5）車牌的幾何特征，即車牌的高、寬以及高寬比，應(yīng)在一定的范圍內(nèi)。車牌定位方法涉及到的具體方法有：區(qū)域生長法，構(gòu)造灰度模型法 ，二值圖像的數(shù)學(xué)形態(tài)學(xué)運(yùn)算法，灰度圖像的數(shù)學(xué)形態(tài)學(xué)運(yùn)算法，自適應(yīng)邊界搜索法， DFT 變換法，模糊聚類法等。在理論上，利用垂直投影法對斷裂字符 進(jìn)行分割應(yīng)具有較好效果；但是對于字符區(qū)域連接緊密的字符的分割利用投影法可能效果比較差，可以利用模板的方法或者回溯的方法來進(jìn)行處理。在實(shí)際應(yīng)用中，為提高 正確率，往往必須使用多個(gè)模板進(jìn)行匹配，而處理時(shí)間則隨著模板個(gè)數(shù)的增加而增加?；谔卣髌ヅ涞乃惴ㄐ时饶０?匹配算法效果更好，但是特征的正確提取比較困難。這種網(wǎng)絡(luò)的識別效果與字符特征的提取有關(guān)，而字符特征的提取比較困難。 。 。另外日本，加拿大、德國、意大利、英國等各個(gè)西方發(fā)達(dá)國家都有適合本國車牌的識別系統(tǒng)。同時(shí)，各大高校如西安交通大學(xué)的圖像處理和識別研究室、上海交通大學(xué)的計(jì)算機(jī)科學(xué)和工程系、清華大學(xué)人工智能國家重點(diǎn)實(shí)驗(yàn)室、浙江大學(xué)的自動化系等也做過類似的相關(guān)研究。 本文研究的內(nèi)容 由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的自組織學(xué)習(xí)能力、容錯性、魯棒性及非線性處 6 理等優(yōu)點(diǎn)，所以本文選擇了神經(jīng)網(wǎng)絡(luò)技術(shù)作為研究的主要方法，在此基礎(chǔ)上，詳細(xì)研究了車牌識別算法的實(shí)現(xiàn)方法，主要包括車輛牌照的分割與提取和車牌字符的識別。 。之后用投影特征圖得到分割后的字符，為了方便下步的處理，本文隨后采用了字符歸一化的技術(shù)。 7 第二章 車牌預(yù)處理及定位與分割算法研究 圖像預(yù)處理 采集的車牌圖像在進(jìn)行定位、分割、識別之前需要對原圖像預(yù)處理，這是因?yàn)橐恍┲T如車牌本身問題及拍攝環(huán)境條件等因素的影響，導(dǎo)致圖片模糊，無法直接進(jìn)行車牌的定位及后續(xù)的處理工作。彩色圖像包含大量的顏色信息，它的每個(gè)像素都包含三個(gè)不同的顏色分量 R、 G、 B，占用的存儲空間比較大，對其進(jìn)行處理時(shí)會降低系統(tǒng)的執(zhí)行速度。進(jìn)行灰度轉(zhuǎn)換時(shí)使用如公式 (21)： Y = R + + (21) 灰度化效果如圖 21 所示。 二值化效果如圖 22 所示 圖 22 二值化處理 均值濾波 濾波是一種對圖像進(jìn)行增強(qiáng)的算法，通過對圖像進(jìn)行濾波處理可以實(shí)現(xiàn)圖像的光滑、銳化。它是一門建立在嚴(yán)格數(shù)學(xué)理論基礎(chǔ)上的學(xué)科，其基本思想和方法對圖像處理的理論和技術(shù)產(chǎn)生了重大的影響。數(shù)學(xué)形態(tài)學(xué)運(yùn)算的效果由結(jié)構(gòu)元素的大小和邏輯運(yùn)算決定，通常有膨脹運(yùn)算、腐蝕運(yùn)算、開運(yùn)算和閉運(yùn)算。定義結(jié)構(gòu) A 被結(jié)構(gòu) B 腐蝕表示為 AΘ B，數(shù)學(xué)形式可表示為： (23) 10 (3)開運(yùn)算 該運(yùn)算是先進(jìn)行腐蝕運(yùn)算再進(jìn)行膨脹運(yùn)算的結(jié)合過程，作用是可以消除圖像中一些孤立的毛刺以及小點(diǎn)，同時(shí)可以連通兩塊或幾塊區(qū)域中的小點(diǎn)，使較大物體圖像的邊界得到平滑，同時(shí)，總的位置和形狀沒有改變。目前廣泛使用的邊緣檢測的方法有以下幾種： Robert 算子， Sobel 算子， Canny 算子， Prewitt 算子， log 算子等。現(xiàn)在常用的車牌定位算法有基于字符紋理的定位、基于數(shù)學(xué)形態(tài)學(xué)的定位、基于邊緣檢測的定位、基于顏色空間的定位等方法。牌照的規(guī)格也各不相同，各種字符的組合多種多樣，概括起來具有以下一些特征： ①車牌 中均為七個(gè)字符，常規(guī)情況第一個(gè)字符為漢字，第二個(gè)字符為字母，第三個(gè)到第七個(gè)字符為字母或者數(shù)字； ②車牌中七個(gè)字符的外接矩形相同，高度和寬度的比例相同（除“ 1”外）； ③車牌的牌照架，以前是根據(jù)車主的要求牌照架有所不同，有的還沒有安裝牌照架，這不適合利用邊框信息進(jìn)行字符分割。 基于垂直投影的字符分割算法 由于字符塊在豎直方向上的投影不僅在字符間取得局部最 小值，而且在字符內(nèi)的間隙處也能取得局部最小值。 （ 2）從左到右取投影圖外圍包絡(luò)線的波谷點(diǎn)，并將這些波谷點(diǎn)按照橫坐標(biāo)值升序排列。 （ 6）輸出分割后的字符圖像。 基于連通域的字符分割算法 車牌上的字符除了第一個(gè)是漢字外，其它的都是字母或數(shù)字，即在理想狀態(tài)下是“全”連通的。 （ 2）計(jì)算的每矩形地周圍邊境，并分別記為 A(i)l和 A(i)r。 （ 5）輸出分割后的字符圖像。另外，對字符粘連所產(chǎn)生大的連通域可以考慮重新選取閾值再進(jìn)行切分的方法。 圖像預(yù)處理 傾斜校正和水平切割后，需要牌照圖像二值化，轉(zhuǎn)化為黑底色白字對不同顏色的牌照處理，采用 CASDA 算法進(jìn)行二值化處理，然后計(jì)算二值化后的圖像垂直投影，結(jié)果如圖 31 所示。假設(shè)車牌圖像在二值化過程中某一字符有下列某種情況：①如果 發(fā)生字符斷裂，使字符分成上下兩個(gè)部分，那么使用連通域算法進(jìn)行字符分割時(shí)，會將一個(gè)字符判別為兩個(gè)字符，而使用垂直投影算法則不受此影響。為此，引入優(yōu)割字符的概念。 在確定出優(yōu)割字符寬度之后，在車牌圖像二值化圖像的垂直投影圖中， 16 將符合優(yōu)割字符條件的區(qū)域進(jìn)行標(biāo)注，這些區(qū)域?yàn)樽址指顣r(shí)的優(yōu)先選擇區(qū)域。由于優(yōu)割字符并不一定就是最后分割出的字符，有時(shí)車牌的邊框等也滿足優(yōu)割字符的條件，但它并不是一個(gè)車牌字符，因此，需要將這些偽字符在后續(xù)處理中剔除。由于車牌自身?xiàng)l件的約 束，評判都是在很少的次數(shù)內(nèi)結(jié)束，評判次數(shù)由車牌粗定位的效果決定，如果車牌定位后的圖像中車牌左右殘留部分較大，那么字符分割的評判次數(shù)就多，反之次數(shù)很少。調(diào)整的方法為：首先計(jì)算除該字符外的其余六個(gè)字符的平均字符寬度及平均字符空隙寬度。本文將所有分割出的字符圖像全部歸一化為 16 32 大小，并采用 POSHE 算法對字符圖像進(jìn)行亮度歸一化。圖像分割結(jié)果如表 31 所示。通過實(shí)驗(yàn)可知，一些受光照影響和模糊的車牌，其二值化圖像中斷裂和粘連嚴(yán)重，但在新方法下均能得到正確的分割。 a 定位結(jié)果圖像 b 分割結(jié)果圖像 圖 35 部分圖像分割效果圖 從圖 35 可以看出，本文研究的方法對圖像中字符模糊及光照不均勻等 19 有很強(qiáng)的魯棒性能，分割效果良好。但在實(shí)際的處理中，我們要識別的車牌字符情況比較復(fù)雜，可能會存在較大的畸變、噪聲干擾、多余邊緣等問題，同時(shí)，字符的切分又是在水平和豎直兩個(gè)方向上將單個(gè)字符區(qū)域給框起來。為了提高字符識別的正確率，對發(fā)生傾斜角度的牌照進(jìn)行糾正是非常必要的。反過來，參數(shù)空間相交于一點(diǎn)的所有直線在圖像空間里都有共線的點(diǎn)與之對應(yīng)。通過判斷這個(gè)局部最大值，可得到與該直線對應(yīng)的一對參數(shù) ? ???， ，從而檢測出該直線。 (4)通過求取車牌上各字符連通區(qū)域的中心點(diǎn)，然后擬合為直線來確定車牌的傾斜角 [8]。為了從字符行傾斜度恢復(fù)車牌原貌，本文采取從多個(gè)角度來對圖像傾斜的方向掃描，然后分別記錄個(gè)掃描平行線組中具有車牌字符信息的行數(shù)，對應(yīng)的字符行數(shù)目 最多的掃描角度就是圖像的傾斜角度。校正采取的方法是以圖像的中心或原點(diǎn)為中心，以車牌傾斜角度為基準(zhǔn)，對圖像進(jìn)行旋轉(zhuǎn)。對定位后的牌照圖像進(jìn)行行組掃描，初始化一個(gè)數(shù)組。目前的字符分割算法，較常用的可以分成兩大類。這種分割的方法成功率較高，且受圖像的噪聲干擾較小，但是這種方法須進(jìn)行預(yù)定 義，不能夠自適應(yīng)。 這樣，利用垂直投影法對斷裂字符進(jìn)行分割才會有較好的效果。 本文采用垂直投影法，對于二值化后的圖像，由于每個(gè)字符塊在垂直方向的投影必然在字符間或字符內(nèi)的間隙處取得 局部最小值，依據(jù)此并結(jié)合字符牌照固有的上述特征等先驗(yàn)知識，采取如下步驟來實(shí)現(xiàn)字符的分割。和右邊界 rightline，并得到字符區(qū)域的總長度 platewidth 為 :rightlinleftline； 26 charwidh，字符間距 charspace，第二，第三字符間距 bigcharspace。根據(jù)已計(jì)算出的 charwidth，從第二個(gè)字符右邊界開始，向左檢測出第二個(gè)字符的左邊界，并依次類推，結(jié)合 charspace 得到第一個(gè)字符的左右邊界；同理，以第三個(gè)字符的左邊界為基準(zhǔn)得到后 5 個(gè)字符的左右邊界。 字符的歸一化 目標(biāo)圖像長由于初始拍攝距離和角度的不同，會引起車牌字符的尺寸有不同程度的差別，車牌大小不一會給后期的車牌字符識別帶來一定的困難，因此，為了把在前述提取到的車牌圖像中的字符調(diào)整到與后續(xù)神經(jīng)網(wǎng)絡(luò)中的標(biāo)準(zhǔn)模板中的字符特征一致，在車牌字符識別過程之前，需要先將車牌尺寸歸一化 20x16 的點(diǎn)陣。歸一化的過程有兩步，分別是：分裂 (split)和合并 (merge)。設(shè) f（ x， y）為原始圖像， g(x,， y)為歸一化后的圖像， (x1， y1)為 g(x， y)中任意一點(diǎn)，對應(yīng) f(x， y)中的點(diǎn) (x0， y0)。 鄰近插值法中歸一化的圖像 g(x， y)，其點(diǎn) (x1， y1)是由 (x0， y0)鄰接的4 個(gè)點(diǎn) (m， n)， (m+1， n)， (m， n+1)， (m+1， n+1)中幾何距離最接近它的點(diǎn)的灰度值來近似。 圖 48 歸一化前的單個(gè)車 牌字符 圖 49 歸一化后的單個(gè)車牌字符 30 第五章 汽車牌照的字符識別 汽車圖像經(jīng)過預(yù)處理、車牌定位、字符分割后，得到單個(gè)的歸一化字符，隨后就要進(jìn)入汽車牌照識別中的最重要的環(huán)節(jié)，字符識別。 圖 51 汽車牌照字符識別的流程 車牌字符特征提取 基于字符特征的字符識別算法一般包括以下 3 個(gè)步驟 [11]： （ 1）提取字符的特征，建立一個(gè)字符特征向量空間，每個(gè)字符對應(yīng)向量空間中的一個(gè)向量； （ 2）定義分類函數(shù)； （ 3）對輸入的字符圖像自動提取相應(yīng)的特征，根據(jù)分類函數(shù)進(jìn)行特征匹配，識別出相應(yīng)的字符。特征的選取直接影響到最終的識別效率，因此好的模式特征應(yīng)具有較好的平移不變性、旋轉(zhuǎn)不變性和尺度不變性。 字符的統(tǒng)計(jì)特征，是從原始數(shù)據(jù)中提取與分類最相關(guān)的信息，這些信息使得類內(nèi)差距最小，類間差距最大，同時(shí)這些信息對同一類字符的形變應(yīng)盡量保持不變。如下圖所示： 圖 52 字符分割 然后依此規(guī)律，統(tǒng)計(jì)水平方向上的中間兩列和豎直方向上的中間兩列的目標(biāo)像素個(gè)數(shù)作為 4 個(gè)特征，即畫四條穿過該位置的線，然后，統(tǒng)計(jì)線內(nèi)所占的目標(biāo)像素的個(gè)數(shù)。它首先將歸一化后字符圖像向