【正文】 system, and intelligence traffic system, . Because license plate is a important part of vehicle management system, so the research of license plate system is particularly important .The core of arithmetic of license plate system is how to improve the recognition, so it requires recognition algorithm has great robustness for the impact of light conditions of the environment and taken the position and vehicle speed it also can satisfy the timely requirement.In this paper, my work is focused on the image processing based on MATLAB emulator. Three problems were analyzed, which are license locating, segmentation and character recognition. Before license locating, artificial neural work (ANN) is adopted to handle the image, then the information of license plate is obtained in evidence. To locate the license plate, the inherent features of license plate being used, and then use mathematical morphology to locate the license plate accurately。然后結(jié)合牌照自身的一些固有特征，用形態(tài)學(xué)的方法進(jìn)行了車牌區(qū)域的準(zhǔn)確定位；對(duì)定位得到的車牌，再次結(jié)合牌照內(nèi)部細(xì)節(jié)特征，對(duì)車牌進(jìn)行投影，從而得到了車牌較為完整的分割。由于汽車牌照是機(jī)動(dòng)車輛管理的主要標(biāo)志符號(hào)之一，因此對(duì)車輛牌照識(shí)別系統(tǒng)的研究就尤為重要，該研究的核心是提高車牌識(shí)別準(zhǔn)確性，這就需要識(shí)別算法能夠?qū)Νh(huán)境光照條件，拍攝位置和車輛行駛速度等因素的影響有較大的魯棒性，并能夠滿足實(shí)時(shí)性的要求。本文設(shè)計(jì)的主要內(nèi)容包括：運(yùn)用 MATLAB 仿真軟件對(duì)后臺(tái)圖像進(jìn)行高速，準(zhǔn)確的處理。最后在車牌字符識(shí)別階段，以現(xiàn)今比較流行的神經(jīng)網(wǎng)絡(luò)為理論基礎(chǔ)，在原有的神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ)上進(jìn)行有效改進(jìn)。 According to the inside features of locating license plate, the platearea is pop out by project the license plate。該系統(tǒng)的應(yīng)用要求對(duì)車牌正確識(shí)別具有較高的識(shí)別率。LPR 技術(shù)隸屬于于智能交通系統(tǒng)，也是車輛自動(dòng)識(shí)別技術(shù) (automatic vehicle identification，AVL)的重要組成部分，它在現(xiàn)代交通監(jiān)管及管理中發(fā)揮著越來(lái)越大的作用。在不影響汽車狀態(tài)的情況下，大部分 LPR 系統(tǒng)的工作由計(jì)算機(jī)自動(dòng)完成，從而可降低工作復(fù)雜度。因此，本課題的研究對(duì)于提高城市交通管理水平，維護(hù)城市環(huán)境清潔，加快交通管理，環(huán)境保護(hù)現(xiàn)代化步伐具有很重要的實(shí)際使用價(jià)值。目前這三方面的研究情況大致如下： 車牌定位技術(shù)在對(duì)實(shí)際車牌區(qū)域定位之前，需要進(jìn)行相應(yīng)的預(yù)處理。目前所利用的車牌特征主要分為空域特征和變換域特征兩大類其中空域特征主要有：（1）車牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計(jì)特征，車牌區(qū)域內(nèi)的邊緣灰度直方圖具有兩個(gè)明顯且分離的分布中心，可以較好地提取邊緣。（5）車牌的幾何特征，即車牌的高、寬以及高寬比，應(yīng)在一定的范圍內(nèi)。車牌定位方法涉及到的具體方法有：區(qū)域生長(zhǎng)法，構(gòu)造灰度模型法，二值圖像的數(shù)學(xué)形態(tài)學(xué)運(yùn)算法，灰度圖像的數(shù)學(xué)形態(tài)學(xué)運(yùn)算法，自適應(yīng)邊界搜索法，DFT 變換法，模糊聚類法等。在理論上，利用垂直投影法對(duì)斷裂字符進(jìn)行分割應(yīng)具有較好效果；但是對(duì)于字符區(qū)域連接緊密的字符的分割利用投影法可能效果比較差，可以利用模板的方法或者回溯的方法來(lái)進(jìn)行處理。在實(shí)際應(yīng)用中，為提高正確率，往往必須使用多個(gè)模板進(jìn)行匹配，而處理時(shí)間則隨著模板個(gè)數(shù)的增加而增加?；谔卣髌ヅ涞乃惴ㄐ时饶０迤ヅ渌惴ㄐЧ?，但是特征的正確提取比較困難。這種網(wǎng)絡(luò)的識(shí)別效果與字符特征的提取有關(guān)，而字符特征的提取比較困難。 5 。另外日本，加拿大、德國(guó)、意大利、英國(guó)等各個(gè)西方發(fā)達(dá)國(guó)家都有適合本國(guó)車牌的識(shí)別系統(tǒng)。同時(shí)，各大高校如西安交通大學(xué)的圖像處理和識(shí)別研究室、上海交通大學(xué)的計(jì)算機(jī)科學(xué)和工程系、清華大學(xué)人工智能國(guó)家重點(diǎn)實(shí)驗(yàn)室、浙江大學(xué)的自動(dòng)化系等也做過(guò)類似的相關(guān)研究。 本文研究的內(nèi)容由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的自組織學(xué)習(xí)能力、容錯(cuò)性、魯棒性及非線性處理等優(yōu)點(diǎn)，所以本文選擇了神經(jīng)網(wǎng)絡(luò)技術(shù)作為研究的主要方法，在此基礎(chǔ)上，詳細(xì)研究了車牌識(shí)別算法的實(shí)現(xiàn)方法，主要包括車輛牌照的分割與提取和車牌字符的識(shí)別。之后用投影特征圖得到分割后的字符，為了方便下步的處理，本文隨后采用了字符歸一化的技術(shù)。 7 第二章 車牌預(yù)處理及定位與分割算法研究 圖像預(yù)處理采集的車牌圖像在進(jìn)行定位、分割、識(shí)別之前需要對(duì)原圖像預(yù)處理，這是因?yàn)橐恍┲T如車牌本身問(wèn)題及拍攝環(huán)境條件等因素的影響，導(dǎo)致圖片模糊，無(wú)法直接進(jìn)行車牌的定位及后續(xù)的處理工作。彩色圖像包含大量的顏色信息，它的每個(gè)像素都包含三個(gè)不同的顏色分量 R、G 、B，占用的存儲(chǔ)空間比較大，對(duì)其進(jìn)行處理時(shí)會(huì)降低系統(tǒng)的執(zhí)行速度。進(jìn)行灰度轉(zhuǎn)換時(shí)使用如公式(21)：Y = R + +(21)灰度化效果如圖 21 所示。二值化效果如圖 22 所示圖 22 二值化處理 均值濾波濾波是一種對(duì)圖像進(jìn)行增強(qiáng)的算法，通過(guò)對(duì)圖像進(jìn)行濾波處理可以實(shí)現(xiàn)圖像的光滑、銳化。它是一門建立在嚴(yán)格數(shù)學(xué)理論基礎(chǔ)上的學(xué)科，其基本思想和方法對(duì)圖像處理的理論和技術(shù)產(chǎn)生了重大的影響。數(shù)學(xué)形態(tài)學(xué)運(yùn)算的效果由結(jié)構(gòu)元素的大小和邏輯運(yùn)算決定，通常有膨脹運(yùn)算、腐蝕運(yùn)算、開運(yùn)算和閉運(yùn)算。定義結(jié)構(gòu) A 被結(jié)構(gòu) B 腐蝕表示為 AΘB，數(shù)學(xué)形式可表示為： 10 (23)(3)開運(yùn)算該運(yùn)算是先進(jìn)行腐蝕運(yùn)算再進(jìn)行膨脹運(yùn)算的結(jié)合過(guò)程，作用是可以消除圖像中一些孤立的毛刺以及小點(diǎn)，同時(shí)可以連通兩塊或幾塊區(qū)域中的小點(diǎn)，使較大物體圖像的邊界得到平滑，同時(shí)，總的位置和形狀沒有改變。目前廣泛使用的邊緣檢測(cè)的方法有以下幾種：Robert 算子，Sobel 算子，Canny 算子，Prewitt 算子，log 算子等?，F(xiàn)在常用的車牌定位算法有基于字符紋理的定位、基于數(shù)學(xué)形態(tài)學(xué)的定位、基于邊緣檢測(cè)的定位、基于顏色空間的定位等方法。牌照的規(guī)格也各不相同，各種字符的組合多種多樣，概括起來(lái)具有以下一些特征：①車牌中均為七個(gè)字符，常規(guī)情況第一個(gè)字符為漢字，第二個(gè)字符為字母，第三個(gè)到第七個(gè)字符為字母或者數(shù)字；②車牌中七個(gè)字符的外接矩形相同，高度和寬度的比例相同（除“1”外） ；③車牌的牌照架，以前是根據(jù)車主的要求牌照架有所不同，有的還沒有安裝牌照架，這不適合利用邊框信息進(jìn)行字符分割。 基于垂直投影的字符分割算法由于字符塊在豎直方向上的投影不僅在字符間取得局部最 小值，而且在字符內(nèi)的間隙處也能取得局部最小值。（2）從左到右取投影圖外圍包絡(luò)線的波谷點(diǎn)，并將這些波谷點(diǎn)按照橫坐標(biāo)值升序排列。（6）輸出分割后的字符圖像。 基于連通域的字符分割算法車牌上的字符除了第一個(gè)是漢字外，其它的都是字母或數(shù)字，即在理想狀態(tài)下是“全”連通的。 15 （2）計(jì)算的每矩形地周圍邊境，并分別記為 A(i)l 和 A(i)r。（5）輸出分割后的字符圖像。另外，對(duì)字符粘連所產(chǎn)生大的連通域可以考慮重新選取閾值再進(jìn)行切分的方法。 圖像預(yù)處理傾斜校正和水平切割后，需要牌照?qǐng)D像二值化，轉(zhuǎn)化為黑底色白字對(duì)不同顏色的牌照處理，采用 CASDA 算法進(jìn)行二值化處理，然后計(jì)算二值化后的圖像垂直投影，結(jié)果如圖 31 所示。假設(shè)車牌圖像在二值化過(guò)程中某一字符有下列某種情況：①如果發(fā)生字符斷裂，使字符分成上下兩個(gè)部分，那么使用連通域算法進(jìn)行字符分割時(shí)，會(huì)將一個(gè)字符判別為兩個(gè)字符，而使用垂直投影算法則不受此影響。為此，引入優(yōu)割字符 17 的概念。在確定出優(yōu)割字符寬度之后，在車牌圖像二值化圖像的垂直投影圖中，將符合優(yōu)割字符條件的區(qū)域進(jìn)行標(biāo)注，這些區(qū)域?yàn)樽址指顣r(shí)的優(yōu)先選擇區(qū)域。由于優(yōu)割字符并不一定就是最后分割出的字符，有時(shí)車牌的邊框等也滿足優(yōu)割字符的條件，但它并不是一個(gè)車牌字符，因此，需要將這些偽字符在后續(xù)處理中剔除。由于車牌自身?xiàng)l件的約束，評(píng)判都是在很少的次數(shù)內(nèi)結(jié)束，評(píng)判次數(shù)由車牌粗定位的效果決定，如果車牌定位后的圖像中車牌左右殘留部分較大，那么字符分割的評(píng)判次數(shù)就多，反之次數(shù)很少。調(diào)整的方法為：首先計(jì)算除該字符外的其余六個(gè)字符的平均字符寬度及平均字符空隙寬度。本文將所有分割出的字符圖像全部歸一化為 1632 大小，并采用 POSHE 算法對(duì)字符圖像進(jìn)行亮度歸一化。圖像分割結(jié)果如表 31 所示。通過(guò)實(shí)驗(yàn)可知，一些受光照影響和模糊的車牌，其二值化圖像中斷裂和粘連嚴(yán)重，但在新方法下均能得到正確的分割。 20 a 定位結(jié)果圖像 b 分割結(jié)果圖像圖 35 部分圖像分割效果圖從圖 35 可以看出，本文研究的方法對(duì)圖像中字符模糊及光照不均勻等有很強(qiáng)的魯棒性能，分割效果良好。但在實(shí)際的處理中，我們要識(shí)別的車牌字符情況比較復(fù)雜，可能會(huì)存在較大的畸變、噪聲干擾、多余邊緣等問(wèn)題，同時(shí)，字符的切分又是在水平和豎直兩個(gè)方向上將單個(gè)字符區(qū)域給框起來(lái)。為了提高字符識(shí)別的正確率，對(duì)發(fā)生傾斜角度的牌照進(jìn)行糾正是非常必要的。反過(guò)來(lái)，參數(shù)空間相交于一點(diǎn)的所有直線在圖像空間里都有共線的點(diǎn)與之對(duì)應(yīng)。通過(guò)判斷這個(gè)局部最大值，可得到與該直線對(duì)應(yīng)的一對(duì)參數(shù) ，從而檢測(cè)出該直線。(4)通過(guò)求取車牌上各字符連通區(qū)域的中心點(diǎn)，然后擬合為直線來(lái)確定車牌的傾斜角 [8]。為了從字符行傾斜度恢復(fù)車牌原貌，本文采取從多個(gè)角度來(lái)對(duì)圖像傾斜的方向掃描，然后分別記錄個(gè)掃描平行線組中具有車牌字符信息的行數(shù)，對(duì)應(yīng)的字符行數(shù)目最多的掃描角度就是圖像的傾斜角度。校正采取的方法是以圖像的中心或原點(diǎn)為中心，以車牌傾斜角度為基準(zhǔn)，對(duì)圖像進(jìn)行旋轉(zhuǎn)。對(duì)定位后的牌照?qǐng)D像進(jìn)行行組掃描，初始化一個(gè)數(shù)組。目前的字符分割算法，較常用的可以分成兩大類。這種分割的方法成功率較高，且受圖像的噪聲干擾較小，但是這種方法須進(jìn)行預(yù)定義，不能夠自適應(yīng)。這樣，利用垂直投影法對(duì)斷裂字符進(jìn)行分割才會(huì)有較好的效果。本文采用垂直投影法，對(duì)于二值化后的圖像，由于每個(gè)字符塊在垂直方向的投影必然在字符間或字符內(nèi)的間隙處取得局部最小值，依據(jù)此并結(jié)合字符牌照固有的上述特征等先驗(yàn)知識(shí)，采取如下步驟來(lái)實(shí)現(xiàn)字符的分割。和右邊界 rightline，并得到字符區(qū)域的總長(zhǎng)度platewidth 為:rightlinleftline； charwidh，字符間距 charspace，第二，第三字符間距 bigcharspace。根據(jù)已計(jì)算出的 charwidth，從第二個(gè)字符右邊界開始，向左檢測(cè)出第二個(gè)字符的左邊界，并依次類推，結(jié)合 charspace 得到第一個(gè)字符的左右邊界；同理，以第三個(gè)字符的左邊界為基準(zhǔn)得到后 5 個(gè)字符的左右邊界。 字符的歸一化目標(biāo)圖像長(zhǎng)由于初始拍攝距離和角度的不同，會(huì)引起車牌字符的尺寸有不同程度的差別，車牌大小不一會(huì)給后期的車牌字符識(shí)別帶來(lái)一定的困難，因此，為了把在前述提取到的車牌圖像中的字符調(diào)整到與后續(xù)神經(jīng)網(wǎng)絡(luò)中的標(biāo)準(zhǔn)模板中的字符特征一致，在車牌字符識(shí)別過(guò)程之前，需要先將車牌尺寸歸一化 20x16 的點(diǎn)陣。歸一化的過(guò)程有兩步，分別是：分裂(split)和合并(merge)。設(shè) f（x，y）為原始圖像，g(x,，y)為歸一化后的圖像，(x1，y1) 為 g(x，y) 中任意一點(diǎn)，對(duì)應(yīng) f(x，y) 中的點(diǎn)(x0，y0)。鄰近插值法中歸一化的圖像 g(x，y)，其點(diǎn)(x1，y1)是由(x0，y0)鄰接的4 個(gè)點(diǎn)(m ，n) ，(m+1 ，n) ，(m，n+1)，(m+1，n+1)中幾何距離最接近它的點(diǎn)的灰度值來(lái)近似。圖 48 歸一化前的單個(gè)車牌字符圖 49 歸一化后的單個(gè)車牌字符 31 第五章 汽車牌照的字符識(shí)別汽車圖像經(jīng)過(guò)預(yù)處理、車牌定位、字符分割后，得到單個(gè)的歸一化字符，隨后就要進(jìn)入汽車牌照識(shí)別中的最重要的環(huán)節(jié)，字符識(shí)別。圖 51 汽車牌照字符識(shí)別的流程 車牌字符特征提取基于字符特征的字符識(shí)別算法一般包括以下 3 個(gè)步驟 [11]：（1）提取字符的特征，建立一個(gè)字符特征向量空間，每個(gè)字符對(duì)應(yīng)向量空間中的一個(gè)向量；（2）定義分類函數(shù)；（3）對(duì)輸入的字符圖像自動(dòng)提取相應(yīng)的特征，根據(jù)分類函數(shù)進(jìn)行特征匹配，識(shí)別出相應(yīng)的字符。特征的選取直接影響到最終的識(shí)別效率，因此好的模式特征應(yīng)具有較好的平移不變性、旋轉(zhuǎn)不變性和尺度不變性。字符的統(tǒng)計(jì)特征，是從原始數(shù)據(jù)中提取與分類最相關(guān)的信息，這些信