【正文】 汽車牌照，圖像處理 ，字符識(shí)別，模板匹配 11 Number and Character Recognition of License Plate Based on the Part of Image Processing Abstract Vehicle License Plate Recognition plays an important role in Automatic Recognition System, which has promising future in the intelligent transportation systems. Vehicle License Plate Automatic Recgnition is one of important research subjects of Image Dealing and the important parts of the research on intelligence of transportation management and implementation. Vehicle License Plate Automatic Recognition mostly includes four important parts. These are preprocess, Vehicle License Location, Character Segmentation and Character Recognition. This paper is about the recognition of the located Vehicle License Plate based on the part of image processing. We use the match template method,through AD algorithm to determine the similarity between the plate characters and template characters, to recognize plate license characters from the plex background image. 90 images were tested and the results show that the integral recognition rate is 60% and the method is accurate and fast. Key Words: Vehicle License, Charater Recognition, Image Processing, Match Template 12 1 引言 1． 1 車牌識(shí)別技術(shù)的研究背景 車牌是識(shí)別技術(shù) [1]是計(jì)算機(jī)視覺和模式識(shí)別技術(shù)在現(xiàn)代智能交通系統(tǒng)中的一項(xiàng)重要的研究課題，是實(shí)現(xiàn)交通管理智能化的重要環(huán)節(jié)。 隨著社會(huì)經(jīng)濟(jì)和高速公路的快速發(fā)展，以及汽車普及程度的日益提高，先進(jìn)、高效、準(zhǔn)確的交通智能管理系統(tǒng)日益受到們的重視，汽車牌照識(shí)別技術(shù)的應(yīng)用為現(xiàn)代交通的智能管理打開了一扇大門。汽車識(shí)別技術(shù)在 牌識(shí)別技術(shù)在車輛過路、過橋全自動(dòng)不停車收費(fèi)，交通流量控制指標(biāo)的測(cè) 量，車輛自動(dòng)識(shí)別，高速公路上的事故自動(dòng)測(cè)報(bào)，不停車檢查，車輛定位，汽車防盜，稽查和追蹤車輛違規(guī)、違法行為，維護(hù)交通安全和城市治安，防止交通堵塞，提高收費(fèi)路橋的服務(wù)速度，緩解交通緊 張狀況等方面顯出了強(qiáng)勁的生命力。 1． 2 國內(nèi)外研究現(xiàn)狀 車牌識(shí)別技術(shù)的研究 [2]開始得很早，早在上世紀(jì)七十年代，就有不少研究人員和單位開始了這一技術(shù)的研究。由于在實(shí)際中存在光照、污損、缺損、無牌、格式多樣等各種技術(shù)難題，這一技術(shù)一直都停留在實(shí)驗(yàn)室階段，無法在實(shí)際工程中得到廣泛應(yīng)用。從 20 世紀(jì) 90 年代初，國外就已經(jīng)開始了對(duì)汽車牌照 自動(dòng)識(shí)別的研究，其主要途徑就是對(duì)車牌的圖像進(jìn)行分析，自動(dòng)提取車牌信息，確定汽車牌號(hào)。在各種應(yīng)用中，有使用模糊數(shù)學(xué)理論也有用神經(jīng)元網(wǎng)絡(luò)的算法來識(shí)別車牌中的字符，但由于外界環(huán)境光線變化、光路中有灰塵、季節(jié)環(huán)境變化及車牌本身比較模糊等條件的影響，給車牌的識(shí)別帶來較大的困難。字符的提取是復(fù)雜背景下目標(biāo)提取問題，在復(fù)雜的背景中字符區(qū)域往往只占圖像的小部分。由于背景的復(fù)雜性，背景紋理及顏色的復(fù)雜不確定性，這些問題給提取字符區(qū)域帶來較大困難。并且字符區(qū)域的提取是整個(gè)系統(tǒng)過程的開始，是比較關(guān)鍵的一步。在一定情況下，還必須快 速實(shí)時(shí)地完成。因此這部分工作具有一定的難度。 目前國外的相關(guān)研究有： （ 1） Barros 提出的基于掃描行高頻分析的方法； （ 2） Lancaster 提出的類字符分析方法等，為了解決圖像惡化的問題； （ 3） Kat 提出的基于顏色的提取方法。 關(guān)于車牌定位系統(tǒng)的研究，國內(nèi)外學(xué)者已經(jīng)作了大量的工作，但實(shí)際效果并 13 不是很理想，比如車牌圖像的傾斜、車牌表面的污穢和磨損、光線的干擾等都是影響定位準(zhǔn)確度的潛在因素。為此，近年來不少學(xué)者針對(duì)車牌本身的特點(diǎn)，車輛拍攝的不良現(xiàn)象及背景的復(fù)雜狀況，先后提出 了許多有針對(duì)性的定位方法，使車牌定位在技術(shù)和方法上都有了很大的改善。然而現(xiàn)代化交通系統(tǒng)不斷提高的快節(jié)奏，將對(duì)車牌定位的準(zhǔn)確率和實(shí)時(shí)性提出更高的要求。因而進(jìn)一步加深車牌定位的研究是非常必要的。 車牌識(shí)別系統(tǒng)研究目的及意義 車牌識(shí)別系統(tǒng)的主要任務(wù)是分析和處理攝取到的復(fù)雜背景下的車輛圖像，定位分割牌照，最后自動(dòng)識(shí)別汽車牌照上的字符， LPR 是利用車輛牌照的唯一性來識(shí)別和統(tǒng)計(jì)車輛，它是以數(shù)字圖像處理、模式識(shí)別、計(jì)算機(jī)視覺等技術(shù)為基礎(chǔ)的智能識(shí)別系統(tǒng)在現(xiàn)代化交通發(fā)展中車牌識(shí)別系統(tǒng)是制約交通系統(tǒng)智能化、現(xiàn)代化的重要因 素， LPR 系統(tǒng)應(yīng)該能夠從一幅圖像中自動(dòng)提取車輛圖像，自動(dòng)分割牌照?qǐng)D像，對(duì)字符進(jìn)行正確識(shí)別，從而降低交通管理工作的復(fù)雜度。 1． 4 車牌識(shí)別系統(tǒng)的構(gòu)成 一個(gè)完整的汽車車牌識(shí)別系統(tǒng)的工作過程主要分為四個(gè)步驟： 第一步預(yù)處理， 由于攝像條件和客觀因素的限制，如車輛牌照不整潔，光照條件不好，角度不適合，車速較快等原因，很容易對(duì)車牌識(shí)別系統(tǒng)的準(zhǔn)確性造成干擾。第二步，車牌定位，即 圖像的精確定位算法的實(shí)現(xiàn)。用來確定車牌在整個(gè)圖像中的相對(duì)位置，其輸入是整個(gè)原始圖像，輸出是長方形車牌圖像；第三步車牌字符的分割。用來將上一步得到 的長方形車牌圖像，分割為幾個(gè)只包含單個(gè)待識(shí)別車牌號(hào)碼字符的圖像；第四步車牌字符識(shí)別，它用來從上一步得到的只包含單個(gè)車牌字符的圖像識(shí)別出車牌號(hào)碼，輸入是只包含單個(gè)車牌字符的圖像，輸出是車牌號(hào)碼字符串。整個(gè)車牌識(shí)別系統(tǒng)的關(guān)鍵技術(shù)是 [3]一是車牌的定位；二是車牌字符的識(shí)別。車牌識(shí)別系統(tǒng)的結(jié)構(gòu)如圖 所示 。 圖 車牌識(shí)別系統(tǒng)結(jié)構(gòu)圖 預(yù)處理 車牌定位 字符切割 字符識(shí)別 14 1． 5 論文內(nèi)容安排 本文共分為六章。 第一章為引言，介紹了課題研究背景，國內(nèi)外研究現(xiàn)狀，車牌識(shí)別系統(tǒng)的結(jié)構(gòu)圖以及本文的工作安排； 第二章為車牌圖像的預(yù)處 理，介紹了圖像處理相關(guān)知識(shí)，并對(duì)車牌進(jìn)行灰度化、二值化以及邊緣檢測(cè)； 第三章為車牌定位，簡(jiǎn)要介紹了基于紋理特征和數(shù)學(xué)形態(tài)特征的車牌定位方法，并給出定位結(jié)果； 第四章為字符切割，根據(jù)車牌自身特征，采用一種對(duì)水平投影法進(jìn)行改進(jìn)的車牌字符分割的方法對(duì)車牌進(jìn)行分割； 第五章為字符識(shí)別，詳細(xì)介紹了模板匹配的方法，建立了字符模板，以及用AD 算法檢測(cè) 待測(cè)字符和模板字符中的相似程度，最終通過 MATLAB 實(shí)現(xiàn)了車牌數(shù)字與字母的識(shí)別 ； 第六章為結(jié)論，總結(jié)了本文所做的主要工作，并分析了其中的不足之處，以待今后改進(jìn)。 在本文的安排 過程中，第二章圖像的預(yù)處理主要是介紹有關(guān)圖像處理的相關(guān)知識(shí)，第三章車牌定位，第四章字符切割，主要是為第五章字符識(shí)別做前期準(zhǔn)備。 2 車牌圖像的預(yù)處理 2． 1 預(yù)處理技術(shù)概述 在數(shù)字圖像處理中，圖像的預(yù)處理過程是數(shù)字圖像處理的重要組成部分。而對(duì)于車牌定位環(huán)節(jié)來說，車牌圖像的預(yù)處理更是發(fā)揮著相當(dāng)重要的作用。 對(duì)于實(shí)際拍攝到的圖片，由于天氣、光照以及速度等外部因素的影響，往往使得這些圖像并不能直接應(yīng)用到車牌識(shí)別過程中，而必須先對(duì)圖像進(jìn)行前期的處理，以增強(qiáng)圖像的質(zhì)量。例如：一般情況下，車牌識(shí)別系統(tǒng)處理的都是灰 度圖像，因此要先將拍攝的彩色圖像轉(zhuǎn)換為灰度圖像；在拍攝車牌照片時(shí)，照片的圖像質(zhì)量往往會(huì)受到光照，雨霧天氣等因素的影響，因此要先對(duì)車牌圖像進(jìn)行降噪處理，盡量降低噪聲對(duì)識(shí)別過程的影響；對(duì)于晚上或者在光線比較暗的情況下拍攝的圖像，其對(duì)比度必然較低，因此我們還要對(duì)這些圖像進(jìn)行圖像增強(qiáng)，增加其對(duì)比度， 15 凸顯灰度值較高的圖像部分，弱化背景，以利于后續(xù)工作的展開。上述所說的這些在展開識(shí)別過程以前，為了弱化、甚至消除對(duì)識(shí)別結(jié)果不利的因素，而采取的對(duì)車牌圖像的前期處理工作，被稱之為車牌圖像的預(yù)處理過程。 在車牌識(shí)別領(lǐng)域，圖像的 預(yù)處理過程主要包括的內(nèi)容有圖像的灰度化處理、圖像二值化、邊緣檢測(cè)以及圖像平滑等等。 2． 2 圖像的灰度化 現(xiàn)如 今， 在智能交通系統(tǒng)中拍攝到的車牌圖像基本上都是真彩色圖像。真彩色圖像可以使用很多種顏色空間來進(jìn)行表示，實(shí)際應(yīng)用中使用最廣泛的顏色空間是 RGB 顏色空間。在彩色顏色空間下，彩色圖像包含了大量的顏色信息。例如，在 RGB 顏色空間下，彩色圖像的每一個(gè)像素點(diǎn)均由 R（紅）、 G（綠）、 B（藍(lán)）三個(gè)顏色分量組成。也就是說， RGB 空間下一幅圖像的存儲(chǔ)矩陣大小為 3??nm ，這樣就使得 在 RGB 空間下彩色圖像所占用的存儲(chǔ)空間很大 [3]。同理，使用其他彩色顏色空間存儲(chǔ)圖像時(shí)也會(huì)產(chǎn)生同樣的問題。這就導(dǎo)致在對(duì)彩色圖像進(jìn)行圖像處理時(shí)，會(huì)占用更多的存儲(chǔ)空間，并且會(huì)極大的降低系統(tǒng)的處理速度。其在速度上的影響對(duì)于車牌識(shí)別系統(tǒng)的實(shí)時(shí)性要求來說，是絕對(duì)不可容忍的。因此，在進(jìn)行車牌識(shí)別過程時(shí)，有必要將彩色圖像轉(zhuǎn)換為灰度圖像?；叶葓D像是只包含了圖像的亮度信息而不包含圖像的色彩信息的圖像?；叶葓D像的亮度信息為 256 級(jí) [4]，即每一個(gè)灰度圖像的像素點(diǎn)的取值為 0~255 之間的整數(shù)值?；叶葓D像的存儲(chǔ)矩陣大小為 nm? ，其中矩陣中的每一個(gè)元素代表灰度圖像中相應(yīng)點(diǎn)的像素的亮度。由此我們可以很容易發(fā)現(xiàn)，處理灰度圖像時(shí)程序的執(zhí)行效率將遠(yuǎn)遠(yuǎn)高于執(zhí)行同樣的彩色圖像時(shí)程序的執(zhí)行效率。 以 RGB 顏色空間為例，我們可以認(rèn)為圖像的灰度化過程就是使得彩色圖像像素的 R、 G、 B 分量變得相等的過程。如在一幅 RGB 圖像中，如果圖像中每一個(gè)像素的 R、 G、 B 分量都相等，即 R=G=B，則該圖像將會(huì)表現(xiàn)出灰度圖像的特征。因此，圖像的灰度化問題就轉(zhuǎn)化為如何調(diào)整彩色圖像中像素的三個(gè)分量，使得 R=G=B 的問題。彩色圖像的灰度化 方法主要有如下三種（ g 代表灰度化后像素點(diǎn)的亮度值）： （ 1） 取平均值法，取彩色圖像中像素點(diǎn)三個(gè)分量的平均值，即： 3 BGRg ??? （ ） 16 （ 2） 取最大值法，取彩色圖像中像素點(diǎn) R、 G、 B 三個(gè)分量的最大值，即： ),( BGRMAXg ? （ ） （ 3） 加權(quán)平均值法，根據(jù)彩色圖像像素點(diǎn) R、 G、 B 三個(gè)分量的重要性或者其他指標(biāo)賦予三個(gè)分量不同的加權(quán)值 rW 、 gW 、 bW ，再使 g 等于 R、G、 B 三個(gè)分量的加權(quán)平均值，即： 3 BWGWRWg bgr ??? （ ） 車牌的灰度圖像如圖 所示。 圖 車牌原始圖像 17 圖 車牌灰度圖像 2． 3 圖像的二值化 二值圖像是指圖像中只有黑、白兩種像素值的圖像。在二值圖像中，黑色用0 表示，白色用 1 表示，二者之間沒有灰度層次的變化。車牌圖像的二值化 [5]就是將圖 像中感興趣的目標(biāo)特征進(jìn)一步的提取出來，這些特征包括目標(biāo)區(qū)域的灰度值、輪廓、紋理特征、頻譜特征以及直方圖特征。二值化的原理 [6]就是利用圖像中目標(biāo)圖像與背景圖像直接灰度值上的差異，從而取得一個(gè)閾值或者閾值范圍，再用這個(gè)結(jié)果將圖像轉(zhuǎn)換為只有目標(biāo)圖像和背景圖像的二值化圖像。車牌二值化圖像如圖 。 18 圖 車牌二值化圖像 2． 4 邊緣檢測(cè) 邊緣是指圖像灰度發(fā)生劇烈變化的邊界，它是圖像分割的基礎(chǔ) [7]。邊緣檢測(cè)是數(shù)字圖像處理和計(jì)算機(jī)視覺中的基本問題，其目的是標(biāo)識(shí)數(shù)字圖像中亮度變化明顯的點(diǎn)。圖像的邊緣檢測(cè)大 幅度的減少了圖像包含的數(shù)據(jù)量，去除了不相關(guān)的信息，保留了圖像的重要的結(jié)構(gòu)屬性。圖像的邊緣檢測(cè)是圖像分割、紋理特征提取以及形狀特征提取等圖像后續(xù)處理的前提。尤其對(duì)于車牌定位來說，邊緣檢測(cè)更是其中的關(guān)鍵環(huán)節(jié)。 圖像區(qū)域的邊緣可以分為兩種：一種是階躍邊緣，它的兩邊的像素的灰度值有著明顯的不同；還有一種是屋頂邊緣，它位于灰度值從增加到減少（或者從減少到增加）的變化的轉(zhuǎn)折點(diǎn)上 [8]。 下面對(duì)這幾種常用的邊緣檢測(cè)方法做一簡(jiǎn)單介紹。 Canny 算子 Canny[9]算子是于 1986 年由 Canny 提出的基于最 優(yōu)化算法的