【正文】 車牌識別的技術(shù)研究 一個(gè) LPR 系統(tǒng)通常包括前端視頻采集設(shè)備，照明設(shè)備，基于 DSP 的硬件圖像處理平臺，終端計(jì)算機(jī)系統(tǒng)，識別軟件，后臺數(shù)據(jù) LPR 系統(tǒng)中，外圍攝像系統(tǒng) 把采集到的視頻信息，經(jīng)由一個(gè)高速的網(wǎng)絡(luò)傳輸系統(tǒng)，把圖像交由后臺的視頻圖像處理平臺進(jìn)行處理，處理的結(jié)果根據(jù)實(shí)際需要與終端平臺，數(shù)據(jù)庫，或其它輸入輸出外設(shè)進(jìn)行互連。在整個(gè)系統(tǒng)中，核心的部分是基于軟件算法實(shí)現(xiàn)的圖像處理模塊。 硬件參考圖如圖 11： 圖 11 汽車牌照識別系統(tǒng)硬件構(gòu)成 根據(jù)圖 11，車牌自動識別的算法主要分成三個(gè)步驟 :車牌定位、字符分割、字符識別。目前這三方面的研究情況大致如下： 車牌定位技術(shù) 在對實(shí)際車牌區(qū)域定位之前，需要進(jìn)行相應(yīng)的預(yù)處理。這些預(yù)處理包括邊緣檢測、二值化、灰度均衡化和 對比度處理等等。預(yù)處理的效果對隨后的定位處理有很大的影響，因此選擇可靠的預(yù)處理算法也是非常重要的。 3 為了快速、準(zhǔn)確、可靠地定位出車牌位置，學(xué)者們提出了許多定位算法，大部分定位算法是基于車牌所具有的特征來進(jìn)行的。目前所利用的車牌特征主要分為空域特征和變換域特征兩大類其中空域特征主要有： （ 1）車牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計(jì)特征，車牌區(qū)域內(nèi)的邊緣灰度直方圖具有兩個(gè)明顯且分離的分布中心，可以較好地提取邊緣。 （ 2）車牌區(qū)域的灰度分布特征，穿過車牌的水平直線其灰度呈現(xiàn)連續(xù)的峰、谷、峰的分布，具有紋理特征。 （ 3）車 牌區(qū)域水平或垂直投影特征，車牌區(qū)域水平或垂直灰度投影呈現(xiàn)連續(xù)的峰、谷、峰的分布。 （ 4）車牌的顏色特征，即車牌字符和背景為幾種固定的顏色組合。 （ 5）車牌的幾何特征，即車牌的高、寬以及高寬比，應(yīng)在一定的范圍內(nèi)。 （ 6）車牌形狀特征，字符排列格式特征。車牌有矩形邊框，字符位于矩形框中，且有間隔，并且每個(gè)字符的高寬和字符間的間隔滿足一定的條件。 目前車牌變換域特征被利用的較少，主要是頻譜特征，即對圖像做行或列的 DFT 變換，其頻譜圖中包含了車牌的位置信息。車牌定位方法涉及到的具體方法有：區(qū)域生長法，構(gòu)造灰度模型法 ，二值圖像的數(shù)學(xué)形態(tài)學(xué)運(yùn)算法，灰度圖像的數(shù)學(xué)形態(tài)學(xué)運(yùn)算法，自適應(yīng)邊界搜索法， DFT 變換法，模糊聚類法等。 字符分割技術(shù) 車輛牌照字符分割是指將車牌區(qū)域分割成單個(gè)的字符區(qū)域，以便后續(xù)字符識別算法對單個(gè)字符進(jìn)行處理，其難點(diǎn)是對粘連、斷裂字符的分割。字符分割常采用垂直投影法 [2]實(shí)現(xiàn)。由于字符塊在豎直方向上的投影，必然在字符間或字符內(nèi)的間隙處取得局部最小值，因此字符的正確分割位置應(yīng)該在上述局部最小值附近，并且這個(gè)位置應(yīng)滿足車牌字符的書寫格式、字符尺寸限制和其它一些條件。在理論上，利用垂直投影法對斷裂字符 進(jìn)行分割應(yīng)具有較好效果；但是對于字符區(qū)域連接緊密的字符的分割利用投影法可能效果比較差，可以利用模板的方法或者回溯的方法來進(jìn)行處理。 字符識別技術(shù) 目前用于車牌字符識別中的算法主要有基于模板匹配的方法、基于特征匹配的方法以及基于人工神經(jīng)網(wǎng)絡(luò)的方法。 4 （ 1）基于模板匹配的字符識別的基本過程是：首先對待識別字符進(jìn)行二值化并將其尺寸大小歸一化為字符數(shù)據(jù)庫中模板的大小，然后與所有的模板進(jìn)行匹配，最后選最佳匹配作為結(jié)果。但是字符大小、方向、字體的變化以及噪聲都將嚴(yán)重地影響模板匹配的正確率。在實(shí)際應(yīng)用中，為提高 正確率，往往必須使用多個(gè)模板進(jìn)行匹配，而處理時(shí)間則隨著模板個(gè)數(shù)的增加而增加。基于關(guān)鍵點(diǎn)的模板匹配算法對傳統(tǒng)的模板匹配算法做出改進(jìn)，此算法先對待識別字符進(jìn)行關(guān)鍵點(diǎn)提取，即對字符進(jìn)行拓?fù)浞治鲆缘玫竭叿吘壍年P(guān)鍵點(diǎn)，然后對關(guān)鍵點(diǎn)去噪，最后再確定字符的分類。使用關(guān)鍵點(diǎn)進(jìn)行模板匹配有效地減少了模板中象素點(diǎn)的個(gè)數(shù)，只利用字符的關(guān)鍵點(diǎn)進(jìn)行模板匹配，既提高了識別速度，又具有較高的識別率。 （ 2）基于特征匹配的字符識別方法是 :提取字符的相關(guān)特征，然后利用這些特征來進(jìn)行字符匹配，選擇最接近匹配結(jié)果?；谔卣髌ヅ涞乃惴ㄐ时饶０?匹配算法效果更好，但是特征的正確提取比較困難。 （ 3）近年來，人工神經(jīng)網(wǎng)絡(luò)以其抗噪聲、容錯(cuò)、自適應(yīng)、自學(xué)習(xí)能力強(qiáng)，融合預(yù)處理和識別于一體，識別速度快等特點(diǎn)受到人們重視，在字符識別技術(shù)中得到了廣泛應(yīng)用。在許多系統(tǒng)中，其字符識別均采用了人工神經(jīng)網(wǎng)絡(luò)方法。用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識別主要有兩種方法：一種方法是先對待識別字符進(jìn)行特征提取，然后用所獲得的特征來訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器。這種網(wǎng)絡(luò)的識別效果與字符特征的提取有關(guān)，而字符特征的提取比較困難。另一種方法則充分利用神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，不進(jìn)行特征提取，直接把待處理圖像輸入網(wǎng)絡(luò) ，由網(wǎng)絡(luò)自動實(shí)現(xiàn)特征提取直至識別，這種網(wǎng)絡(luò)信息處理量很大，但是隨著 DSP 和計(jì)算機(jī)硬件性能 /價(jià)格比的提高，其性能將會進(jìn)一步得到改善。 我國車牌識別系統(tǒng)技術(shù)相對他國的車牌識別系統(tǒng)來講，其需求和難度更大 [3]，原因是： 。我國汽車牌照的構(gòu)成除了常規(guī)的英文字母和數(shù)字外，還有漢字，而漢字的識別和字母與數(shù)字的識別有很大的不同，從而增加了識別的難度。 。對應(yīng)于不同用途和車型的車輛，我國規(guī)定了軍車，警車，摩托車，農(nóng)用運(yùn)輸車，貨車，普通車等牌照格式。 較多。對應(yīng)于不同類型的牌照，我國汽車牌照的底色有藍(lán)、黃、黑、白等多種顏色，字符顏色有黑、紅、白等。 。由于我國交通管理相對不太嚴(yán)格，經(jīng)常會 5 出現(xiàn)牌照被污損，字符模糊不清的車輛上路，這樣的車牌對光線的散射性不好，會影響識別的準(zhǔn)確率。 現(xiàn)階段，國外對汽車牌照識別的研究，較為著名的有以色列 HITECH公司的 SEE/CARSYSTEM 系列，新加坡 OPTASIA 公司的 VLPRS 系列都是比較成熟的產(chǎn)品。但是其中的 VLPRS 產(chǎn)品主要適合新加坡的車牌，而 HITECH 公司的 SEE/CARSYSTEM 有多種變形的產(chǎn)品來分別適應(yīng)某一個(gè)國家的車牌，其中包括對我們中國大陸的車牌進(jìn)行識別，但是這些產(chǎn)品都存在著一定的缺陷，特別是這些產(chǎn)品都不能很好的支持我們內(nèi)地車牌中的漢字。另外日本，加拿大、德國、意大利、英國等各個(gè)西方發(fā)達(dá)國家都有適合本國車牌的識別系統(tǒng)。 國內(nèi)在上個(gè)世紀(jì) 90 年代開始了車牌識別的研究。目前比較成熟的產(chǎn)品有中科院自動化研究所漢王公司的“漢王眼”，它采用 CMOS 攝像頭 +DSP+MPU 組成一個(gè)高速運(yùn)行的硬件平臺， C 帕 S 攝像頭直接輸出數(shù)字信號，可方便地與 DSP 連接；用 DSP+MPU 代替工控機(jī)，可充分利用 DSP 在圖像處理方面的速度優(yōu)勢和單片機(jī)工作可靠的優(yōu)點(diǎn)，使圖像處理成為一個(gè)完整的系統(tǒng)。“漢王眼”的核心技術(shù)是光學(xué)字符識別 (OCR)，這項(xiàng)技術(shù)可以對攝像機(jī)、掃描儀等設(shè)備采集的圖像數(shù)據(jù)進(jìn)行自動處理，識別圖像中的文字符號，并存入計(jì)算機(jī)智能交通管理系統(tǒng)用于交通管理。同時(shí)，各大高校如西安交通大學(xué)的圖像處理和識別研究室、上海交通大學(xué)的計(jì)算機(jī)科學(xué)和工程系、清華大學(xué)人工智能國家重點(diǎn)實(shí)驗(yàn)室、浙江大學(xué)的自動化系等也做過類似的相關(guān)研究。 目前的國外科研機(jī)構(gòu)正試圖通過揭示人的文字識別的機(jī)制，進(jìn)而希望建立在這個(gè)基礎(chǔ)上來進(jìn)行文字識別理論 的研究和技術(shù)的開發(fā)。目前離線的文字字符識別產(chǎn)品已大量問世，有代表性的國內(nèi)外系統(tǒng)和研究小組有：美國的 Expervision 的 PTK(Recognition Cool Kits)和紐約州立大學(xué) Bufalo 分校的 Cedar 研究中心，加拿大 Conordia 大學(xué)的 Cenparmi 實(shí)驗(yàn)室，日本東芝的 Textreader。同時(shí)，構(gòu)成字符的識別理論中的一個(gè)重要分支是對我們漢字識別的研究， 1996 年美國 IBM 公司的 Casey 和 Nagy 發(fā)表了一篇關(guān)于用模本匹配法識別 1000 個(gè)印刷體漢字的漢字識別文章拉開了對漢字識別研究的帷幕 ，之后，我國、日本和加拿大分別掀起了研究漢字識別的浪潮。 本文研究的內(nèi)容 由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的自組織學(xué)習(xí)能力、容錯(cuò)性、魯棒性及非線性處 6 理等優(yōu)點(diǎn)，所以本文選擇了神經(jīng)網(wǎng)絡(luò)技術(shù)作為研究的主要方法，在此基礎(chǔ)上，詳細(xì)研究了車牌識別算法的實(shí)現(xiàn)方法，主要包括車輛牌照的分割與提取和車牌字符的識別。其中車牌字符的識別又包括了字符的分割與提取和字符識別兩部分。本文車牌識別的步驟為 :圖像預(yù)處理、車牌定位、字符分割、 BP 網(wǎng)絡(luò)訓(xùn)練、字符識別等幾個(gè)部分。其主要安排如下： ，包括 圖像預(yù)處理的知識、車牌定位算法、 Radon 傾斜矯正知識等。 。通過研究幾種傳統(tǒng)的車牌定位方法及相應(yīng)的算法，最后提出本系統(tǒng)采用的方法：基于一個(gè)改進(jìn)的自適應(yīng) PCNN 神經(jīng)網(wǎng)絡(luò)來進(jìn)行邊緣檢測，隨后結(jié)合數(shù)學(xué)形態(tài)學(xué)的操作來進(jìn)行車牌定位。 。首先介紹并比較幾種典型的校正車牌的方法并分析其不足之處，然后提出本系統(tǒng)采用的一種改進(jìn)后的傾斜校正車牌方法。之后用投影特征圖得到分割后的字符，為了方便下步的處理，本文隨后采用了字符歸一化的技術(shù)。 五章介紹字符識別算法?？紤]到傳統(tǒng)的串行，無學(xué)習(xí)功能的機(jī)械式計(jì)算方法的缺陷，本文采用了具有大規(guī)模并行處理和分布式信息存儲，良好的自適應(yīng)，自學(xué)習(xí)能力的改進(jìn)即人工神經(jīng)網(wǎng)絡(luò)，使得該法成為本文進(jìn)行字符識別所使用的主要方法。 ，對本文的工作進(jìn)行總結(jié)，并指出不足和需要進(jìn)一步改進(jìn)的地方。 7 第二章 車牌預(yù)處理及定位與分割算法研究 圖像預(yù)處理 采集的車牌圖像在進(jìn)行定位、分割、識別之前需要對原圖像預(yù)處理，這是因?yàn)橐恍┲T如車牌本身問題及拍攝環(huán)境條件等因素的影響，導(dǎo)致圖片模糊，無法直接進(jìn)行車牌的定位及后續(xù)的處理工作。 因此在進(jìn)行車牌定位之前，都會對采集的原圖像進(jìn)行必要的預(yù)處理，比如圖像格式轉(zhuǎn)換、平滑去噪處理、幾何變換等。通過圖像的預(yù)處理，可以使車牌的主要特征更加突出，便于更好的提取車牌。 灰度化 通過攝像頭采集的車牌原始圖像都是彩色圖像。彩色圖像包含大量的顏色信息，它的每個(gè)像素都包含三個(gè)不同的顏色分量 R、 G、 B，占用的存儲空間比較大，對其進(jìn)行處理時(shí)會降低系統(tǒng)的執(zhí)行速度。灰度圖只含亮度信息不含顏色信息，其中亮度值量化為 256。灰度圖進(jìn)行算法處理相對簡單，處理灰度圖像的速度會比處理彩色空間的圖像快很多，因此常常將彩 色圖像進(jìn)行灰度處理后再做下一步的算法分析。常規(guī)的灰度化轉(zhuǎn)換方法為：首先將原始圖像從 RGB 空間轉(zhuǎn)化 YCbCr 空間， Y 分量包含亮度信息， Cb 分量包含色度信息， Cr 分量包含飽和度信息，然后僅提取 Y 分量即生成灰度圖。進(jìn)行灰度轉(zhuǎn)換時(shí)使用如公式 (21)： Y = R + + (21) 灰度化效果如圖 21 所示。 （ a）原圖 （ b）灰度化處理后 圖 21 灰度化處理前后對比 8 二值化 彩色圖片轉(zhuǎn)換成灰度圖片后，灰度值是介于 0 到 255 之間的數(shù)值，為了方便識別，還會對灰度圖進(jìn)行二值化，大于閾值以上的值取 1，小于閾值的值取 0，閾值的選擇是車牌圖像二值化的關(guān)鍵步驟，通常有全局閾值和局部閾值。全局閾值的二值化算法是指在整幅圖像中使用一個(gè)統(tǒng)一的閾值對灰度圖像進(jìn)行二值化，當(dāng)圖像背景比較單一時(shí)，采用全局閾值進(jìn)行圖像處理一般可得到比較滿意的結(jié)果，并且算法較簡單易于實(shí)現(xiàn)。局部閾值的二值化算法是指在整幅圖像中使用多個(gè)閾值對灰度圖像進(jìn)行二值化，主要針對照明不均勻、背景灰度變化較大的圖像，根據(jù)像素的坐標(biāo)位置關(guān)系自動確定不同閾值，由像素的灰度值和該像素 點(diǎn)周圍的像素局部特性來確定像素的閾值進(jìn)行二值化。 二值化效果如圖 22 所示 圖 22 二值化處理 均值濾波 濾波是一種對圖像進(jìn)行增強(qiáng)的算法，通過對圖像進(jìn)行濾波處理可以實(shí)現(xiàn)圖像的光滑、銳化。均值濾波是一種非線性的圖形濾波器，它的原理是基于排序統(tǒng)計(jì)理論的一種能有效抑制噪聲的信號處理技術(shù)，就是把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中各點(diǎn)值的中值代替，讓周圍的像素值接近的中間值，從而消除孤立的噪聲點(diǎn)。圖 23 顯示了對加入了椒鹽噪聲的圖片進(jìn)行均值濾波后的效果。 （ a）均值濾波前 （ b） 均值濾波后 圖 23 均值濾波前后對比 9 形態(tài)學(xué)預(yù)處理 數(shù)學(xué)形態(tài)學(xué)形成于 1964 年，法國巴黎礦業(yè)學(xué)院 和其學(xué)生 J.Serra 從事鐵礦核的定量巖石學(xué)分析，提出了該理論 [4]。它是一門建立在嚴(yán)格數(shù)學(xué)理論基礎(chǔ)上的學(xué)科，其基本思想和方法對圖像處理的理論和技術(shù)產(chǎn)生了重大的影響。近年來，數(shù)學(xué)形態(tài)學(xué)的應(yīng)用已經(jīng)覆蓋了圖像處理的所有領(lǐng)域，包括文字識別、醫(yī)學(xué)圖像、視覺檢測、工業(yè)檢測、材料科學(xué)等。數(shù)學(xué)形態(tài)學(xué)圖像處理是一種鄰域運(yùn)算，將這種鄰域稱作結(jié)構(gòu)元素，在每個(gè)像素 位置上，結(jié)構(gòu)元素與對應(yīng)的區(qū)域進(jìn)行運(yùn)算，結(jié)果作為輸出圖像的對應(yīng)像素。數(shù)學(xué)形態(tài)學(xué)的運(yùn)算對象主要是二值圖像。數(shù)學(xué)形態(tài)學(xué)運(yùn)算的效果由結(jié)構(gòu)元素的大小和邏輯運(yùn)算決定，通常有膨脹運(yùn)算、腐蝕運(yùn)算、開運(yùn)算和閉運(yùn)算。 (1)膨脹運(yùn)算 膨脹的原理是把與物體接觸的全部背景點(diǎn)合并到該物體中，使邊界向外擴(kuò)張的過程，通熟易懂地理解就是可以對圖像進(jìn)行變粗。定義結(jié)構(gòu) A 被結(jié)構(gòu)B 腐蝕表示為 A⊕ B，數(shù)學(xué)形式可表示為： (22) 膨脹運(yùn)算效果 如圖 24 所示 圖 24 膨脹處理 (2)腐蝕運(yùn)算 腐蝕的原理是消除邊界點(diǎn)