【文章內(nèi)容簡介】 g(x,y)= 255 f(x,y)t 二值化，基于實(shí)時(shí)性的要求，我力求尋找一種快速而且效果較好的方法，能夠更有針對性的解決在不同條件下牌照圖像的二值化問題。求解閾值的方法很多，微分直方圖法、最大方差法、基于灰度的數(shù)學(xué)期望的方法、可變閾值法等。我們采用最簡單的方法，當(dāng)象素灰度級低于常數(shù) C時(shí)， [0C]象素灰度為 0， [C255]象素灰度為 255。 圖 34 二值化后的圖像 11 車牌定位 車牌圖像往往是在復(fù)雜的環(huán)境中拍攝得到的 ， 車牌由于與復(fù)雜的車身背景融為一體 ， 由于車牌在使用中磨損與灰塵及拍攝儀器的影響以及由于拍攝角度的不同 ， 車牌在圖像中往往有很大的形變 ， 如何在復(fù)雜背景中準(zhǔn)確、快速找出車牌的位置成為車牌識別中的難點(diǎn)。 目前已有不少學(xué)者在這方面進(jìn)行了研究 。 總結(jié)起來主要有如下幾類方法 ： (1) 基于水平灰度變化特征的方法 ， 這種方法主要在車牌定位以前 ， 需要對圖像進(jìn)行預(yù)處理 ， 將彩色圖像轉(zhuǎn)換為灰度圖像 ， 利用車牌區(qū)域水平方向的紋理特征進(jìn)行車牌定位 ； (2) 基于邊緣檢測的定位方法 ， 這種方法是利用車牌區(qū)域豐富的邊緣特征進(jìn)行車牌定位 [3]， 能夠進(jìn)行檢測的方法有多種 ， 如 Roberts 邊緣算子、 Prewitt 算子、 Sobel 算子以及拉普拉斯邊緣檢測 ； (3) 基于車牌顏色特征的定位方法 ， 這種方法主要是應(yīng)用車牌的紋理特征、形狀特征和顏色特征即利用車牌字符和車牌底色具有明顯的反差特征來排除干擾進(jìn)行車牌的定位 ； (4) 基于 Hough 變換的車牌定位方法 ， 這種方法是利用車牌邊框的幾何特征 ，采取尋找車牌邊框直線的方法進(jìn)行車牌定位 ； (5) 基于變換域的車牌定位方法 ， 這種方法是將圖像從空域變換到頻域進(jìn)行分析 ， 例如采用小波變換等 ； (6) 基于數(shù)學(xué)形態(tài)學(xué)的車牌定位方法 ， 這種方法是利用數(shù)學(xué)形態(tài)學(xué)圖像處理的基本思想 ， 利用一個(gè)結(jié)構(gòu)元素來探測一個(gè)圖像 ， 看是否能將這個(gè)結(jié)構(gòu)元素很好的填放在圖像內(nèi)部 ， 同時(shí)驗(yàn)證填放元素的方法是否有效。腐蝕、膨脹、開啟和關(guān)閉是數(shù)學(xué)形態(tài)學(xué)的基本運(yùn)算。 本文采 用 sobel算子進(jìn)行邊緣檢測定位車牌， sobel算子公式如下： [ ] and [ ] 其 C實(shí)現(xiàn)代碼為： for(Times=0。Times128amp。amp。iThreshold!=iNewThreshold。Times++) { iThreshold=iNewThreshold。 lP1=0。 lP2=0。 lS1=0。 12 lS2=0。 for(i=iMinGray。iiThreshold。i++) { lP1+=Histogram*i。 lS1+=Histogram。 } iMean1Gray=lP1/lS1。 for(i=iThreshold。iiMaxGray。i++) { lP2+=Histogram*i。 lS2+=Histogram。 } iMean2Gray=lP2/lS2。 iNewThreshold=(iMean1Gray+iMean2Gray)/2。 } 車牌粗定位 由攝像機(jī)采集的彩色車輛圖像首先轉(zhuǎn)化為灰度圖像 ， 經(jīng)過灰度均衡變換、Sobe1邊緣強(qiáng)化， 其邊緣得到了勾勒和加強(qiáng) 。 在本程序中用到了膨脹和閉合這兩個(gè)基本運(yùn)算，最后還用了 bwareaopen來去除對象中不相干的小對象。 圖 35 對車牌位置粗定位 車牌細(xì)定位 在獲得車牌粗定位后 ， 利用車牌的彩色信息的彩色分割方法。根據(jù)車牌底色等有關(guān)的先驗(yàn)知識，采用彩色像素點(diǎn)統(tǒng)計(jì)的方法分割出合理的車牌區(qū)域，確定車牌底色藍(lán)色 RGB對應(yīng)的各自灰度范圍，然后行方向統(tǒng)計(jì)在此顏色范圍內(nèi)的像素點(diǎn)數(shù)量，設(shè)定合理的閾值，確定車牌在行方向的合理區(qū)域。然后，在分割出的行區(qū)域內(nèi)，統(tǒng)計(jì)列方向藍(lán)色像素點(diǎn)的數(shù)量，最終確定完整的車牌區(qū)域。 13 圖 36 定位后的車牌 車牌分割 車牌圖像的分割即把車牌的整體區(qū)域分割成單字符區(qū)域 ， 以便后續(xù)進(jìn)行識別。車牌分割的難點(diǎn)在于噪聲合字符粘連 ， 斷裂對字符的影響。 要想從圖像中直接提取出目標(biāo)物體，最常用的方法就是設(shè)定一個(gè)閾值 T，用 T將圖像的數(shù)據(jù)分成兩部分：大于 T的像素群和小于 T的像素群，即對圖像二值化。 均值濾波是典型的線性濾波算法，它是指在圖像上對目標(biāo)像素給一個(gè)模板，該模板包括了其周圍的臨近像素。再用模板中的全體像素的平均值來代替原來像素值。 在汽車牌照自動識別過程中，字符分割有承前啟后的作用。它在前期牌照定位的基礎(chǔ)上進(jìn)行字符的分割，然后再利用分割的結(jié)果進(jìn)行字符識別。字符識別的算法很多，因?yàn)檐嚺谱址?間間隔較大，不會出現(xiàn)字符粘連情況，所以此處采用的方法為 尋找連續(xù)有文字的塊，若長度大于某閾值，則認(rèn)為該塊有兩個(gè)字符組成，需要分割。 圖 37 分割出來的 7個(gè)字符 一般分割出來的字符要進(jìn)行進(jìn)一步的處理，以滿足下一步字符識別的需要。但是對于車牌的識別，并不需要太多的處理就已經(jīng)可以達(dá)到正確識別的目的。 圖 38 分割 處理后的 7個(gè)字符 字符識別 車牌字符識別方法基于模式識別理論 ， 主要有 ： (1) 統(tǒng)計(jì)識別 ； (2) 結(jié)構(gòu)識別 ； (3) 基于神經(jīng)網(wǎng)絡(luò)的字符識別 ； (4) 基于模板匹配的字符識別。 由于汽車車牌圖像所處成像環(huán)境復(fù)雜多變很難采集到一個(gè)完整的有代表性 14 原始圖像集作為統(tǒng)計(jì)分析的基礎(chǔ) ， 因此統(tǒng)計(jì)方法難于實(shí)現(xiàn)。另外車牌字符常發(fā)生變形、斷缺等情況 ， 使字符結(jié)構(gòu)受損 ， 則依賴于字體結(jié)構(gòu)完整性的結(jié)構(gòu)識別方法所提取的特征會不準(zhǔn)確 ， 識別結(jié)果的誤識率也高。因此實(shí)際用于車牌識別的方法主要是后兩類。 基于神經(jīng)網(wǎng)絡(luò)的字符識別方法 ， 具有良好的容錯能力 ， 分類能力和并行處理能力及自我學(xué)習(xí)能力 ， 應(yīng)用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)模式識別 ， 運(yùn)行速度快 ， 自適應(yīng)好 ， 分辨率高。對信息復(fù)雜、背景不清楚、推理不明確的問題尤為有利。但人工神經(jīng)網(wǎng)絡(luò)為了保證系統(tǒng)高 識別率也需要大量樣本 ， 通過學(xué)習(xí)獲取知識并改進(jìn)自身性能。當(dāng)學(xué)習(xí)系統(tǒng)所處環(huán)境平穩(wěn)時(shí) (統(tǒng)計(jì)特性不隨時(shí)間變化 )， 神經(jīng)網(wǎng)絡(luò)可以學(xué)到這些環(huán)境統(tǒng)計(jì)特性 ， 作為經(jīng)驗(yàn)記住。 基于模板匹配的字符識別方法 ， 相對算法簡單 ， 速度較快 ， 得到了廣泛應(yīng)用?；谀０迤ヅ涞淖址R別方法主要有 ： 簡單模板匹配 ， 外圍輪廓匹配 ， 投影序列特征匹配 ， 外圍輪廓投影匹配 ， 基于 Hausdorff距離的模板匹配等等 [5]。本文采用了基于模板匹配的字符識別方法。 基于模板匹配的 OCR的基本過程是：首先對待識別字符進(jìn)行二值化并將其尺寸大小縮放為字符數(shù)據(jù)庫中模板的大小，然后與所有的模板進(jìn)行匹配，最后選最佳匹配作為結(jié)果。 圖 39 字符識別流程圖 建立自動識別的代碼表 讀取分割出來的字符 第一個(gè)字符與模板中的漢字模板進(jìn)行匹配 第二個(gè)字符與模板中的字母模板進(jìn)行匹配 待識別字符與模板字符相減，值越小相似度越大，找到最小的一個(gè)即為匹配的最好的 識別完成，輸出此模板對應(yīng)值 后 5 個(gè)字符與模板中的字母與數(shù)字模板進(jìn)行匹配 15 模板匹配的主要特點(diǎn)是實(shí)現(xiàn)簡單，當(dāng)字符較規(guī)整時(shí) 對字符圖像的缺損、污跡干擾適應(yīng)力強(qiáng)且識別率相當(dāng)高。綜合模板匹配的這些優(yōu)點(diǎn)我們將其用為車牌字符識別的主要方法。 模板匹配是圖象識別方法中最具代表性的基本方法之一，它是將從待識別的圖象或圖象區(qū)域 f(i,j)中提取的若干特征量與模板 T(i,j)相應(yīng)的特征量逐個(gè)進(jìn)行比較，計(jì)算它們之間規(guī)格化的互相關(guān)量，其中互相關(guān)量最大的一個(gè)就表示期間相似程度最高，可將圖象歸于相應(yīng)的類。也可以計(jì)算圖象與模板特征量之間的距離，用最小距離法判定所屬類。 以下是模版匹配中的平方差匹配公式： =∑ 這類方法利用平方差來進(jìn)行匹配 ,最好匹配為 0， 匹配越差 ,匹配值越大 。 在實(shí)際設(shè)計(jì)模板的時(shí)候，是根據(jù)各區(qū)域形狀固有的特點(diǎn)，突出各類似區(qū)域之間的差別，并將容易由處理過程引起的噪聲和位移等因素都考慮進(jìn)去，按照一些基于圖象不變特性所設(shè)計(jì)的特征量來構(gòu)建模板，就可以避免上述問題。 汽車牌照的字符一般有七個(gè)，大部分車牌第一位是漢字，通常代表車輛所屬省份，或是軍種、警別等有特定含義的字符簡稱；緊接其后的為字母與數(shù)字。車牌字符識別與一般文字識別在于它的字符數(shù)有限，漢字共約 50 多個(gè)，大寫英文字母 26 個(gè)，數(shù)字 10 個(gè)。所以建立字符模板庫也極為方便。為了實(shí)驗(yàn)方便，結(jié)合本次設(shè)計(jì)所選汽車牌照的特點(diǎn)，只建立了 4個(gè)數(shù)字 26個(gè)字母與 10個(gè)數(shù)字的模板。其他模板設(shè)計(jì)的方法與此相同。 首先取字符模板，接著依次取待識別字符與模板進(jìn)行匹配，將其與模板字符相減，得到的 0 越多那么就越匹配。把每一幅相減后的圖的 0值個(gè)數(shù)保存，然后找數(shù)值最大的，即為識別出來的結(jié)果。識別結(jié)果如圖 310 所示。 圖 310 字符識別效果圖 16 系統(tǒng)實(shí)現(xiàn) 系統(tǒng)界面 圖 311 系統(tǒng)主界面 系統(tǒng)功能介紹：①操作菜單；②載入圖片顯示區(qū)；③處理中圖片的圖片信息；④車牌定位結(jié)果顯示窗；⑤車牌精確定位與提取顯示窗；⑥字符分割結(jié)果；⑦識別過程用到的模版顯示窗。 圖 312 特征訓(xùn)練界面 實(shí)驗(yàn)結(jié)果分析 本文以 Visual Studio2021 為實(shí)驗(yàn)平臺，以 照相機(jī)拍取和網(wǎng)絡(luò)下載 的 25 張彩色車牌照片為對象進(jìn)行實(shí)驗(yàn)。 實(shí)驗(yàn)結(jié)果如圖 313所示： 17 見圖 316 見圖 317 見圖 318 圖 313 25 張車牌識別結(jié)果 實(shí)驗(yàn)中對 25 張汽車圖片進(jìn)行識別，正確識別 18 張圖片，識別錯誤 7 張， 識別率達(dá)到 72%，錯誤包括三類，分別是定位失敗 4 例 ，分割錯誤 2 例 ，漢字識別錯誤 1 例 。 見圖 314： 圖 314 車牌識別正確率 車牌 識別結(jié)果 識別時(shí)間 錯誤原因津0 0 0 0 0 0 √ 528ms粵A A D 2 6 3 √ 301ms浙G 5 6 0 6 9 √ 351ms浙G 1 W 1 1 7 √ 448ms浙G 9 1 2 2 A √ 429ms浙D 6 0 7 8 T 272ms 定位失敗浙G 1 7 9 7 C √ 376ms浙D 2 9 2 2 L 281ms 分割錯誤浙G 5 9 0 9 9 361ms 定位失敗浙G 9 1 9 5 8 325ms 漢子識別錯誤浙G 1 Y 7 3 5 395ms 定位失敗浙G 6 0 A 2 0 √ 411ms浙G 0 N 5 8 3 √ 403ms浙B 0 6 0 2 R √ 271ms浙G 6 J 8 8 1 √ 353ms浙C 8 5 N 7 1 377ms 定位失敗浙G 3 3 9 B Z √ 326ms浙G 5 0 3 0 2 √ 368ms浙J X Y 2 9 3 √ 416ms浙G 0 D 1 9 1 385ms 分割錯誤粵A 9 X 6 6 7 √ 305ms粵A G F 3 3 2 √ 313ms粵A G F 7 5 1 √ 294ms粵A F Q 7 8 7 √ 311ms 18 成功識別圖例： 圖 315 成功識別圖例 錯誤識別類型 與圖例： 圖 316 定位失敗 圖例 圖 317 分割錯誤 圖例 19 圖 318 漢 字 識別錯誤 圖例 分析認(rèn)為，漢 字 識別錯誤可以由完善漢 字 特征庫糾正。圖 318 是圖 317 的糾正結(jié)果： 圖 319 漢 字 識別錯誤糾正 定位失敗，分析認(rèn)為是復(fù)雜環(huán)境的影響，例如出現(xiàn)復(fù)雜圖案，或者廣告牌之類，導(dǎo)致無法正確定位車牌，此處可以由規(guī)范照片格式，以及改進(jìn)攝像設(shè)備提高成功定位的概率。 分割錯誤主要是由于光線，雜質(zhì)，角度影響車牌的字符分割，導(dǎo)致有些字符粘連，無法識別或者識別錯誤， 可以 在提升硬件設(shè)備的基礎(chǔ)上， 改善 識別方式，來改進(jìn)正確分割的概率。