【文章內(nèi)容簡(jiǎn)介】 分別提取字符的分類特征，并選擇不同的分類識(shí)別方法。 7 第二 章 車牌圖像識(shí)別 中 的常用 圖像處理 技術(shù) 研究 在實(shí)際應(yīng)用中，車牌圖像幾乎都是在開放或半開放的環(huán)境中進(jìn)行采集的。在這種環(huán)境中，很多因素都直接或間接地影響著圖像的內(nèi)容和質(zhì)量。比如， 天氣變化因素 ( 雨、霧、溫度、濕度 ) 、光線變化因素 ( 如 陽(yáng)光直射、反射，黃昏、白天、夜間 ，等 ) 、攝像機(jī)與車牌不同的相對(duì)位置、攝像機(jī)的有關(guān)攝像參數(shù)的不同以及圖像采集現(xiàn)場(chǎng)不同的景物背景等因素，使得即使對(duì)于同一輛車的同一個(gè)車牌采集的圖像往往也表現(xiàn)出許多不同的特點(diǎn)。 因此，相較于 其它一些圖像 采集環(huán)境一般比較穩(wěn)定的 如 指紋圖像識(shí)別、人臉圖像識(shí)別、機(jī)械零件圖 像檢測(cè)、水果 缺陷 圖像檢測(cè)等 圖像識(shí)別技術(shù) 來(lái)說，車牌圖像在內(nèi)容和質(zhì)量的變化上要復(fù)雜得多，從而對(duì)為獲得車牌圖像識(shí)別對(duì)象穩(wěn)定而明確的特征信息所進(jìn)行的有關(guān)圖像處理技術(shù)提出了更高的要求。 下面，對(duì)于本文 中 主要使用的有關(guān)圖像處理技術(shù)進(jìn)行簡(jiǎn)要的介紹 ，并對(duì)它們?cè)谲嚺茍D像識(shí)別中的應(yīng)用特點(diǎn)進(jìn)行 分析 總結(jié) 。 圖像二值化技術(shù) 目前提出的車牌字符切分和字符分類特征提取的方法，很多是以二值圖像為基礎(chǔ)的。因此，在車牌圖像識(shí)別中，圖像 二值化 是一個(gè)非常重要的技術(shù)。 從字面上理解 ，所謂 圖像 二值化 ， 就是將彩色或灰度圖像用兩個(gè)灰度級(jí)別( 一般為 黑、白 ) 來(lái)表示 。 ???? 。0。1),( yxb Tyxf Tyxf ??),( ).( ),( yxf 為原圖像 ， ),( yxb 為 二值化 后圖像， T 為 閾值 二值化的 目的是 將 目標(biāo)對(duì)象 與背景分離 。 圖像 二值化 一般作為 一種 預(yù)處理方法 ，評(píng)價(jià)其 效果的優(yōu)劣應(yīng)當(dāng)兼顧下面兩方面的基本要求： 1 、二值圖像 中目標(biāo)對(duì)象的完 整性 。 2 、二值圖像 中 噪聲 對(duì)于后續(xù)處理影響的大小 。 對(duì) 二值化 效果優(yōu)劣的評(píng)價(jià)因目的不同會(huì)有很大的差異。以圖 (b)為例，如果以將車牌字符與背景分離為目的，可視為完全失敗；而如果以將車牌區(qū)域與背景分離為目的，則可視為效果較好。 (a) 原圖 (b) 圖 (a) Otsu 法 二 值 化圖 圖 二 值 化效 果 評(píng) 價(jià) 8 二值化實(shí)際上是尋找閾值 T 的過程 ，而 閾值 T 的選擇要以 滿足 二值化目的為依據(jù)。 目前，公開的資料中提出了很多圖像二值化的算法，主要有 Otsu算法 [3]、Bersen算法 [4] 、彩色二值化算法 [5] 、 直方圖凹面分析 算法 [6]、 Kittler 算法等。下面主要介紹兩種比較典型、較常用的 Otsu算法和 Bernsen 算法，并提出一種 Canny 邊緣檢測(cè)指導(dǎo)下的字符（車牌）圖像二值化的方法。 Otsu 算法 Otsu算法是一種全局閾值二值化方法， 又稱為最大類間方差法或大津 閾值分割法，是在判決分析最小二乘法原理的基礎(chǔ)上推導(dǎo)得出的。 其基本思想是：設(shè)閾值 t 將灰度分成了兩 類 ，一 類 對(duì)應(yīng)背景部分，一 類 對(duì)應(yīng)目標(biāo)對(duì)象，則這兩類 灰度值的 類 內(nèi)方差應(yīng)當(dāng)最小，兩 類 間方差應(yīng)當(dāng)最大。 具體做法為：設(shè)給定圖像 ),( yxF 具有 L 級(jí)灰度值，對(duì) 1 ? t ? L 中的每個(gè)t 將 圖像像素 分成兩 類 ，計(jì)算 類 1 的象素個(gè)數(shù) )t(1? ， 平均灰度 )t(M1 , 方差)t(21? ；類 2 的象素?cái)?shù) )t(2? ， 平均灰度 )t(M2 , 方差 )t(22? 。 可以用式（ 21 ）至式（ 24 ）來(lái)分別計(jì)算 )t(1? ， )t(2? ， )t(M1 ，)t(M2 ： ??? ??? NyMx yx yxC. 1,11 ),()t(? ???? 01),( yxC t),( t),( ??yxf yxf 式（ 21 ）??? ??? NyMx jx yxC, 1,12 ),()t(? ???? 01),( yxC t),( t),( ??yxf yxf 式（ 22 ）)t(1)t( 11 ??M ???ti i1 式（ 23 ） )t(1)t( 22 ??M ????Lti i1 式（ 24 ） 其中 ?1 t L? 表示灰度級(jí)。 M,N 表示圖像大小為 M N? ， ),( yxC 用來(lái)統(tǒng)計(jì)各組間像素個(gè)數(shù)。則： 類 內(nèi)方差 )t()t()t()t( 2222112w ????? ?? 式（ 25 ） 類 間方差 )]t(M)t(M)[t()t()t( 21212B ?? ??? 式（ 26 ） 對(duì)于給定的一幅圖像 ， 2w? + 2B? = 常數(shù)，因而 )t(2B? 最大時(shí) ，則 )t(2w?最小， 此時(shí) t=T 便是 使圖像分為兩類的最佳 閾值。 由上述可以發(fā)現(xiàn)： Otsu 算法 閾值的確定以灰度圖像像素值的分布而不是以具體的 二值化 目的為依據(jù)，適合 于目標(biāo) 對(duì)象 和背景明顯分離 的 圖像 的二值化閾值 的確定 。如圖 所示 ，將車牌邊框、鉚釘和字符一起作為目標(biāo)對(duì)象時(shí)，則可以認(rèn)為灰度圖像中 目標(biāo) 對(duì)象 和背景明顯分離 ，此時(shí)采用 Otsu算法 二值化的效果較好；而如果僅將其中的某一個(gè)看作目標(biāo)對(duì)象，則不滿足以上條件，對(duì)其 9 二值化效果的評(píng)價(jià)也要大打折扣。 (a) 原圖 (b) 圖 (a)的 Otsu 算 法 二值 化 圖 圖 Otsu 算 法二 值 化 Bernsen 算法 Bernsen算法是一種局部閾值二值化方法，通過定義考察點(diǎn)的鄰域，并由鄰域計(jì)算模板實(shí)現(xiàn)考察點(diǎn)灰度與鄰域點(diǎn)的比較 。局部閾值二值化方法閾值的選擇依靠考察點(diǎn)的灰度值及其周圍的局部鄰域的灰度值來(lái)決定，它是一種動(dòng)態(tài)選擇閾值的方法。 設(shè)圖像 F(x,y), 則圖像在像素點(diǎn) ),( yx 處的灰度值為 ),( yxf 。考慮以像素點(diǎn) (x,y) 為中心的 (2W+1)*(2W+1) 模板， ( 其中 W 表式模板的大小 ) ，則Bersen算法可描述如下： (1) 動(dòng)態(tài)計(jì)算圖像中各像素點(diǎn) ),( yx 的閾值 ),( yxT ),(m in),(m a x(),( lykxflykxfyxT WlW WkWWlW WkW ??????? ??? ?????? ??? 式（ 27 ） (2) 對(duì)圖像中的各像素點(diǎn) ),( yx 進(jìn)行逐點(diǎn)二值化，設(shè)二值化后的圖像為),( yxB ， ),( yxb 表示二值化圖像 ),( yxB 在 ),( yx 處的灰度值。則有： ???? 10),( yxb ),(),( ),(),( yxTyxf yxTyxf ?? 式（ 28 ） Bersen算法存在以下問題和缺點(diǎn)： 1 、 由于 Bersen算法閾值的確定是通過動(dòng)態(tài)計(jì)算每個(gè)考察點(diǎn)鄰域的灰度值來(lái)確定，其實(shí)現(xiàn)速度較全局閾值二值化方法要慢 ，而且也 沒有 做到以 二值化 目的作為閾值選擇的依據(jù) 。 2 、 Bersen算法二值化容易 產(chǎn)生嚴(yán)重的噪聲 。 由于 Bersen算法 以局部窗口內(nèi)最大、最小值作為考察點(diǎn)的鄰域，當(dāng)考察窗內(nèi)無(wú)目標(biāo)點(diǎn)時(shí)，個(gè)別噪聲點(diǎn)將引起閾值的突變，背景灰度的非均勻性也將影響局部閾值的變化，當(dāng)考察窗內(nèi)均為目標(biāo)點(diǎn)時(shí)，局部閾值被拉伸，這樣勢(shì)必使得宏觀上本應(yīng)同類的部分象 素 : 目標(biāo) ( 或背景 ) 被強(qiáng)行二值化為背景 ( 或目標(biāo) ) ，從而 產(chǎn)生嚴(yán)重的噪聲 。如圖 2.3 所示。 (a) 原圖 (b) Bersen 算法 二 值 化 圖 圖 Bersen 算 法 二值 化 10 基于 Canny 邊緣檢測(cè)的 字符 ( 車牌 區(qū)域 ) 圖像二值化的方法 在車牌圖像識(shí)別中，一般是在切分字符時(shí)對(duì)車牌區(qū)域圖像進(jìn)行 二值化 ，以及在提取字符分類識(shí)別特征時(shí)對(duì)字符圖像進(jìn)行二值化。對(duì)車牌區(qū)域圖像 二值化時(shí)的目標(biāo)對(duì)象除字符外，還可能是或者包括邊框 ( 一般是在需要對(duì)車牌 進(jìn)行幾何畸變 校正 時(shí) ) ，而對(duì)字符 圖像 進(jìn)行 二值化 時(shí)的目標(biāo)對(duì)象則明確為字符。 Canny 邊緣檢測(cè) ( 在本章 中具體介紹 ) 能 夠 比較好地 檢測(cè)出 邊緣，同時(shí)對(duì)于 孤立點(diǎn)和非邊緣 噪聲 能夠進(jìn)行 很好的抑制 。下面所述的 二值化方法 ，是以 Canny 邊緣檢測(cè) 來(lái)尋找目標(biāo)對(duì)象特征點(diǎn)，再根據(jù) 對(duì) 特征點(diǎn)灰度值 的分析判斷來(lái)確定閾值進(jìn)行 二值化。 這種方法較為簡(jiǎn)單，主要過程如下： Step1 對(duì) 車牌 ( 字符 ) 灰度 圖像 進(jìn)行 Canny 邊緣檢測(cè) , 如圖 (b)所示； Step2 根據(jù) Canny 邊緣檢測(cè) 結(jié)果，在 車牌 ( 字符 ) 灰度 圖像 中找到目標(biāo)對(duì)象的邊緣像素點(diǎn)； Step3 根據(jù)在 車牌 ( 字符 ) 灰度 圖像 中找到的邊緣像素點(diǎn)的灰度值，進(jìn)行具體的分析判斷來(lái)確定 閾值 ，進(jìn)行二值化。 Canny 算子法 檢測(cè) 出的邊緣定位比較準(zhǔn)確、寬度為一個(gè)像素、孤立點(diǎn)和非邊緣 噪聲 得到了較好的抑制，大大減少了圖像中需要分析判斷的數(shù)據(jù)，一般比較容易判斷出目標(biāo)和背景，從而能夠較好地確定 圖像 二值化的 閾值 。如圖 所示，本例原圖與圖 原圖相同，以字符作為二值化目標(biāo)對(duì)象，結(jié)果如圖 2.4(c)所示。 (a) 原圖 (b)Canny 邊 緣檢 測(cè) 結(jié) 果 (c) 二值 化 結(jié) 果 圖 基于 Canny 邊緣 檢 測(cè) 的 車牌 圖 像 二 值化 對(duì)于比較精確分割出的車牌區(qū)域圖像，進(jìn)行二值化時(shí)的判斷決策相對(duì)較為容易；但如果分割出的車牌區(qū)域圖像精確度較差時(shí)，就會(huì)給判斷決策帶來(lái)較大的困難。而單個(gè)字符圖像的字符與背景的區(qū)別一般來(lái)說較為明顯，判斷決策比較容易，基本可以獲得比較好的二值化效果。 因此，在進(jìn)行 車牌 字符切分時(shí) 最好 避免以二值化圖像為基礎(chǔ)。 圖像邊緣檢測(cè)技術(shù) 目前， 經(jīng)過對(duì) 公開資料中 有關(guān) 車牌 圖像 分割 和識(shí)別方法 所 依據(jù)的特征 進(jìn)行分析 ， 發(fā)現(xiàn) 字符 在 邊緣、輪廓、形狀 、紋理 方面的特征是 最多被使用的較 可靠而且是 較容易 提取的 特征 。而邊緣檢測(cè)是提取 這些 特征的 一種基本的、 較 為 可靠的手段 。 因此，在車牌 圖像識(shí)別 中，邊緣檢測(cè) 技術(shù) 十分重要。 11 灰度 圖像中 ， 所謂邊緣像素點(diǎn)表現(xiàn)為 該點(diǎn)的 鄰域是一個(gè)灰度級(jí)變化帶，衡量這種變化最有效的兩個(gè)特征值 ， 是灰度的變化率和變化方向。所以，邊緣檢測(cè)方法從本質(zhì)上 講 都是通過對(duì)這兩個(gè)特征值的處理來(lái)實(shí)現(xiàn)的。根據(jù)對(duì)這兩個(gè)特征值的處理方法的不同，基本的邊緣檢測(cè)方法 主要 有如下幾種：微分算子 邊緣檢測(cè) 法 、 Laplacian算子 邊緣檢測(cè) 法 和 Canny 算子 邊緣檢測(cè) 法 等。 微分算子邊緣檢測(cè)法 常用的微分算子有 Roberts 、 Prewitt 和 Sobel 算子，都是以圖像灰度的兩個(gè)差分來(lái)逼近梯度算子。在進(jìn)行邊緣檢測(cè)時(shí)，其 基本 過程如下： Step1:獲得各個(gè)像素 點(diǎn) 的逼近梯度算子 f? 2221 )pf()p(ff ????? f 為灰度圖 像 ， 1p 、 2p 為兩個(gè)方向模板， ? 表示卷積。 對(duì)于 Roberts 算子 , ?????? ?? 10 01p1, ???????? 01 10p2 對(duì)于 Prewitt 算子 , ?????????? ????111000111p1 , ??????????????101101101p2 對(duì)于 Sobel 算子 , ?????????? ????121000121p1 ，??????????????101202101p 2 Step2:進(jìn)行閾值操作得到二值邊緣圖像 ??? ?? ??? 時(shí)時(shí)th re s hf255 th re s hf0g thresh 為閾值 采用 上述方法 對(duì)車牌圖像進(jìn)行邊緣檢測(cè)時(shí)，閾值 thresh的選擇對(duì)邊緣提取的效果至關(guān)重要。如果 thresh選取得好，可以獲得比較完整的邊緣，同時(shí)使得噪聲不至于過大。但如果 thresh選取得不合適，則極易得到 較 強(qiáng)的噪聲或者是提取的邊緣 信息 的完整性 不好 。由于 對(duì)噪聲比較敏感， 而且 由于 閾值 固定， 自適應(yīng)性不好。在 車牌 圖像的分割和 識(shí)別中， 一般不采用上述的 純微分算子邊緣檢測(cè)法。 本文在車牌區(qū)域定位時(shí)采用了 Sobel 模板進(jìn)行多個(gè)方向的邊緣檢測(cè)。 Laplacian 算子邊緣檢測(cè) 法 Laplacian 算子法是通過尋找灰度圖像二階導(dǎo)數(shù)的零交叉點(diǎn)來(lái)檢測(cè)邊緣。Laplacian 算子用模板表示 為 ： 12 ?????????