【正文】 ................. 37 圖 寬度較大的連通區(qū) ...................................................................... 37 圖 寬度最大的連通區(qū) ...................................................................... 37 圖 去除字符上下背景后 Canny 邊緣圖 ............................................ 38 圖 閉運算后圖 ................................................................................. 38 圖 可能的字符區(qū)置“ 1” ............................................................... 38 圖 各 個字符區(qū)域標(biāo)記 ...................................................................... 39 1 第一章 緒 論 車牌圖像識別技術(shù)應(yīng)用現(xiàn)狀 [1] [2] 2020年，車牌圖像識別 產(chǎn)品 第一次在國內(nèi) 實 際 應(yīng) 用于 交通工程。 在城市卡口監(jiān)控、移動電子警察方面，對車牌圖像識別技術(shù)在車牌識別結(jié)果的正確率指標(biāo)的要求 比較 高，否則將給執(zhí)法工作帶來很大的麻煩。通過對有關(guān)資源數(shù)據(jù)庫中 1998年 — 2020年在各類期刊上公開發(fā)表的約 380 篇相關(guān)論文的統(tǒng)計，發(fā)現(xiàn)有關(guān)車牌區(qū)域定位的內(nèi)容占 50% 以上 。 關(guān)鍵 技術(shù)水平的高低，決定了一個車牌圖像識別產(chǎn)品性能的優(yōu)劣，在某種程度上也決定著車牌識別技術(shù)的應(yīng)用前景。 常用的通過 Hough變換檢測直線獲取校正基準(zhǔn)的方法，實際應(yīng)用的效果還不是很理想。 圖像二值化技術(shù) 目前提出的車牌字符切分和字符分類特征提取的方法，很多是以二值圖像為基礎(chǔ)的。 可以用式（ 21 ）至式（ 24 ）來分別計算 )t(1? ， )t(2? ， )t(M1 ，)t(M2 ： ??? ??? NyMx yx yxC. 1,11 ),()t(? ???? 01),( yxC t),( t),( ??yxf yxf 式（ 21 ）??? ??? NyMx jx yxC, 1,12 ),()t(? ???? 01),( yxC t),( t),( ??yxf yxf 式（ 22 ）)t(1)t( 11 ??M ???ti i1 式（ 23 ） )t(1)t( 22 ??M ????Lti i1 式（ 24 ） 其中 ?1 t L? 表示灰度級。下面所述的 二值化方法 ，是以 Canny 邊緣檢測 來尋找目標(biāo)對象特征點，再根據(jù) 對 特征點灰度值 的分析判斷來確定閾值進行 二值化。如果 thresh選取得好，可以獲得比較完整的邊緣，同時使得噪聲不至于過大。 Step4:用雙閾值算法檢測和連接邊緣 。與處理前相比，直方圖更接近于雙峰分布，字符與背景的分離相對更容易些。通過選擇相應(yīng)的結(jié)構(gòu)元可實現(xiàn)對相關(guān)像素族的整體處理，而相關(guān)像素族的幾何形狀特征，又是選擇結(jié)構(gòu)元的一個直接依據(jù)。這就使我們想到：能否通過將車牌圖像直方圖形狀規(guī)定化為 合適的 雙峰分布 ( 如雙正態(tài)分布、雙三角分布等 ) 來獲得較理想的 Otsu算法二值化的處理效果。 檢測出的 車牌區(qū)域邊緣 不一定要求很完整，但必須要能與其它對象邊緣區(qū)分。 人為特征： 是圖像中人類視覺不能直接感受到的，需要通過變換或測量才可以得到的圖像的屬性，如各種變換的頻譜、直方圖、各階矩等。圖像分析時經(jīng)常利用各階中心矩，其定義為： ? ???? ???? d x d y)y,x(f)y(y)x(xM kjjk 式中 00010010 MMy,MMx ?? 通過重心主軸計算并用面積規(guī)范化的中心矩具有與位置無關(guān)的特性，在物體放大、平移、旋轉(zhuǎn) 時保持不變。 基于神經(jīng)網(wǎng)絡(luò)分類器的車牌區(qū)域定位方法 [15][ 16] 在所收集的資料中，基于神經(jīng)網(wǎng)絡(luò)分類器的 車牌區(qū)域定位 方法采用的 神經(jīng)網(wǎng)絡(luò)有 BP 神經(jīng)網(wǎng)絡(luò)、 Elman 遞歸神經(jīng)網(wǎng)絡(luò) 和 SOFM 神經(jīng)網(wǎng)絡(luò)等不同 的 類型，但其過程基本相同。 目前，在 車牌區(qū)域定位 中一般利用的多為人們易于感知的車牌圖像邊緣和紋理的分布規(guī)律（比如，車牌區(qū)域邊界幾何形狀、字符區(qū)域水平方向灰度密度分布等），而對于圖像一些較深層邊緣和紋理的分布（如分布的一致性，致密度等）則 還 未能總結(jié)出適 應(yīng) 范圍較大的規(guī)律。 2 、區(qū)域分裂 — 合并 區(qū)域分裂 — 合并 方法是從整幅圖像開始通過不斷分裂得到各個區(qū)域，一般是先把圖像分成任意大小且不重疊的區(qū)域，然后再 合并 或 分裂 這些 區(qū)域 以滿足分割的要求。 基于彩色圖像特征的車牌區(qū)域定位方法 [17][ 18] 該類方法主要是為了充分利用彩色圖像信息，采用顏色分類、顏色聚類、顏色模板匹配等方法 , 或者是在彩 色空間中提取邊緣、紋理等特征信息從彩色圖像中分割出車牌。 7 、紋理特征 圖像紋理是一種反映某一區(qū)域中 像素灰度級變化 的 空間分布的屬性 ，目前對其確切的定 義尚存在不同的觀點。 一 階 灰度直方圖 的表征參數(shù)主要有 平均值、方差、傾斜度、陡峭度、能量、熵 等， 二 階 灰度直方圖 的表征參數(shù)主要有 自相關(guān)系數(shù)、協(xié)方差、慣性矩、絕對值、能量、熵 等。這條直線即可作為車牌圖像水平傾斜校正的依據(jù)。 圖像空間幾何坐標(biāo)變換指的是按照一幅標(biāo)準(zhǔn)圖像或一組基準(zhǔn)點去校正幾何失真圖像。當(dāng)像素互為 8 鄰域時即稱為 8 鄰域連通。 (a) 車牌灰度 圖像 (b)同 態(tài)濾波 前 Canny 邊緣 (c) 同 態(tài)濾波 后 Canny 邊緣 圖 同 態(tài)濾波對 Canny 邊緣 檢測的影響 數(shù)學(xué)形態(tài)學(xué) [9] 數(shù)學(xué)形態(tài)學(xué)理論提出了獨特的變換和概念用于描述圖像的基本特征，采用 15 了以積分幾何和隨機集論為基礎(chǔ)的數(shù)學(xué)工具，可以得到幾何常數(shù)的測量和反映圖像的體視性質(zhì)，在圖像處理和分析方面有著較廣泛的應(yīng)用。因此， 對于 邊緣 、紋理等 圖像細節(jié)的提取 ， 是車牌區(qū)域 定位和 字符切分的 一個 關(guān)鍵所在。Laplacian 算子用模板表示 為 ： 12 ????????????010141010p 在進行邊緣檢測時，其 基本 過程如下： Step1:獲得灰度圖像 f 的二階差分 f2? ： pff2 ??? Step2:尋找零交叉點。 因此，在進行 車牌 字符切分時 最好 避免以二值化圖像為基礎(chǔ)。局部閾值二值化方法閾值的選擇依靠考察點 的灰度值及其周圍的局部鄰域的灰度值來決定，它是一種動態(tài)選擇閾值的方法。 圖像 二值化 一般作為 一種 預(yù)處理方法 ，評價其 效果的優(yōu)劣應(yīng)當(dāng)兼顧下面兩方面的基本要求： 1 、二值圖像 中目標(biāo)對象的完整性 。 3 、分析研究了一些車牌字符切分方法，提出了一種基于 Canny 邊緣檢測的字符切分方法。 (1) 關(guān)于圖像的二值化 5 在車牌圖像識別中，圖像 二值化 是一個非常重要的技術(shù)。 在車牌字符分類器設(shè)計方面， 公開 資料中提出的分類器主要有： 神經(jīng)網(wǎng)絡(luò)分類器 ( 包括 BP神經(jīng)網(wǎng)絡(luò)、 SOFM網(wǎng)絡(luò)等 ) 、 模板匹配分類器 、 基于 概率統(tǒng)計 的 Bayes 分類器 、 幾何 分類器 等。其中，車牌識別正確率是目前車牌識別產(chǎn)品中存在的最主要的問題，也是國內(nèi)主流廠商最為頭疼的問題。 目前的高速公路收費輔助系統(tǒng)中， 采用 車牌圖像識別技術(shù)在車牌識別速度指標(biāo)基本可以滿足 ， 但 識別結(jié)果正確率指標(biāo) 還不是很理想 。 2 、對于現(xiàn)有的車牌區(qū)域定位方法進行了分析研究 ； 在此基礎(chǔ)上 ， 設(shè)計實現(xiàn)了一種基于多方向邊緣提取和數(shù)學(xué)形態(tài)學(xué)處理的車牌區(qū)域定位方 法 。 盡 我所 知 ， 除 文 中 特 別 加 以 標(biāo) 注 和 致 謝 的 地方 外 ， 不 包 含 其 他 人 或 組 織 已 經(jīng) 發(fā) 表 或公 布 過 的 研 究 成 果 ， 也 不 包 含 我 為 獲 得 及 其 它 教 育 機 構(gòu) 的 學(xué) 位 或 學(xué) 歷 而 使 用 過的 材 料 。 城市卡口監(jiān)控：公安部頒布的城市卡口監(jiān)控系統(tǒng)部頒標(biāo)準(zhǔn)明確規(guī)定了車牌識別是城市卡口監(jiān)控系統(tǒng)的一個重要組成部分，越來越多的城市公安部門正在積極籌建卡口系統(tǒng)。由此可以推斷，目前的車牌圖像識別 產(chǎn)品 對于不同使用 環(huán)境的適應(yīng)性還不是特別理想， 其原因主要是 關(guān)鍵 技術(shù)對于 不同 背景和不同自然條件下所采集 圖像的適應(yīng)性還不是很好 , 會導(dǎo)致 車牌識別產(chǎn)品軟件的通用性還不 是 太 好，往往 需 要在 現(xiàn)場 采集大量樣本分析測試 ， 并 且要 修改相應(yīng)參數(shù)甚至方法，使得施工周期往往較長，識別結(jié)果的可靠性往往也不能讓人完全放心。比如，國家車牌標(biāo)準(zhǔn)、車牌圖像采集標(biāo)準(zhǔn) 、 有關(guān)測試規(guī)范的統(tǒng)一以及 有關(guān)的執(zhí)法管理工作 等方面 的因素 ，都直接或間接地影響著車牌 圖像 識別 關(guān)鍵 技術(shù)采用的方案和算法 的選擇和實際應(yīng)用效果 。 (4) 關(guān)于圖像的數(shù)學(xué)形態(tài)學(xué)處理 數(shù)學(xué)形態(tài)學(xué)中的開運算和閉運算，具有在 基本不改變 目標(biāo)對象 形狀 的情況下對背景像素進行處理的優(yōu)點， 在本文的車牌區(qū)域定位和字符切分方法中有較好的應(yīng)用效果。比如， 天氣變化因素 ( 雨、霧、溫度、濕度 ) 、光線變化因素 ( 如 陽光直射、反射，黃昏、白天、夜間 ，等 ) 、攝像機與車牌不同的相對位置、攝像機的有關(guān)攝像參數(shù)的不同以及圖像采集現(xiàn)場不同的景物背景等因素，使得即使對于同一輛車的同一個車牌采集的圖像往往也表現(xiàn)出許多不同的特點。 Otsu 算法 Otsu算法是一種全局閾值二值化方法， 又稱為最大類間方差法或大津 閾值分割法，是在判決分析最小二乘法原理的基礎(chǔ)上推導(dǎo)得出的。 (a) 原圖 (b) Bersen 算法二 值化圖 圖 Bersen 算法 二值化 10 基于 Canny 邊緣檢測的 字符 ( 車牌 區(qū)域 ) 圖像二值化的方法 在車牌圖像識別中，一般是在切分字符時對車牌區(qū)域圖像進行 二值化 ，以及在提取字符分類識別特征時對字符圖像進行二值化。 微分算子邊緣檢測法 常用的微分算子有 Roberts 、 Prewitt 和 Sobel 算 子，都是以圖像灰度的兩個差分來逼近梯度算子。 3 、保證一個邊緣只得到一次檢測。 同態(tài)濾波處理后的車牌圖像，字符與背景的對比得到增強，邊緣更為突出 ,灰度直方圖分布也發(fā)生較大的變化 。 BB ???? )BA(A A 為原始圖像， B 為結(jié)構(gòu)元圖像 。能否通過改變圖像直方圖的分 布形狀來獲得車牌區(qū)域穩(wěn)定的、具有普遍代表性的特征，是一個有必要研究的命題。 依托 車牌區(qū)域邊緣 尋找校正基準(zhǔn)是目前較為簡單可靠的方法。 18 第三章 車牌區(qū)域 定位 技術(shù) 研究 車牌區(qū)域特征分析 [14] 圖像特征是圖像場中可用作標(biāo)志的屬性， 是對圖像進行處理和分類識別的依據(jù)。目前提出的 車牌區(qū)域圖像定位 方法中，絕大多數(shù)都在不同的程度上利用了車牌圖像的 邊緣特征 。由于目前實際應(yīng)用中采集的 車牌圖像 樣本類型難以窮舉，那些僅 對 少數(shù) 圖像 樣本 的數(shù)據(jù) 進行 統(tǒng)計分析而 得 來 的車牌圖像特征的 規(guī)律性 ，其可靠性還需要在實際應(yīng)用中檢驗。 基于紋理檢測和邊緣檢測的車牌區(qū)域定位方法 這一類車牌 區(qū)域定位 方法是目前在工程應(yīng)用和相關(guān) 的 研究中最為普遍采用的，而且也是效果 較 好的 一種 方法。而且，一般來說圖像中 車牌區(qū)域與周圍背景之間存在較 明顯的顏色區(qū)別 ，具有一定的 封閉性和獨立性 。 以 基于 HSV(H表示色度， S 表示飽和度， V表示亮度 ) 顏色空間 的 彩色圖像特征的 車牌 區(qū)域定位 方法為例，其基本過程是：首先根據(jù)我國車牌底色一般為藍、黃、黑、白中的一種這一特點，在 H和 S 分量子空間 中 找出藍色和黃色 21 區(qū)域，在 V分量子空間找出黑色和白色區(qū)域，然后再根據(jù)其它特征信息 在這些區(qū)域 中 確定車牌 區(qū)域的 位置。但是由于車牌圖像的復(fù)雜性，其紋理 特征 并不是很穩(wěn)定。采用各種變換的目的，一般是為了突出圖像的某些特征信息，以便于尋找其規(guī)律性。由于 校正 后的圖像中 ， 某些像素點可能分布不均勻，沒有落在坐標(biāo)點上，需要采用內(nèi)插法近似求得這些像素點的灰度值，實際上這也就 是 產(chǎn)生了新的畸變。由于車牌圖像的復(fù)雜性，尋找校正基準(zhǔn)點是非常困難的。也就是說，在不丟失灰度 16 級之間次序的情況下，改變圖像的直方圖形狀一般并不會影響圖像中重要的因素。 開運算：是先腐蝕再膨脹的過程。因此，如果要增強圖像細節(jié)結(jié)構(gòu)，就要加強高頻成分減弱低頻成分。 在車牌 圖像的分割和 識別中