【正文】 度圖像 .......................................................................... 36 圖 Canny算子法檢測(cè)邊緣 ............................................................... 37 圖 寬度較大的連通區(qū) ...................................................................... 37 圖 寬度最大的連通區(qū) ...................................................................... 37 圖 去除字符上下背景后 Canny 邊緣圖 ............................................ 38 圖 閉運(yùn)算后圖 ................................................................................. 38 圖 可能的字符區(qū)置“ 1” ............................................................... 38 圖 各 個(gè)字符區(qū)域標(biāo)記 ...................................................................... 39 1 第一章 緒 論 車牌圖像識(shí)別技術(shù)應(yīng)用現(xiàn)狀 [1] [2] 2020年，車牌圖像識(shí)別 產(chǎn)品 第一次在國(guó)內(nèi) 實(shí) 際 應(yīng) 用于 交通工程。剛開始主要用于高速公路收費(fèi)輔助系統(tǒng)以降低交通通行征費(fèi)收入的流失，后來(lái)逐步發(fā)展到 城市交通 、 停車場(chǎng)管理、門禁管理 等多種應(yīng)用領(lǐng)域。 1 、車牌圖像識(shí)別技術(shù)在高速公路領(lǐng)域的應(yīng)用 高速公路是車牌圖像識(shí)別技術(shù)在我國(guó)交通工程中最早應(yīng)用的領(lǐng)域，也是車牌識(shí)別產(chǎn)品應(yīng)用最多的領(lǐng)域。據(jù)統(tǒng)計(jì)，目前我國(guó)車牌識(shí)別產(chǎn)品 主流供應(yīng)商 ( 如北京漢王科技、昆明利普視覺(jué)、上海高德威、沈陽(yáng)聚德、北京信路威等公司 )的 產(chǎn)品有一半左右是應(yīng)用在此領(lǐng)域。主要用于高速公路 收費(fèi)管理、路徑判別、規(guī)費(fèi)征稽、交通數(shù)據(jù)采集等方面，其中，最常用的是 高速公路收費(fèi) 輔助系統(tǒng)。 高速公路收費(fèi)輔助系統(tǒng)：一般是在高速公路入口處進(jìn)行車牌圖像采集、識(shí)別，將識(shí)別結(jié)果寫入通行卡 ( 票 ) 或者通過(guò)網(wǎng)絡(luò)傳送至各出口站，在車輛到達(dá)出口時(shí)，再進(jìn)行一次車牌圖像采集、識(shí)別，并將識(shí)別結(jié)果與入口識(shí)別結(jié)果相比對(duì)，以防止或發(fā)現(xiàn)倒卡、換卡、換牌等逃費(fèi)行為。 目前的高速公路收費(fèi)輔助系統(tǒng)中， 采用 車牌圖像識(shí)別技術(shù)在車牌識(shí)別速度指標(biāo)基本可以滿足 ， 但 識(shí)別結(jié)果正確率指標(biāo) 還不是很理想 。從一些產(chǎn)品的解決方案來(lái)看，實(shí)際使用時(shí) 一般 仍然需要人工復(fù)核 。 因此， 雖然 車牌圖像識(shí)別技術(shù)在這一領(lǐng)域取得了較好的使用效果，但還不能實(shí)現(xiàn)真正意義上 的智能化收費(fèi)。 2 、車牌圖像識(shí)別技術(shù)在 城市交通 領(lǐng)域的應(yīng)用 隨著我國(guó)機(jī)動(dòng)車保有量的迅速增加，以及政府對(duì)公共安全的日益重視，城市交通監(jiān)控和管理工作日趨繁重。因此，城市交通領(lǐng)域迫切需要應(yīng)用一些 較 可靠、有效的智能化技術(shù)手段。目前，車牌圖像識(shí)別技術(shù)已經(jīng)開始在移動(dòng)電子警察、城市卡口監(jiān)控、超速布控報(bào)警等城市交通 ( 治安 ) 方面有了一定的應(yīng)用。其中，最常用的場(chǎng)所是 城市卡口監(jiān)控。 城市卡口監(jiān)控：公安部頒布的城市卡口監(jiān)控系統(tǒng)部頒標(biāo)準(zhǔn)明確規(guī)定了車牌識(shí)別是城市卡口監(jiān)控系統(tǒng)的一個(gè)重要組成部分，越來(lái)越多的城市公安部門正在積極籌建卡口系統(tǒng)。 公安系統(tǒng)設(shè)立城市卡口監(jiān)控點(diǎn)的主要任務(wù)是對(duì)車輛進(jìn)行車牌識(shí)別，并將識(shí)別結(jié)果與被盜搶、肇事、在逃、通緝的車輛牌號(hào)黑名單進(jìn)行比對(duì)。 移動(dòng)電子警察：移動(dòng)電子警察現(xiàn)在逐漸應(yīng)用到交警日常工作中，采用移動(dòng)電子警察技術(shù)可以靈活地對(duì)非固定監(jiān)控點(diǎn)的交通違章和事故進(jìn)行取證處理，不僅提高了警察執(zhí)法效率，而且增強(qiáng)了執(zhí)法的公正性。 在城市卡口監(jiān)控、移動(dòng)電子警察方面，對(duì)車牌圖像識(shí)別技術(shù)在車牌識(shí)別結(jié)果的正確率指標(biāo)的要求 比較 高，否則將給執(zhí)法工作帶來(lái)很大的麻煩。目前的車 2 牌圖像識(shí)別產(chǎn)品在這方面尚不夠理想，因此 一般也是 作為一種輔助手段，還不能實(shí)現(xiàn)真 正意義上的智能化。 3 、車牌圖像識(shí)別技術(shù)在停車場(chǎng)收費(fèi)管理系統(tǒng)中的應(yīng)用 停車場(chǎng)收費(fèi)管理系統(tǒng)：用于對(duì)出入車輛號(hào)牌識(shí)別和匹配，實(shí)現(xiàn)自動(dòng)計(jì)時(shí)、計(jì)費(fèi)管理。由于停車管理日益成為城市交通管理中一個(gè)嚴(yán)重問(wèn)題，人們對(duì)停車管理的智能化呼聲日漸高漲，通過(guò)車牌識(shí)別系統(tǒng)可以構(gòu)建一個(gè)智能的停車管理系統(tǒng)，因此，在大中城市的商場(chǎng)、寫字樓有很大的市場(chǎng)潛力。 停車場(chǎng)收費(fèi)管理系統(tǒng)對(duì)車牌圖像識(shí)別技術(shù)在車牌識(shí)別結(jié)果的正確率指標(biāo)的要求也非常高，目前的車牌圖像識(shí)別產(chǎn)品在這方面也不夠理想， 一般也需要人工干預(yù) 。 此外，車牌圖像識(shí)別技術(shù) 超速抓拍、門禁管理等方 面也有一定的應(yīng)用，但與前述三個(gè)方面的應(yīng)用一樣，還存在著一些問(wèn)題有待于解決。其中，車牌識(shí)別正確率是目前車牌識(shí)別產(chǎn)品中存在的最主要的問(wèn)題，也是國(guó)內(nèi)主流廠商最為頭疼的問(wèn)題。各個(gè) 廠商 所 聲稱的 識(shí)別正確率 一般在 95% 左右 ， 與真正智能化的要求還有一定的距離。而且 由于并沒(méi)有建立一個(gè)標(biāo)準(zhǔn)規(guī)范的測(cè)試體系，因此 有關(guān)數(shù)據(jù)的客觀公正性、可比性和可靠性等方面 尚值得 商榷。 由于 各個(gè) 廠商對(duì)其使用的車牌圖像識(shí)別技術(shù)都是不公開的，我們很難了解其中采用的三個(gè)方面的 關(guān)鍵 技術(shù) ( 車牌區(qū)域定位、單個(gè)字符區(qū)域切分、字符分類識(shí)別 ) 中使用的具體方法，因此很難 具體評(píng)價(jià)其方法的優(yōu)劣。但通過(guò) 各個(gè) 廠商在其有關(guān)網(wǎng)站提供的信息和對(duì)兩家廠商提供的測(cè)試軟件進(jìn)行一定數(shù)量樣本的測(cè)試后 ， 可以發(fā)現(xiàn)， 各個(gè) 廠商聲稱的 車牌識(shí)別正確率往往是通過(guò)對(duì)特定場(chǎng)所、特定時(shí)間范圍內(nèi)的樣本進(jìn)行測(cè)試而得出的結(jié)論。也就是說(shuō)，所采用的 車牌圖像識(shí)別技術(shù)往往還在一定程度上 要 依賴待識(shí)別圖像具體的采集環(huán)境和采集方式等因素 。 如果這些因素變動(dòng)時(shí)，就 可能要 根據(jù)具體的樣本、通過(guò)一定的分析學(xué)習(xí)過(guò)程以確定和修改使用的有關(guān)參數(shù) ， 才可能獲得較好的識(shí)別效果，否則其 識(shí)別正確率可能 不 會(huì) 很理想 。由此可以推斷，目前的車牌圖像識(shí)別 產(chǎn)品 對(duì)于不同使用 環(huán)境的適應(yīng)性還不是特別理想， 其原因主要是 關(guān)鍵 技術(shù)對(duì)于 不同 背景和不同自然條件下所采集 圖像的適應(yīng)性還不是很好 , 會(huì)導(dǎo)致 車牌識(shí)別產(chǎn)品軟件的通用性還不 是 太 好，往往 需 要在 現(xiàn)場(chǎng) 采集大量樣本分析測(cè)試 ， 并 且要 修改相應(yīng)參數(shù)甚至方法，使得施工周期往往較長(zhǎng)，識(shí)別結(jié)果的可靠性往往也不能讓人完全放心。 車牌圖像識(shí)別技術(shù)研究現(xiàn)狀 上世紀(jì) 90年代中后期開始，隨著數(shù)字圖像處理基礎(chǔ)理論的不斷發(fā)展和視頻處理技術(shù)、電子技術(shù)及計(jì)算機(jī)信息技術(shù)的迅速進(jìn)步，國(guó)內(nèi)從事車牌圖像識(shí)別技術(shù)研發(fā)的廠商和研究人員增長(zhǎng)迅速，提出了大量的 關(guān)鍵 技術(shù)算法，實(shí)際應(yīng)用 中 3 也取得了一定的成果。 有關(guān)研究大多圍繞車牌圖像識(shí)別的三大 關(guān)鍵 技術(shù) ( 車牌區(qū)域定位、單個(gè)字符區(qū)域切分、字符分類識(shí)別 ) 進(jìn)行。通過(guò)對(duì)有關(guān)資源數(shù)據(jù)庫(kù)中 1998年 — 2020年在各類期刊上公開發(fā)表的約 380 篇相關(guān)論文的統(tǒng)計(jì)，發(fā)現(xiàn)有關(guān)車牌區(qū)域定位的內(nèi)容占 50% 以上 。 這在一定程度上反映了車牌定位技術(shù)的重要地位，也一定程度上反映出目前這方面尚有不盡人意之處。相關(guān)論文中提出了很多車牌圖像處理、分割、分析、識(shí)別的算法，主要利用較經(jīng)典的圖像空間變換、智能計(jì)算和數(shù)據(jù)挖掘理論，并在一定程度上進(jìn)行了實(shí)驗(yàn)論證。 在車牌區(qū)域定位方面，公 開資料中提出的方法主要有： 基于神經(jīng)網(wǎng)絡(luò)分類器的 車牌區(qū)域定位 方法 、 基于彩色圖像特征的車牌區(qū)域定位方法 、 基于紋理檢測(cè)和邊緣檢測(cè)的車牌區(qū)域定位方法 、 基于區(qū)域的車牌區(qū)域定位方法 、 基于幾何形狀特征的車牌區(qū)域定位方法 、 基于離散圖像空間變換的 車牌區(qū)域定位 方法 、 基于離散圖像空間變換的 車牌區(qū)域定位 方法 、 基于遺傳算法 的車牌區(qū)域定位方法 等。 在車牌字符切分方面， 公開資料中提出的方法主要有： 基于二值 ( 灰度 ) 圖像水平 ( 垂直 ) 投影分布的車牌 字符的 切分方 法 、 基于二值圖像字符區(qū)域上下輪廓分布的車牌 字符 切分方法 、 基于 模板匹配的 車牌字 符 切分 方法 、 基于 聚類分析 的 車牌 字符 切分 方法 、 基于車牌二值圖像字符連通性的 字符 切分 方法 、 基于 顏色分類的車牌字符 切分 方法 等。 在車牌字符分類識(shí)別時(shí)的特征選擇和提取方面， 公開資料中利用的字符分類特征主要有： 以二值圖像 中 字符的筆畫像素分布為基礎(chǔ)的字符特征 ( 主要包括 四周邊特征 、 粗網(wǎng)格特征 、 投影特征 等 ) 、 以二值圖像 字符輪廓、骨架 為基礎(chǔ)的字符特征 ( 包括字符 筆畫 方向線素特征 、 漢字結(jié)構(gòu)特征點(diǎn)特征 等 ) 、 基于灰度圖像 小波變換的 字符 特征 ( 包括 小波 系數(shù)特征、 小波 矩特征和 小波 能量特征 ) 。 在車牌字符分類器設(shè)計(jì)方面， 公開 資料中提出的分類器主要有： 神經(jīng)網(wǎng)絡(luò)分類器 ( 包括 BP神經(jīng)網(wǎng)絡(luò)、 SOFM網(wǎng)絡(luò)等 ) 、 模板匹配分類器 、 基于 概率統(tǒng)計(jì) 的 Bayes 分類器 、 幾何 分類器 等。 上述方法的提出，為本文的有關(guān)研究提供了重要的參考和對(duì)照，在本文的第三章、第四章和第五章中進(jìn)行了相應(yīng)的分析。 有關(guān)研究 也 存在一些 不足 之處，主要表現(xiàn)在以下幾個(gè)方面： 1 、 一些 方法 對(duì) 實(shí)際應(yīng)用 特點(diǎn)考慮的還不夠全面 實(shí)際應(yīng)用中，車牌識(shí)別產(chǎn)品大多是在開放或半開放的場(chǎng)所使用，車牌圖像的采集往往是在不同的時(shí)空進(jìn)行，因而圖像中車牌的有關(guān)特征一般來(lái)說(shuō)不太穩(wěn)定，表現(xiàn) 比較 復(fù)雜 。一些方法中要求的 圖像的 特征 ( 比如，要求圖像中車牌區(qū)域大小一致，或者要求車牌圖像 字符位置固定 等 ) 在 目前的 圖像實(shí)際采集時(shí)可 4 能 還 難以滿足， 方法的實(shí)用性也就 難免存有一定的疑問(wèn) 。此外， 由于一些客觀因素的影響， 對(duì)于有關(guān)方法實(shí)驗(yàn)驗(yàn)證時(shí)， 難以獲得足夠 數(shù)量 的 具有廣泛代表性圖像樣本，實(shí)驗(yàn)結(jié)果的說(shuō)服力 還不夠充分 。 2 、 對(duì)與車牌圖像識(shí)別 關(guān)鍵 技術(shù)相關(guān)領(lǐng)域的研究還存在一定的困難 由于一些客觀的原因， 有關(guān) 研究 工作往往是局限于車牌圖像識(shí)別關(guān)鍵技術(shù)本身的設(shè)計(jì)方案和算法 。但在實(shí)際應(yīng)用中發(fā)現(xiàn)，車牌 圖像 識(shí)別 關(guān)鍵技術(shù) 還與其它一些因素有密不可分的關(guān) 系。比如，國(guó)家車牌標(biāo)準(zhǔn)、車牌圖像采集標(biāo)準(zhǔn) 、 有關(guān)測(cè)試規(guī)范的統(tǒng)一以及 有關(guān)的執(zhí)法管理工作 等方面 的因素 ，都直接或間接地影響著車牌 圖像 識(shí)別 關(guān)鍵 技術(shù)采用的方案和算法 的選擇和實(shí)際應(yīng)用效果 。 而目前這些方面的研究還 比較困難 ，有待于進(jìn)一步加強(qiáng)。 本文研究的主要內(nèi)容 車牌區(qū)域定位、單個(gè)字符區(qū)域切分 和 字符分類識(shí)別 作為車牌圖像識(shí)別系統(tǒng)的三個(gè) 關(guān)鍵 技術(shù)，同時(shí)又是一個(gè)有機(jī)的整體。 關(guān)鍵 技術(shù)水平的高低，決定了一個(gè)車牌圖像識(shí)別產(chǎn)品性能的優(yōu)劣，在某種程度上也決定著車牌識(shí)別技術(shù)的應(yīng)用前景。 對(duì)于 92式普通民用 車牌 ， 識(shí)別的基本過(guò)程如下： 原始圖像→ 車牌定位 → 字符切分 → 識(shí)別第一個(gè)字符 →?→ 識(shí)別第七個(gè)字符 上述過(guò)程可以看作是一個(gè)三個(gè)方面九個(gè)環(huán)節(jié)組成的 鏈?zhǔn)浇Y(jié)構(gòu)，根據(jù)概率論的原理，對(duì)于 三個(gè)關(guān)鍵技術(shù)可靠性的要求極高。從某種程度上講， 意味著要完全可靠。而由于實(shí)際應(yīng)用場(chǎng)合，原始圖像 幾乎都是在開放或半開放的環(huán)境中進(jìn)行采集的 ， 天氣變化、光線變化 、攝像機(jī)與車牌不同的相對(duì)位置 以及圖像采集現(xiàn)場(chǎng)不同的景物背景等因素， 都直接或間接地影響著圖像的內(nèi)容和質(zhì)量 ，從而會(huì)影響相關(guān)方案的選擇 。 因此，如何保證車牌識(shí)別結(jié)果的可靠性，是一項(xiàng)十分艱巨的任務(wù)。 本 文在參考大量有 關(guān)車牌圖像識(shí)別技術(shù)公開資料的基礎(chǔ)上，圍繞著車牌圖像識(shí)別技術(shù)實(shí)際應(yīng)用的特點(diǎn)和要求，并通過(guò)一定的實(shí)驗(yàn)分析手段，主要進(jìn)行了如下幾方面的工作： 1 、對(duì)于車牌圖像識(shí)別技術(shù)中常用的一些基本的圖像處理方法，進(jìn)行了分析研究 在這部分工作中，重點(diǎn)分析研究了圖像的二值化、邊緣檢測(cè)、同態(tài)濾波、數(shù)學(xué)形態(tài)學(xué)處理、直方圖變換和幾何畸變校正等方法在車牌圖像識(shí)別中的作用和應(yīng)用特點(diǎn)。 (1) 關(guān)于圖像的二值化 5 在車牌圖像識(shí)別中，圖像 二值化 是一個(gè)非常重要的技術(shù)。目前提出的車牌字符切分和字符分類特征提取的方法，很多是以二值圖 像為基礎(chǔ)的。 二值化 閾值的確定應(yīng)該以對(duì)圖像進(jìn)行 二值化 時(shí)期望達(dá)到的目的為依據(jù)。在車牌圖像識(shí)別中，本文認(rèn)為最好應(yīng)避免在車牌區(qū)域定位和車牌字符切分階段對(duì)圖像進(jìn)行 二值化 ，并設(shè)計(jì) 出 一種 基于 Canny 邊緣檢測(cè) 尋找目標(biāo)對(duì)象特征點(diǎn) 、再 對(duì)特征 點(diǎn)的灰度像素值 分析判斷 來(lái)確定閾值 的車牌字符二值化方法 ，改善了車牌字符圖像二值化處理的質(zhì)量 ，可以滿足本文對(duì)車牌字符特征提取預(yù)處理的要求 。 (2) 關(guān)于圖像的邊緣檢測(cè) 通過(guò)分析比較， 本文在車牌區(qū)域定位時(shí)采用了 Sobel 模板進(jìn)行多方向邊緣檢測(cè)， 而 在字符切分時(shí)采用了 Canny 邊緣檢測(cè) 方法，獲得了較好的應(yīng)用效果。 (3) 關(guān)于圖像的同態(tài)濾波 對(duì)車牌圖像進(jìn)行同態(tài)濾波可以 增強(qiáng)字符與背景的對(duì)比 ，有利于 邊緣提取，對(duì)車牌區(qū)域圖像的二值