【正文】 ...................................................50 系統(tǒng)功能 .........................................................................................................50 實(shí)驗(yàn)數(shù)據(jù)分析 .................................................................................................51 車牌定位算法 ..........................................................................................51 字符識(shí)別優(yōu)化算法 ..................................................................................53 質(zhì)量反饋模塊及最終識(shí)別結(jié)果 ..............................................................55 本章小結(jié) .........................................................................................................56第 7 章 總結(jié) ....................................................................................................................57參考文獻(xiàn) .............................................................................................................................59個(gè)人簡(jiǎn)歷 在讀期間發(fā)表的學(xué)術(shù)論文 ..............................................................................63致謝 .....................................................................................................................................64第 1 章 緒論 背景及意義隨著國(guó)家經(jīng)濟(jì)的快速發(fā)展，交通工具數(shù)量迅速增加，雖然國(guó)家大力興建交通設(shè)施，但是交通工具數(shù)量增長(zhǎng)速度與交通設(shè)施數(shù)量增長(zhǎng)速度之間的矛盾越來(lái)越突出，城市交通壓力越來(lái)越大，交通擁堵問(wèn)題成為了城市快速發(fā)展的制約因素之一。在這種情況下，智能交通系統(tǒng)出現(xiàn)在人們眼前。智能交通系統(tǒng)以徹底改善交通工具與交通設(shè)施之間矛盾為目的，以現(xiàn)代科學(xué)技術(shù)為手段，將人、車、路看作一個(gè)完整的系統(tǒng)，以可選的全局目標(biāo)或局部目標(biāo)使人、車、路達(dá)到和諧統(tǒng)一并最終改善整個(gè)交通環(huán)境。車牌識(shí)別系統(tǒng)是 ITS 的核心子系統(tǒng)之一，車牌識(shí)別系統(tǒng)是計(jì)算機(jī)視覺系統(tǒng)之一，對(duì)所獲取的交通工具圖像進(jìn)行車牌號(hào)碼識(shí)別，為 ITS 提供基礎(chǔ)數(shù)據(jù)，對(duì) ITS 交通策略的制定具有非常重要的意義。本文針對(duì)基于視頻的車牌識(shí)別技術(shù)進(jìn)行研究，并且利用視頻設(shè)備采集的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，提出了一個(gè)基于視頻的車牌識(shí)別系統(tǒng)原型（簡(jiǎn)稱系統(tǒng)） ，對(duì)于人們對(duì)更高性能車牌識(shí)別系統(tǒng)的研究具有重要意義。國(guó)外對(duì)車牌識(shí)別技術(shù)研究較早，早在 80 年代就有研究人員開始利用數(shù)字圖像處理技術(shù)進(jìn)行車牌識(shí)別。車牌識(shí)別技術(shù)中核心技術(shù)主要為車牌定位，字符分割與字符識(shí)別。由于這三個(gè)技術(shù)環(huán)節(jié)互相之間的耦合性較小，因此對(duì)某環(huán)節(jié)有差異的不同系統(tǒng)分析沒有意義。1）車牌定位環(huán)節(jié)車牌定位技術(shù)準(zhǔn)確與否在車牌識(shí)別系統(tǒng)中對(duì)系統(tǒng)最后的識(shí)別準(zhǔn)確率起決定性作用，如果車牌區(qū)域位置不能準(zhǔn)確定位，后續(xù)算法無(wú)論如何也不能獲得正確結(jié)果。Yantao 等 [2]提出了利用兩幅連續(xù)幀圖像提取車牌紋理特征從而定位車牌的算法。國(guó)內(nèi)高大山等 [22]提出了一種車牌定位算法，這種算法的抗背景干擾能力較強(qiáng)，可以在復(fù)雜環(huán)境中有效地定位車牌區(qū)域。晏建華、趙正校 [20] 等利用形態(tài)學(xué)運(yùn)算進(jìn)行車牌位置定位，這種算法可以根據(jù)需要自調(diào)節(jié)車牌圖像邊緣大小。2）字符分割車牌區(qū)域定位以后需要進(jìn)行字符分割以達(dá)到字符識(shí)別的目的，如果不分割字符，無(wú)法進(jìn)行車牌字符識(shí)別。其中 Ming 利用 Hough 變換尋找車牌上下邊界和傾斜角度，根據(jù)尋找到的車牌邊界按照車牌形制進(jìn)行字符分割，達(dá)到不錯(cuò)效果； 利用二值化后的車牌圖片進(jìn)行投影，然后根據(jù)投影圖上的谷峰特征進(jìn)行車牌字符分割。國(guó)內(nèi)陳鍛生等 [12]利用分析快速連通域形狀的方法實(shí)現(xiàn)車牌字符分割，盧達(dá)等 [15]通過(guò)分析字符結(jié)構(gòu)特征實(shí)現(xiàn)字符分割算法。荷蘭的 Hans A 根據(jù) [3]車牌字符的特點(diǎn)設(shè)計(jì)出不同的字符模板，然后利用目標(biāo)字符圖片與這些模板進(jìn)行比對(duì)找出與目標(biāo)字符模板最相似的一個(gè)的方法實(shí)現(xiàn)了字符識(shí)別。Thanongsak 和 KosinChammonthai[4]將 BP 神經(jīng)網(wǎng)絡(luò)運(yùn)算法用于字符識(shí)別。 系統(tǒng)關(guān)鍵技術(shù)發(fā)展現(xiàn)狀車牌識(shí)別系統(tǒng)由車牌定位、字符分割、字符識(shí)別三大環(huán)節(jié)組成，其中實(shí)現(xiàn)難度最高的是車牌定位環(huán)節(jié)，車牌定位準(zhǔn)確與否是車牌號(hào)碼識(shí)別準(zhǔn)確與否的前提。本系統(tǒng)在車牌定位環(huán)節(jié)之前還有一個(gè)重要的工作就是檢測(cè)出運(yùn)動(dòng)車輛經(jīng)過(guò)，如果不能夠準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)車輛經(jīng)過(guò)視頻區(qū)域，將無(wú)法進(jìn)行車牌定位?，F(xiàn)在運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)已經(jīng)大量運(yùn)用視頻設(shè)備，基于視頻的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)已經(jīng)獲得了較高的檢測(cè)準(zhǔn)確率。常用的視頻運(yùn)動(dòng)目標(biāo)檢測(cè)方法如下 [3641]：1）樣本點(diǎn)方法在視頻序列中取特定樣本點(diǎn)，取樣本點(diǎn)的圖像幀差，通過(guò)對(duì)樣本點(diǎn)圖像幀差分析得出車輛經(jīng)過(guò)狀態(tài)，從而獲得車輛車道位置并進(jìn)行車輛計(jì)數(shù)。這種方法的優(yōu)點(diǎn)是計(jì)算量小計(jì)算速度快，如果只針對(duì)車輛計(jì)數(shù)的需求是非常優(yōu)秀的檢測(cè)方法。提出這種算法的有 等人。這種方法利用檢測(cè)線的連續(xù)性檢測(cè)運(yùn)動(dòng)目標(biāo)的寬度具有很好的準(zhǔn)確度，但是如果車輛行駛方向不規(guī)則的情況會(huì)造成較大的寬度檢測(cè)誤差，因此這種方法對(duì)檢測(cè)環(huán)境有具體的要求，如適合用于高速公路、隧道等。3）圖像幀差方法獲取視頻序列的前一幀圖像與后一幀圖像之間的差圖像，計(jì)算差圖像的合適閾值，對(duì)差圖像進(jìn)行二值化處理。0 像素點(diǎn)代表背景像素點(diǎn)，1 像素點(diǎn)代表運(yùn)動(dòng)目標(biāo)像素點(diǎn)，通過(guò)對(duì) 1 像素點(diǎn)進(jìn)行連通操作，可以獲取車輛形狀信息。這種方法適合于檢測(cè)運(yùn)動(dòng)目標(biāo)形狀，并且相比于其它方法其檢測(cè)結(jié)果較準(zhǔn)確，能夠獲取較多運(yùn)動(dòng)目標(biāo)特征點(diǎn)。提出這種算法的有、 等人。在車輛檢測(cè)窗口內(nèi)利用圖像幀差法或其它方法對(duì)車輛計(jì)數(shù)并獲取車輛形狀信息。這種方法利用兩個(gè)檢測(cè)窗口分別進(jìn)行運(yùn)動(dòng)目標(biāo)形狀檢測(cè)和運(yùn)動(dòng)速度檢測(cè)，并且針對(duì)不同的檢測(cè)要求利用不同的檢測(cè)方法，檢測(cè)結(jié)果較準(zhǔn)確。提出這種算法的有 、Neil Hoose 、 等人。準(zhǔn)確的運(yùn)動(dòng)目標(biāo)檢測(cè)對(duì)本系統(tǒng)來(lái)說(shuō)意味著準(zhǔn)確的車牌信息獲取機(jī)會(huì)，車牌識(shí)別系統(tǒng)的主體系統(tǒng)是對(duì)在車輛運(yùn)動(dòng)目標(biāo)在經(jīng)過(guò)視頻區(qū)域時(shí)被準(zhǔn)確取幀的幀畫面進(jìn)行分析處理的，這也說(shuō)明了視頻運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)對(duì)本系統(tǒng)的重要性。檢測(cè)視頻區(qū)域車輛經(jīng)過(guò)狀態(tài)目的是為了視頻取幀，而視頻取幀則是為以后的圖像處理作準(zhǔn)備。 研究擬采用的方法和創(chuàng)新點(diǎn) 研究擬采用的方法科技的發(fā)展使得基于視頻的車牌識(shí)別技術(shù)應(yīng)用于智能交通系統(tǒng)成為現(xiàn)實(shí)，這種車牌識(shí)別系統(tǒng)相對(duì)于傳統(tǒng)車牌識(shí)別技術(shù)具有很多優(yōu)點(diǎn)，如低廉的成本、較高的靈活性、不需破壞道路路面、采集信息量大而全面、包含多幀靜態(tài)圖像數(shù)據(jù)、可以跟蹤運(yùn)動(dòng)目標(biāo)軌跡等。由于視頻數(shù)據(jù)相比于靜態(tài)圖像數(shù)據(jù)有其自身的優(yōu)、劣勢(shì)，本文本著揚(yáng)長(zhǎng)避短的原則，決定從視頻數(shù)據(jù)自身優(yōu)勢(shì)尋找突破口并采用以下方法消除不利因素：1）優(yōu)化圖像采集方法本系統(tǒng)進(jìn)行圖像采集時(shí)對(duì)周圍環(huán)境有一定要求。2）合理設(shè)置視頻取幀頻率由于視頻由多幀圖像序列而成，其幀數(shù)較大，若全部計(jì)算操作則對(duì)計(jì)算系統(tǒng)要求很高，因此有必要優(yōu)化視頻取幀頻率，以在保證不漏檢的情況下最大限度減小系統(tǒng)計(jì)算量。4）優(yōu)化字符分割算法和字符識(shí)別算法由于優(yōu)化了圖像采集技術(shù)，其采集圖像數(shù)據(jù)較為規(guī)則，干擾因素較少，使得簡(jiǎn)化字符分割算法和字符識(shí)別算法成為可能，從而在保證系統(tǒng)識(shí)別準(zhǔn)確率的前提下盡量地減少了系統(tǒng)計(jì)算量。本文啟發(fā)性地加入該模塊雖為系統(tǒng)增加不少計(jì)算量，但它使整個(gè)系統(tǒng)的識(shí)別準(zhǔn)確度變?yōu)榭烧{(diào)，其意義對(duì)于車牌識(shí)別系統(tǒng)來(lái)說(shuō)較為重要。本文認(rèn)為本系統(tǒng)存在以下兩個(gè)創(chuàng)新點(diǎn)：1）檢測(cè)點(diǎn)矩陣檢測(cè)點(diǎn)矩陣以樣本點(diǎn)運(yùn)動(dòng)目標(biāo)檢測(cè)算法為基礎(chǔ)思想，通過(guò)人工設(shè)定矩陣形狀，成功檢測(cè)出運(yùn)動(dòng)目標(biāo)以進(jìn)行車牌粗定位，并且為質(zhì)量反饋模塊提供實(shí)施條件。利用樣本點(diǎn)檢測(cè)運(yùn)動(dòng)目標(biāo)形狀以進(jìn)行車牌粗定位的算法沒有先例。由于質(zhì)量反饋模塊利用了視頻數(shù)據(jù)由圖像幀序列組成的原理，這種質(zhì)量反饋模塊是基于視頻的車牌識(shí)別系統(tǒng)專用的，基于靜態(tài)圖片的車牌識(shí)別系統(tǒng)不能直接使用此模塊。基于視頻的車牌識(shí)別系統(tǒng)適合應(yīng)用在光源容易控制并相對(duì)固定的交通環(huán)境中（最好是在車輛檢測(cè)區(qū)域設(shè)置多個(gè)光源，以形成“無(wú)影燈”的效果，避免目標(biāo)陰影對(duì)系統(tǒng)造成干擾） ，要求道路路面黑白相間，視頻錄像設(shè)備有效像素值應(yīng)盡可能大，在隧道、交通卡口中很容易滿足這些要求。另外本系統(tǒng)對(duì)車輛運(yùn)動(dòng)軌跡有較高的要求，因此其應(yīng)用場(chǎng)合道路路面應(yīng)盡可能平、直，并具有明顯邊界。本文所進(jìn)行的主要研究工作如下： 。，首先合理分類樣本集，在每一樣本集內(nèi)進(jìn)行模板比對(duì)，要求模板比對(duì)效率要高以提高系統(tǒng)實(shí)時(shí)性。只有高于目標(biāo)準(zhǔn)確度指標(biāo)的識(shí)別結(jié)果才能被存儲(chǔ)于數(shù)據(jù)庫(kù)，沒有達(dá)到目標(biāo)準(zhǔn)確度的識(shí)別結(jié)果將會(huì)被否決并重新檢測(cè)。整個(gè)系統(tǒng)流程圖如下：數(shù)據(jù)庫(kù)Y評(píng)價(jià)參數(shù) C評(píng)價(jià)參數(shù) B評(píng)價(jià)參數(shù) A評(píng)價(jià)函數(shù)(Y/N)數(shù)據(jù)庫(kù)導(dǎo)入視頻檢測(cè)點(diǎn)矩陣設(shè)置目標(biāo)類型判斷、統(tǒng)計(jì)視頻抽幀車牌區(qū)域粗定位車牌區(qū)域精定位字符分割字符識(shí)別車牌識(shí)別質(zhì)量反饋模塊圖 1 1 系統(tǒng)流程圖Fig 1 1 System Flow Chart第 2 章 圖像采集與圖像處理本章首先介紹本系統(tǒng)圖像采集環(huán)節(jié)需要圖像采集技術(shù)，然后在采樣定理的基礎(chǔ)上提出視頻取幀的具體方法。在整個(gè)車牌識(shí)別過(guò)程中，利用了一些常用的圖像處理操作，本文將會(huì)介紹一些基礎(chǔ)的圖像處理知識(shí)并就其優(yōu)劣點(diǎn)作出選擇。每一個(gè)檢測(cè)點(diǎn)獲取的信息都是一個(gè)以時(shí)間為橫坐標(biāo)以圖像灰度值為縱坐標(biāo)的二維波形圖。在對(duì)這些二維波形圖處理的過(guò)程中發(fā)現(xiàn)其波形幅值變化愈快、愈大，就越對(duì)提取車身形狀有利，因此本文提出在視頻范圍的路面上加上“斑馬線”的背景加強(qiáng)方法。而“斑馬線”的背景加強(qiáng)方法可使路面的灰度值極端化，因此可較好地檢測(cè)出車輛經(jīng)過(guò)時(shí)車身的形狀。但是其在道路上增加“斑馬線”會(huì)對(duì)道路交通造成干擾，簽于此原因和作者本人的研究條件所限，本文只對(duì)這種技術(shù)提出假設(shè)，并且在其后的示例中并未應(yīng)用此技術(shù)。視頻信息一般是多幀圖像的壓縮數(shù)據(jù)，需要將視頻數(shù)據(jù)解壓縮后解幀，這涉及到視頻數(shù)據(jù)的壓縮格式。大部分?jǐn)?shù)字?jǐn)z像設(shè)備每秒采集幀數(shù)為 25，假設(shè)將一段 1 分鐘的視頻數(shù)據(jù)完全解碼解幀后將有 1500 幀圖片，可以發(fā)現(xiàn)數(shù)據(jù)量是非常巨大的。如果系統(tǒng)仍然要處理這些沒有攜帶任何車牌信息的幀圖片，將造成系統(tǒng)計(jì)算資源的巨大浪費(fèi)。如果取幀間隔時(shí)間太短，則大量無(wú)信息圖片將被系統(tǒng)處理，造成系統(tǒng)資源浪費(fèi)。如何設(shè)置適當(dāng)?shù)娜瑫r(shí)間間隔，成為本系統(tǒng)研究的一個(gè)重要問(wèn)題。視頻區(qū)域車輛速度 V：40Km/h ≤V ≤120Km/h視頻區(qū)域車輛通過(guò)時(shí)間 T：300ms ≤T ≤900ms根據(jù)式（21 ） ，取幀間隔時(shí)間 t 應(yīng)該滿足：tT/2 ，即 t150ms通過(guò)式（21 ）計(jì)算出的取幀間隔時(shí)間 t 應(yīng)該能滿足要求：在車輛運(yùn)行速度低于120Km/h 時(shí)，始終會(huì)有攜帶車牌信息圖片被取幀出來(lái)參加車牌識(shí)別處理，這保障了車牌識(shí)別的準(zhǔn)確率。所有數(shù)據(jù)取極限值，即車輛速度為 120 Km/h，道路長(zhǎng)度為10m，則 T 為 300ms，取幀時(shí)間 150ms 時(shí)，能保證取到二幀圖片，而本文還需要一幅圖片，這就需要在 300ms 的時(shí)間內(nèi)取三幀圖片，則這時(shí) t 為 100ms。本文所用視頻數(shù)據(jù)為作者使用 SONY DV（型號(hào)為 DCRHC15E）在南昌市洪都大橋高架上拍攝沿江路南北向車流所獲得的數(shù)據(jù)。 圖像預(yù)處理 圖像灰度化彩色圖像數(shù)據(jù)的像素點(diǎn)由三個(gè)圖像分量 R、G、B 組成，三個(gè)圖像分量的不同值組合反映到人的眼睛里呈現(xiàn)了更多的色彩?；叶戎禐?0，像素點(diǎn)為黑，灰度值為 1，像素點(diǎn)為白，在 0 至 1 之間的其它灰度值稱為亮度，反映在人的眼睛里為不同程度的灰色?；叶葓D像數(shù)據(jù)量小，需要的存儲(chǔ)空間也小，有利于加快圖像處理速度。由于采用了設(shè)置視頻檢測(cè)點(diǎn)矩陣進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)和車牌粗定位，這種方法雖然為后期的圖像處理減小了數(shù)據(jù)處理量并提高實(shí)時(shí)性和準(zhǔn)確性，但是在其本身計(jì)算的過(guò)程需要大量的圖片讀取、釋放操作，且其矩陣點(diǎn)檢測(cè)的值也是圖像像素灰度值，因此有足夠理由在檢測(cè)點(diǎn)矩陣算法和車牌粗定位中運(yùn)用圖像灰度化處理技術(shù)，圖像灰度化處理并沒有影響后續(xù)的車牌精確定位、字符分割和字符識(shí)別。普遍的做法是?。?， =， =則灰度值為 g = R + +[10]上面視頻檢測(cè)窗口彩色圖像灰度化以后如圖：圖 2 3 彩色圖像灰度化Fig 2 3 Color Image Grayscale 灰度圖像增強(qiáng)彩色圖像轉(zhuǎn)灰度圖像后，一些有目的的彩色特征可能由于圖像灰度化變得模糊不清，但是這并不說(shuō)明這些特