【文章內(nèi)容簡介】 等人。3）圖像幀差方法獲取視頻序列的前一幀圖像與后一幀圖像之間的差圖像，計算差圖像的合適閾值，對差圖像進行二值化處理。二值化處理后的差圖像具有兩種像素點 0 和 1。0 像素點代表背景像素點，1 像素點代表運動目標像素點，通過對 1 像素點進行連通操作，可以獲取車輛形狀信息。對連通區(qū)域進行監(jiān)視，可以獲得車輛運動速度信息。這種方法適合于檢測運動目標形狀，并且相比于其它方法其檢測結(jié)果較準確，能夠獲取較多運動目標特征點。但是這種方法計算量大，而且容易受到其它不明運動物體、圖像抖動、運動模糊等視頻數(shù)據(jù)特點因素的影響，對檢測結(jié)果造成較大影響。提出這種算法的有、 等人。4）檢測窗口法在道路方向的垂直方向和平行方向各設一個檢測窗口，垂直方向上的檢測窗口為車輛檢測窗，平行方向上的檢測窗口為速度檢測窗。在車輛檢測窗口內(nèi)利用圖像幀差法或其它方法對車輛計數(shù)并獲取車輛形狀信息。在速度檢測窗口內(nèi)利用樣本點方法或者檢測線方法獲取車輛運動目標速度。這種方法利用兩個檢測窗口分別進行運動目標形狀檢測和運動速度檢測，并且針對不同的檢測要求利用不同的檢測方法，檢測結(jié)果較準確。但是這種方法初始化較復雜，計算量偏大，會較大程度上影響系統(tǒng)實時性。提出這種算法的有 、Neil Hoose 、 等人。這些基于視頻的運動目標檢測技術在各自適合的領域都取得了不錯的檢測準確率。準確的運動目標檢測對本系統(tǒng)來說意味著準確的車牌信息獲取機會，車牌識別系統(tǒng)的主體系統(tǒng)是對在車輛運動目標在經(jīng)過視頻區(qū)域時被準確取幀的幀畫面進行分析處理的，這也說明了視頻運動目標檢測技術對本系統(tǒng)的重要性。運動目標檢測技術最終獲取的運動目標信息包括運動目標大小形狀、運動速度、運動方向、運動軌跡、目標數(shù)量等，在本系統(tǒng)利用運動目標檢測技術檢測視頻區(qū)域車輛經(jīng)過狀態(tài)、車身形狀。檢測視頻區(qū)域車輛經(jīng)過狀態(tài)目的是為了視頻取幀，而視頻取幀則是為以后的圖像處理作準備。檢測車身形狀是為了進行車牌初步定位，即初步確定出車牌所在大致位置，簡稱車牌粗定位。 研究擬采用的方法和創(chuàng)新點 研究擬采用的方法科技的發(fā)展使得基于視頻的車牌識別技術應用于智能交通系統(tǒng)成為現(xiàn)實，這種車牌識別系統(tǒng)相對于傳統(tǒng)車牌識別技術具有很多優(yōu)點，如低廉的成本、較高的靈活性、不需破壞道路路面、采集信息量大而全面、包含多幀靜態(tài)圖像數(shù)據(jù)、可以跟蹤運動目標軌跡等。同樣的，基于視頻的車牌識別系統(tǒng)相比于傳統(tǒng)的車牌識別系統(tǒng)也有其自身的一些技術難點，比如數(shù)據(jù)量大、運動車輛經(jīng)過狀態(tài)檢測的準確性容易受到干擾，尤其是在復雜的道路交通環(huán)境下更難以分辨出運動目標體與干擾體，而且視頻數(shù)據(jù)本身較靜態(tài)圖像數(shù)據(jù)又具有噪聲大、圖像抖動、運動模糊等缺點，其單幀圖像質(zhì)量與靜態(tài)圖像數(shù)據(jù)質(zhì)量差很多，如何利用質(zhì)量較差的視頻單幀圖像進行車牌定位成為影響本系統(tǒng)識別準確率的最重要的問題。由于視頻數(shù)據(jù)相比于靜態(tài)圖像數(shù)據(jù)有其自身的優(yōu)、劣勢，本文本著揚長避短的原則，決定從視頻數(shù)據(jù)自身優(yōu)勢尋找突破口并采用以下方法消除不利因素：1）優(yōu)化圖像采集方法本系統(tǒng)進行圖像采集時對周圍環(huán)境有一定要求。如設置多盞照明燈以消除或減弱運動目標陰影、利用交通卡口或隧道等光源位置較固定且容易控制的地方、背景強化（斑馬線）等方法，可以使采集的圖像背景干擾更小。2）合理設置視頻取幀頻率由于視頻由多幀圖像序列而成，其幀數(shù)較大，若全部計算操作則對計算系統(tǒng)要求很高，因此有必要優(yōu)化視頻取幀頻率，以在保證不漏檢的情況下最大限度減小系統(tǒng)計算量。3）車牌粗定位技術在車牌粗定位技術本文啟發(fā)性地使用了一種檢測點矩陣技術，該技術物理性的屏蔽了大部分圖像噪聲干擾對圖像處理、車牌定位的影響，并且有效地減少了系統(tǒng)計算量。4）優(yōu)化字符分割算法和字符識別算法由于優(yōu)化了圖像采集技術，其采集圖像數(shù)據(jù)較為規(guī)則，干擾因素較少，使得簡化字符分割算法和字符識別算法成為可能，從而在保證系統(tǒng)識別準確率的前提下盡量地減少了系統(tǒng)計算量。5）質(zhì)量反饋模塊對系統(tǒng)各過程環(huán)節(jié)合理設置評價參數(shù)和參因數(shù)，通過評價函數(shù)對系統(tǒng)識別結(jié)果進行自評測，如果滿足其設定值，則認為結(jié)果正確，否則將重新返回視頻幀圖像選擇環(huán)節(jié)以選擇特征性更好的幀圖像。本文啟發(fā)性地加入該模塊雖為系統(tǒng)增加不少計算量，但它使整個系統(tǒng)的識別準確度變?yōu)榭烧{(diào)，其意義對于車牌識別系統(tǒng)來說較為重要。 本文創(chuàng)新點本文對視頻條件下的車牌識別系統(tǒng)作了較深入研究，在研究過程中基本上達到了合理利用視頻數(shù)據(jù)、提高系統(tǒng)實時性的要求。本文認為本系統(tǒng)存在以下兩個創(chuàng)新點：1）檢測點矩陣檢測點矩陣以樣本點運動目標檢測算法為基礎思想，通過人工設定矩陣形狀，成功檢測出運動目標以進行車牌粗定位，并且為質(zhì)量反饋模塊提供實施條件。檢測點矩陣將可在視頻窗口中選定興趣區(qū)域、有效檢出車輛運動目標、排除非機動車目標，同時為車牌精確定位環(huán)節(jié)減少了計算量、降低了背景干擾。利用樣本點檢測運動目標形狀以進行車牌粗定位的算法沒有先例。2）質(zhì)量反饋模塊質(zhì)量反饋模塊將通過對系統(tǒng)識別結(jié)果進行自評測，使系統(tǒng)識別準確率變成人為控制，并且一定程度上提高了既定難度下的車牌識別準確率。由于質(zhì)量反饋模塊利用了視頻數(shù)據(jù)由圖像幀序列組成的原理，這種質(zhì)量反饋模塊是基于視頻的車牌識別系統(tǒng)專用的，基于靜態(tài)圖片的車牌識別系統(tǒng)不能直接使用此模塊。 系統(tǒng)應用及主要流程本系統(tǒng)通過對視頻數(shù)據(jù)進行分析處理，完全解決了傳統(tǒng)車牌識別技術需要依賴硬 件檢測器的問題?；谝曨l的車牌識別系統(tǒng)適合應用在光源容易控制并相對固定的交通環(huán)境中（最好是在車輛檢測區(qū)域設置多個光源，以形成“無影燈”的效果，避免目標陰影對系統(tǒng)造成干擾） ，要求道路路面黑白相間，視頻錄像設備有效像素值應盡可能大，在隧道、交通卡口中很容易滿足這些要求。該技術不需要硬件檢測車輛經(jīng)過狀態(tài)，因此不需要破壞路面安裝硬件檢測器，保護了交通道路設施。另外本系統(tǒng)對車輛運動軌跡有較高的要求，因此其應用場合道路路面應盡可能平、直，并具有明顯邊界。本文把數(shù)字攝像機拍攝的視頻數(shù)據(jù)作為數(shù)據(jù)來源，通過一系列計算方法檢測車輛運動目標、定位車牌圖像、分割字符圖像、識別字符圖像最終獲取車牌號碼。本文所進行的主要研究工作如下： 。，研究和嘗試在幀中設置檢測點矩陣，利用檢測點矩陣獲取每幀中的車輛車身形狀信息，并利用車身形狀信息進行車牌粗定位，車牌粗定位可以大量減小車牌圖像幀中無效數(shù)據(jù)，加快系統(tǒng)運算速度。由于車牌粗定位環(huán)節(jié)減少了大量背景數(shù)據(jù)從而為車牌精確定位排除了背景干擾，一定程度上增加了車牌精確定位的準確性。設計合理計算方法使分割出的字符有效信息增加無效信息減少，并對分割出的字符圖像合理規(guī)格化。，首先合理分類樣本集，在每一樣本集內(nèi)進行模板比對，要求模板比對效率要高以提高系統(tǒng)實時性。，在車牌識別的各環(huán)節(jié)采集相應評價參數(shù)，構(gòu)造評價函數(shù)。只有高于目標準確度指標的識別結(jié)果才能被存儲于數(shù)據(jù)庫，沒有達到目標準確度的識別結(jié)果將會被否決并重新檢測。由于這部分內(nèi)容并沒有以往的經(jīng)驗可以借鑒，本文僅僅提出一種概念，以達到完整系統(tǒng)的目標。整個系統(tǒng)流程圖如下：數(shù)據(jù)庫Y評價參數(shù) C評價參數(shù) B評價參數(shù) A評價函數(shù)(Y/N)數(shù)據(jù)庫導入視頻檢測點矩陣設置目標類型判斷、統(tǒng)計視頻抽幀車牌區(qū)域粗定位車牌區(qū)域精定位字符分割字符識別車牌識別質(zhì)量反饋模塊圖 1 1 系統(tǒng)流程圖Fig 1 1 System Flow Chart第 2 章 圖像采集與圖像處理本章首先介紹本系統(tǒng)圖像采集環(huán)節(jié)需要圖像采集技術，然后在采樣定理的基礎上提出視頻取幀的具體方法。以固定時間間隔提取的幀圖像用來進行運動目標檢測，在運動目標檢測中提出一種先進的檢測點矩陣算法實現(xiàn)車牌初步定位。在整個車牌識別過程中，利用了一些常用的圖像處理操作，本文將會介紹一些基礎的圖像處理知識并就其優(yōu)劣點作出選擇。 圖像采集 背景加強技術本文所提出的視頻運動目標檢測優(yōu)化技術最重要的理論基礎是利用檢測點矩陣中的檢測點獲取道路上車輛的運動信息。每一個檢測點獲取的信息都是一個以時間為橫坐標以圖像灰度值為縱坐標的二維波形圖。檢測點矩陣技術就是基于對這些二維波形圖包含的數(shù)據(jù)信息處理從而檢測出車身形狀進而粗定位車牌位置的。在對這些二維波形圖處理的過程中發(fā)現(xiàn)其波形幅值變化愈快、愈大，就越對提取車身形狀有利，因此本文提出在視頻范圍的路面上加上“斑馬線”的背景加強方法。如圖：圖 2 1 斑馬線Fig21 Zebra Crossing由于在圖像灰度化以后，有一部分的車輛車身部分的灰度值與路面灰度值接近，對檢測點矩陣造成干擾。而“斑馬線”的背景加強方法可使路面的灰度值極端化，因此可較好地檢測出車輛經(jīng)過時車身的形狀。此方法可有助于在車輛經(jīng)過時增加檢測點檢出的二維波形圖的幅值變化。但是其在道路上增加“斑馬線”會對道路交通造成干擾，簽于此原因和作者本人的研究條件所限，本文只對這種技術提出假設，并且在其后的示例中并未應用此技術。 取幀間隔時間設定由于本系統(tǒng)為基于視頻環(huán)境下的車牌識別系統(tǒng)，所以本文的數(shù)據(jù)來源是作者在公路上拍攝的車輛運動視頻信息。視頻信息一般是多幀圖像的壓縮數(shù)據(jù)，需要將視頻數(shù)據(jù)解壓縮后解幀，這涉及到視頻數(shù)據(jù)的壓縮格式。每種視頻壓縮格式都有相應的壓縮協(xié)議，本文利用 MATLAB 里的讀取視頻函數(shù) mmread 對視頻數(shù)據(jù)進行解幀，視頻函數(shù)mmread 集成了大部分視頻格式的壓縮格式，它可以對讀進來的視頻數(shù)據(jù)進行反解碼后輸出任意一幀視頻圖像，這些解幀出來的視頻圖像就是本文將要處理的有可能帶有車牌信息的靜態(tài)圖像。大部分數(shù)字攝像設備每秒采集幀數(shù)為 25，假設將一段 1 分鐘的視頻數(shù)據(jù)完全解碼解幀后將有 1500 幀圖片，可以發(fā)現(xiàn)數(shù)據(jù)量是非常巨大的。由于視頻數(shù)據(jù)中并不是時時刻刻都有車輛經(jīng)過，因此在沒有車輛經(jīng)過的時候，這些圖片對于本系統(tǒng)來說是不需要的。如果系統(tǒng)仍然要處理這些沒有攜帶任何車牌信息的幀圖片，將造成系統(tǒng)計算資源的巨大浪費。對于沒有攜帶任何車牌信息的幀圖片如何進行去除，取決于視頻數(shù)據(jù)的取幀間隔時間。如果取幀間隔時間太短，則大量無信息圖片將被系統(tǒng)處理，造成系統(tǒng)資源浪費。如果取幀間隔時間太長，則有可能丟失車輛經(jīng)過時的幀圖片，造成系統(tǒng)漏檢，最終影響車牌識別準確率。如何設置適當?shù)娜瑫r間間隔，成為本系統(tǒng)研究的一個重要問題。根據(jù)采樣定理，采樣頻率至少要是數(shù)據(jù)頻率的 2 倍，如下式： 02ff??（2 1）本實驗素材條件如下：視頻區(qū)域道路長度 L：L=10m。視頻區(qū)域車輛速度 V：40Km/h ≤V ≤120Km/h視頻區(qū)域車輛通過時間 T：300ms ≤T ≤900ms根據(jù)式（21 ） ，取幀間隔時間 t 應該滿足：tT/2 ，即 t150ms通過式（21 ）計算出的取幀間隔時間 t 應該能滿足要求：在車輛運行速度低于120Km/h 時，始終會有攜帶車牌信息圖片被取幀出來參加車牌識別處理，這保障了車牌識別的準確率。由于本文是通過分析車輛的動作來為后面的車牌粗定位提供支持，車輛的動作應該由前幀、后幀圖片對比支持才能檢測出來，因此每輛車經(jīng)過時應該至少取三幀圖片來進行運動目標檢測。所有數(shù)據(jù)取極限值，即車輛速度為 120 Km/h，道路長度為10m，則 T 為 300ms，取幀時間 150ms 時，能保證取到二幀圖片，而本文還需要一幅圖片，這就需要在 300ms 的時間內(nèi)取三幀圖片，則這時 t 為 100ms。本文我們將采用t=70ms，每隔 70ms 利用 MATLAB 取幀函數(shù)從視頻數(shù)據(jù)中取出一幀圖像。本文所用視頻數(shù)據(jù)為作者使用 SONY DV（型號為 DCRHC15E）在南昌市洪都大橋高架上拍攝沿江路南北向車流所獲得的數(shù)據(jù)。當采樣間隔時間 t=70ms 時候，在490ms 時間間隔所獲取 7 幅窗口幀彩色圖像數(shù)據(jù)如圖 22：圖 2 2 視頻幀獲取圖像系列Fig 2 2 Series of Video Frames to Obtain Images 大部分數(shù)字攝像設備每秒采集幀數(shù)為 25，將采樣間隔時間設為 70ms 是可行的。 圖像預處理 圖像灰度化彩色圖像數(shù)據(jù)的像素點由三個圖像分量 R、G、B 組成，三個圖像分量的不同值組合反映到人的眼睛里呈現(xiàn)了更多的色彩?；叶葓D像數(shù)據(jù)像素點為一個灰度值，該灰度值的大小決定該像素點的亮度?；叶戎禐?0，像素點為黑，灰度值為 1，像素點為白，在 0 至 1 之間的其它灰度值稱為亮度，反映在人的眼睛里為不同程度的灰色。彩色圖像數(shù)據(jù)量大，需要的存儲空間大，不利于高頻率、高轉(zhuǎn)移率的圖像處理?；叶葓D像數(shù)據(jù)量小，需要的存儲空間也小，有利于加快圖像處理速度。而且由于車牌信息主要由像素灰度值攜帶，而非彩色，因此往往將彩色圖像轉(zhuǎn)為灰度圖像然后進行圖像處理。由于采用了設置視頻檢測點矩陣進行運動目標檢測和車牌粗定位，這種方法雖然為后期的圖像處理減小了數(shù)據(jù)處理量并提高實時性和準確性，但是在其本身計算的過程需要大量的圖片讀取、釋放操作，且其矩陣點檢測的值也是圖像像素灰度值，因此有足夠理由在檢測點矩陣算法和車牌粗定位中運用圖像灰度化處理技術，圖像灰度化處理并沒有影響后續(xù)的車牌精確定位、字符分割和字符識別。對于圖像灰度化我們采用了加權平均值法：由于人眼對三種顏色有不同的敏感率，我們進行圖像灰度化時應該考慮到這種情況。普遍的做法是?。?， =， =則灰度值為 g = R + +[10]上面視頻檢測窗口彩色圖像灰度化以后如圖：圖 2 3 彩色圖像灰度化Fig 2 3 Color Image Grayscale