【正文】 重點介紹了視頻交通目標檢測及識別系統(tǒng)的設計與實現。在介紹了系統(tǒng)環(huán)境要求后，對系統(tǒng)進行軟件實現。首先總結仿真結果的完成情況，其次對各算法進行比較并分析出它們的特點。第2章 基于三幀背景差分的運動目標提取方法運動目標的提取可分為背景固定和背景運動兩種情況。幀間差法受光線變化影響小，檢測有效而穩(wěn)定，但檢測不出目標的精確位置，且圖像信息不完整。本章將對幀間差法和背景差法做簡要分析，并提出一種改進方法——三幀背景差分來提取運動目標，擬解決幀間差法檢測不出目標的精確位置，圖像信息不完整和背景差法受環(huán)境、光線變化影響大的缺點。其基本思想就是把相鄰幀相減，通過閾值化方法濾除圖像中的靜止景物，提取出運動區(qū)域。幀差法的優(yōu)點是對環(huán)境的光線變化不敏感，且能夠快速地從背景中檢測出運動口標，對于動態(tài)環(huán)境具有較強的自適應性：缺點是無法檢測靜止車輛，對于太慢或太快的車速也可能導致檢測錯誤。 幀間差法算法流程圖1. 預處理：由于原始采集的圖像往往存在很嚴重的噪聲，直接用之求差分圖像則受噪聲的影響較大，差分圖像的效果很差不利于后面的圖像分析。本文選取中值濾波算法，因為中值濾波不僅能夠濾去高頻噪聲，而且能夠很好地保持圖像的邊緣信息。閾值的選取在運動目標提取過程中非常重要，一個好的閾值，可以大大提高目標提取的精度。最簡單、最直接的方法連續(xù)拍攝同一場景兩次，取得兩幀圖像，將拍攝的兩幅圖像作差，將最大灰度像素差值作為提取運動目標的閾值。 基于背景差的提取運動目標方法基于背景差法[8]的原理非常簡單，其主要工作過程，首先必須按照一定的算法從序列圖像中提取出可靠的、穩(wěn)定的背景圖像，然后利用當前幀圖像作差，取定一定的閾值，得到差值圖像，對差值圖像進行一定的后處理得到MASK圖像。一個好的背景圖像估計方法應能適應諸如目標停止在場景中，場景中有目標開始運動，光線等外界干擾因素的影響。(1) 利用多幅圖像對背景進行統(tǒng)計分析(6幅) 亮度圖像 多幅圖像統(tǒng)計亮度直方圖本文基本思想：通過對圖像的亮度信息（）進行統(tǒng)計，分析出背景（路面）的亮度范圍（）、從而確定出背景的上下限分別為73，158（0255），利用該上下限去除背景，以便達到圖像閾值分割的目的。 截取的路面圖像 路面直方圖從圖像中提取如下圖所示的一小塊路面（）作為背景信息，對這塊路面的亮度信息進行統(tǒng)計，得到路面直方圖（），從而確定出背景的上下限分別為86，121（0255），利用該上下限去除背景，以便達到圖像閾值分割的目的。 基于三幀背景差分的運動目標提取方法、背景差法對運動物體界定過大、模糊的缺陷，本文提出三幀背景差分法進行運動目標的提取，利用三幀圖像計算出兩個差圖像[9][10]，再令它們對應像素相與。然后將檢測到的運動變化圖像做去噪和空域識別后，做相與運算，最后再基于物體自身的灰度信息，恢復真正的運動圖像。假設照明條件在多幀圖像間基本不變化，那么差圖像的不為零處表明該處的像素發(fā)生了移動。如果對一系列圖像兩兩求差，并把差分圖像中值為正或負的區(qū)域邏輯相加就可以得到整個目標的形狀。 利用差分圖像提取運動目標設在時刻和采集到兩幅圖像和，可得到差圖像[11]：= ()其中T為閾值。在實際情況中，即使沒有運動目標，由于隨機噪聲的干擾，沒有發(fā)生像素移動的地方也會出現圖像間差別不為零的情況。另外由于噪聲產生的為1的像素一般比較孤立，所以也可根據連通性分析將它們除去。 累計差圖像的生成過程為了克服上述問題，本系統(tǒng)考慮利用多幅圖像。設有一系列圖像，…， ，并取第一幅圖作為參考圖。圖(a)為時刻采集的圖像，其中有一個用4行3列像素代表的矩形目標。圖(b)至圖(d)分別為，時刻對應的累計差圖像。圖(f)可由圖(a)和圖(c)的差加上圖(e)得到，依次類推。如果將兩幀連續(xù)的差分圖像進行相與運算，則可以得到運動物體本身的灰度值，基于這時運動變化區(qū)域的灰度值所設定灰度檢測門限將是完全基于運動物體的本身，所以檢測到的運動物體相對要比兩幀差分法檢測到的運動物體準確。其中三幀差操作用來決定圖像序列中的運動區(qū)域，自適應背景差就用來提取目標的完整輪廓信息。若某像素點的亮度值在連續(xù)的三幀圖像間變化顯著，則認為該像素點(x，y)屬于“運動點(Moving Pixel)，即 ()且 ()其中是某像素點亮度變化統(tǒng)計意義的閾值，可由如下遞歸公式求出：= 非零極小值 () = ()其中表示第一幀圖像的背景亮度值，表示第一幀圖像亮度值。和都是從觀察所得的圖像序列{} (k n)中學習得到的統(tǒng)計特性，由()， ()兩式迭代產生。 算法實現1. 幀間差法的實現： 　　　　 連續(xù)兩幀原始圖像 幀間差法實現結果，幀間差法常常會引起兩個不良的后果：一個是兩幀間物體重疊部分沒有檢測出來，即只檢測出物體的一部分，從而產生“孔洞”；另一個是檢測出物體在兩幀中的信息，即檢測出的目標比真實的物體大很多。但是提取的背景對外界環(huán)境的變化沒有一定自適應性。要使背景模型能夠對外界環(huán)境的變化具有自適應性，必須適時地對背景模型進行更新，背景中固定的部分也可能發(fā)生移動，發(fā)生移動后的一段時間內將被誤檢測為運動目標，但不應該永遠將其看作運動目標，這也需要一個有效的背景更新策略。3. 三幀背景差分的實現經過三幀之間的運動判別之后，系統(tǒng)將所有滿足式( )和( )的像素點都作為運動點，其它像素點作為背景從而將原圖像幀區(qū)分為目標與背景兩大區(qū)域?！　?a) 幀間差法 (b)背景差法(c) 三幀背景差分法 三種運動目標提取算法的比較(a)中只提取出車輛的部分邊界信息，產生了“孔洞”現象，(b)中當背景與目標亮度值相似時，提取出運動目標很模糊，三幀背景差分法克服了傳統(tǒng)的兩幀差分法，背景差法對運動物體界定過大、模糊的缺陷，能夠快速對運動物體進行定位；在恢復運動物體時，采用的是基于物體本身的灰度信息，灰度門限也是隨著當前幀運動物體本身與背景自適應變化的，所以檢測結果比較準確。攝像機的運動導致相對大地靜止的景物在圖像平面也產生運動。因此，在下一章中提出了一種基于改進光流法的運動目標提取方法，擬解決背景運動情況下的目標提取問題。本章主要研究背景運動情況下的運動目標提取算法，常用的基于光流法的運動目標提取在識別大的運動目標和多目標遮擋時誤檢率較高，本文提出了一種改進算法——基于金字塔的光流法，擬解決了上述問題。 運動場示意圖當物體運動時，在圖像上對應物體的亮度模式也在運動。在理想情況下，光流對應于運動場，但這一命題不總是對的。當球體在攝像機前面繞中心軸旋轉時，明暗模式并不隨著表面運動，所以圖像也沒有變化，此時光流在任意地方都等于零，然而，而光源運動，明暗模式運動將隨著光源運動。一般情況下可以認為光流與運動場沒有太大的區(qū)別，因此允許根據圖像運動來估計相對運動。下面簡介一下基于梯度的方法的基本思想?；谔荻鹊姆椒ǜ鶕\動前后圖像灰度保持不變這個基本假設，導出了光流約束方程。根據引入約束的不同，基于梯度的方法可以分成全局約束的方法和局部約束的方法。而局部約束的方法[17]假定在給定點周圍的一個小區(qū)域內，光流滿足一定的約束條件。預測值可以作為前一個象素位置的運動估算值，或作為當前象素鄰域內的運動估算線性組合。在這里介紹Lucas Kanade算法[18]。解得 ()其中 Lucas Kanade算法假設圖像間是線性相關的，也就是使得較小，否則，誤差較大。為避免較大時產生較大誤差，介紹一種改進的光流計算方法——基于金字塔的光流法。利用金字塔表示法，能分析圖像中不同大小的物體，例如高分辨率的下層可用于分析細節(jié)，低分辨率的上層可用于分析較大的物體。高斯金字塔的算法[20]：1)將圖像設定為最細尺度。3)結束。符號表示對圖像重采樣，具體來說的第i，j個元素是I的第2i，2 j個元素。細節(jié)最豐富的一層是原始圖像： ()設原圖G并把它作為金字塔的底層第L層，第L層的上層第L+1層是這樣構造的：將G經過一個高斯低通濾波器，并把結果作隔行隔列取樣，以此類推，這樣就形成了高斯金字塔。數學形態(tài)學以圖像的形態(tài)特征為研究對象，它的主要內容是設計一整套概念、變換和算法，用來描述圖像的基木特征和基木結構，也就是描述圖像中元素與元素、部分與部分間的關系。數學形態(tài)學算子的性能主要以幾何方式進行刻畫，傳統(tǒng)的理論卻以解析方式的形式描述算子的性能，而幾何描述特點似乎更適合視覺信息的處理和分析，見圖2g。膨脹和腐蝕[22]是基于陰影集和表面函數來定義的。設輸入圖像為f(x，y)，結構元素為b (x，y)，則b對f的膨脹定義為： ()b對f的腐蝕定義為： ()其中，和分別為f和b的定義域，s和x為整數空間中的向量。相反，對于腐蝕運算，只有當結構元素b全部位于f內時，才能對f進行腐蝕。數學形態(tài)學的開啟和閉合運算是由膨脹和腐蝕運算復合而成的。而閉合運算則填充那些圖像上與結構元素不相吻合的凹區(qū)域，同時保留那些相吻合的凹區(qū)域。 算法流程本文提出一種基于改進光流法的運動目標提取方法。直到金字塔的最上層，即原始圖像。光流法降采樣降采樣光流法光流法升采樣升采樣22視頻運動向量 基于金字塔的光流法的原理框圖1) 降采樣和升采樣：降采樣采用高斯低通濾波器[1/16 1/4 3/8 1/4 1/16] [1/16 1/4 3/8 1/4 1/16]，將圖像與濾波器卷積，并把結果作隔行隔列取樣，得到上一層的圖像。2) 光流法計算為使計算時運動向量較小，光流法需要進一步改進，即先將前一幀圖象平移一定的值（下層計算出的光流），再與后一幀利用光流法求出運動向量，最后與下層計算出的光流進行疊加[21] ，得到運動向量。2. 基于改進光流法的形態(tài)學濾波本文先利用閉運算，填充那些光流值與結構元素不相吻合的凹區(qū)域，同時保留那些相吻合的凹區(qū)域。然后，利用形態(tài)學濾波的去噪運算，可以由下式表示： ()這一過程事實上通過先腐蝕然后連續(xù)進行兩次膨脹，最后再腐蝕一次得到的。實踐證明，只有當噪聲比結構元素小時，才能去除噪聲。一個很簡單的辦法就是設定一個面積閾值[23]，面積小于此閾值的區(qū)域將會被過濾掉，只有面積大于此閾值的區(qū)域才被認為是運動目標區(qū)域。通過這樣一系列這樣的處理后，可以獲得相對比較精確的運動目標區(qū)域，利用此運動區(qū)域，可以提取出一些需要的運動目標特征信息，比如運動目標的輪廓、運動目標的長寬比、包含運動目標的最小矩形、目標的顏色等。4. 基于改進光流法的色度和亮度分割在對運動目標進行跟蹤時，目標運動的復雜性使得有效跟蹤更加困難。同時，當運動目標顏色與背景相近時，也容易將目標忽略。 多目標的遮擋問題本文利用圖像的亮度、色度及背景信息對視頻圖像進行自適應閾值分割來解決這一問題。(2) 利用亮度信息對圖像進行分割 (a)截取的車輛原始圖像 (b)亮度信息圖像 (c)分割后圖像，分割出的圖像（(c)）具有車的特征，分割效果較為理想。 算法實現 金字塔HS光流法處理結果 金字塔LK光流法處理結果 HS光流法處理結果、直接使用光流法的處理結果在識別大的運動目標（）時會出現誤檢現象；金字塔LK方法（）由于計算出光流后未進行閾值判斷，導致連通的噪聲點較多，經形態(tài)學濾波處理后相鄰運動目標被誤檢為同一目標；金字塔HS方法（），利用圖像的金字塔結構，對計算的光流進行閾值判斷，并通過形態(tài)學濾波去除孤立噪聲點，再經過面積閾值判斷，基本解決了大目標的識別問題，而且檢測率較高。 系統(tǒng)設計原則由于視頻交通目標檢測是一個集視頻處理和信息管理為一體的綜合系統(tǒng)，所以在系統(tǒng)設計時應遵循軟件設計的要求。這幾個部分相互協(xié)調將涉及到系統(tǒng)設計的原則問題。為了能夠對交通視頻的系統(tǒng)設計有一個深入的理解，以下十個設計原則[24]應該貫徹到車輛視頻檢測系統(tǒng)設計的始終。需要注意的是：實時性并不等于“快”。“即時性”是計算機圖像處理系統(tǒng)評價的最重要指標之一。任何一種算法，處理方案，即使有許多卓越優(yōu)點(