【正文】 鉆研精神和經(jīng)常地給予我耐心無(wú)私幫助對(duì)我是個(gè)極大的鼓舞。但作為一套實(shí)用性較強(qiáng)的系統(tǒng)，視頻交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)有必要拓寬車輛檢測(cè)算法以解決不同同的交通場(chǎng)景下的車輛檢測(cè)(這些場(chǎng)景包括黑夜，雪天條件下的交通視頻檢測(cè))。解決方案可以是采取諸如卡爾曼濾波等基于模型的檢測(cè)算法，或利用特定的場(chǎng)景信息（如在夜間利用車輛的車燈進(jìn)行檢測(cè)）。背景差法，三幀背景差分法及金字塔光流法的性能比較被列在表52中?！罢`檢”主要來(lái)自光照的劇烈變化。也可以顯示目標(biāo)檢測(cè)、跟蹤的結(jié)果。圖中最右側(cè)紅色橢圓框內(nèi)為系統(tǒng)功能按鈕，對(duì)應(yīng)：視頻文件的管理、視頻圖像預(yù)處理、交通對(duì)象的檢測(cè)與跟蹤、打印輸出、系統(tǒng)配置和系統(tǒng)定標(biāo)六項(xiàng)系統(tǒng)功能；其他窗口底部的紅色橢圓框內(nèi)標(biāo)記的是控制對(duì)應(yīng)窗口操作的各項(xiàng)功能。它不依賴于其他外部庫(kù)，盡管也可以使用某些外部庫(kù)。用戶可以簡(jiǎn)單而容易地使用C/C++編程。攝像機(jī)。本系統(tǒng)作為智能交通工程的一部分，可提供實(shí)時(shí)的道路情況反饋，以供交通管理及其相關(guān)部門作相應(yīng)的統(tǒng)計(jì)及監(jiān)控。可擴(kuò)展性原則：指在一定的條件下，系統(tǒng)能夠方便擴(kuò)充功能。實(shí)用性原則：操作方便、快速、簡(jiǎn)捷。實(shí)時(shí)性的控制可用于宇航，軍事，交通信號(hào)控制等多個(gè)領(lǐng)域。“即時(shí)性”是計(jì)算機(jī)圖像處理系統(tǒng)評(píng)價(jià)的最重要指標(biāo)之一。 系統(tǒng)設(shè)計(jì)原則由于視頻交通目標(biāo)檢測(cè)是一個(gè)集視頻處理和信息管理為一體的綜合系統(tǒng)，所以在系統(tǒng)設(shè)計(jì)時(shí)應(yīng)遵循軟件設(shè)計(jì)的要求。同時(shí)，當(dāng)運(yùn)動(dòng)目標(biāo)顏色與背景相近時(shí)，也容易將目標(biāo)忽略。實(shí)踐證明，只有當(dāng)噪聲比結(jié)構(gòu)元素小時(shí)，才能去除噪聲。光流法降采樣降采樣光流法光流法升采樣升采樣22視頻運(yùn)動(dòng)向量 基于金字塔的光流法的原理框圖1) 降采樣和升采樣：降采樣采用高斯低通濾波器[1/16 1/4 3/8 1/4 1/16] [1/16 1/4 3/8 1/4 1/16]，將圖像與濾波器卷積，并把結(jié)果作隔行隔列取樣，得到上一層的圖像。數(shù)學(xué)形態(tài)學(xué)的開啟和閉合運(yùn)算是由膨脹和腐蝕運(yùn)算復(fù)合而成的。數(shù)學(xué)形態(tài)學(xué)算子的性能主要以幾何方式進(jìn)行刻畫，傳統(tǒng)的理論卻以解析方式的形式描述算子的性能，而幾何描述特點(diǎn)似乎更適合視覺信息的處理和分析，見圖2g。3)結(jié)束。解得 ()其中 Lucas Kanade算法假設(shè)圖像間是線性相關(guān)的，也就是使得較小，否則，誤差較大。根據(jù)引入約束的不同，基于梯度的方法可以分成全局約束的方法和局部約束的方法。當(dāng)球體在攝像機(jī)前面繞中心軸旋轉(zhuǎn)時(shí)，明暗模式并不隨著表面運(yùn)動(dòng)，所以圖像也沒有變化，此時(shí)光流在任意地方都等于零，然而，而光源運(yùn)動(dòng)，明暗模式運(yùn)動(dòng)將隨著光源運(yùn)動(dòng)。因此，在下一章中提出了一種基于改進(jìn)光流法的運(yùn)動(dòng)目標(biāo)提取方法，擬解決背景運(yùn)動(dòng)情況下的目標(biāo)提取問題。要使背景模型能夠?qū)ν饨绛h(huán)境的變化具有自適應(yīng)性，必須適時(shí)地對(duì)背景模型進(jìn)行更新，背景中固定的部分也可能發(fā)生移動(dòng)，發(fā)生移動(dòng)后的一段時(shí)間內(nèi)將被誤檢測(cè)為運(yùn)動(dòng)目標(biāo)，但不應(yīng)該永遠(yuǎn)將其看作運(yùn)動(dòng)目標(biāo)，這也需要一個(gè)有效的背景更新策略。若某像素點(diǎn)的亮度值在連續(xù)的三幀圖像間變化顯著，則認(rèn)為該像素點(diǎn)(x，y)屬于“運(yùn)動(dòng)點(diǎn)(Moving Pixel)，即 ()且 ()其中是某像素點(diǎn)亮度變化統(tǒng)計(jì)意義的閾值，可由如下遞歸公式求出：= 非零極小值 () = ()其中表示第一幀圖像的背景亮度值，表示第一幀圖像亮度值。圖(b)至圖(d)分別為，時(shí)刻對(duì)應(yīng)的累計(jì)差圖像。 累計(jì)差圖像的生成過(guò)程為了克服上述問題，本系統(tǒng)考慮利用多幅圖像。如果對(duì)一系列圖像兩兩求差，并把差分圖像中值為正或負(fù)的區(qū)域邏輯相加就可以得到整個(gè)目標(biāo)的形狀。 截取的路面圖像 路面直方圖從圖像中提取如下圖所示的一小塊路面（）作為背景信息，對(duì)這塊路面的亮度信息進(jìn)行統(tǒng)計(jì)，得到路面直方圖（），從而確定出背景的上下限分別為86，121（0255），利用該上下限去除背景，以便達(dá)到圖像閾值分割的目的。最簡(jiǎn)單、最直接的方法連續(xù)拍攝同一場(chǎng)景兩次，取得兩幀圖像，將拍攝的兩幅圖像作差，將最大灰度像素差值作為提取運(yùn)動(dòng)目標(biāo)的閾值。幀差法的優(yōu)點(diǎn)是對(duì)環(huán)境的光線變化不敏感，且能夠快速地從背景中檢測(cè)出運(yùn)動(dòng)口標(biāo)，對(duì)于動(dòng)態(tài)環(huán)境具有較強(qiáng)的自適應(yīng)性：缺點(diǎn)是無(wú)法檢測(cè)靜止車輛，對(duì)于太慢或太快的車速也可能導(dǎo)致檢測(cè)錯(cuò)誤。第2章 基于三幀背景差分的運(yùn)動(dòng)目標(biāo)提取方法運(yùn)動(dòng)目標(biāo)的提取可分為背景固定和背景運(yùn)動(dòng)兩種情況。第二章首先分析了背景固定情況下常用的運(yùn)動(dòng)目標(biāo)的提取方法：幀間差法和背景差法，并基于上述兩種方法的缺陷提出了一種改進(jìn)方法——三幀背景差分來(lái)提取運(yùn)動(dòng)目標(biāo)。其中三幀差操作用來(lái)決定圖像序列中的運(yùn)動(dòng)區(qū)域，自適應(yīng)背景差就用來(lái)提取目標(biāo)的完整輪廓信息。C. Tomasi等人[4] [5]通過(guò)對(duì)圖像中像素點(diǎn)顏色分量的分布建立區(qū)域模型，并且綜合利用該模型和邊緣模型對(duì)富含紋理的圖像區(qū)域進(jìn)行角點(diǎn)檢測(cè)，實(shí)現(xiàn)目標(biāo)檢測(cè)和跟蹤，但當(dāng)背景的紋理與目標(biāo)的紋理相似時(shí)，該算法卻不能得到正確的結(jié)果。目前的方法對(duì)于已知背景運(yùn)動(dòng)規(guī)律的情況，可以將運(yùn)動(dòng)背景校正為靜止背景；如果背景運(yùn)動(dòng)未知，往往采取背景運(yùn)動(dòng)估計(jì)的方法來(lái)求出背景的運(yùn)動(dòng)情況。但是，已有的運(yùn)動(dòng)目標(biāo)提取算法大多受限于特定的應(yīng)用背景，并且待于進(jìn)一步研究和深化，因此，研究一種魯棒性好、精確度高、性能穩(wěn)定和適用性強(qiáng)的運(yùn)動(dòng)目標(biāo)提取方法依然面臨巨大挑戰(zhàn)。該技術(shù)的理念是利用空基平臺(tái)特有的不受路面交通狀況制約、可快速到達(dá)指定地點(diǎn)的特點(diǎn)，對(duì)重大活動(dòng)、災(zāi)害事件、突發(fā)交通事件進(jìn)行監(jiān)視并提供各種應(yīng)急信息服務(wù)，從而為全面、快速、準(zhǔn)確的獲取與處理交通態(tài)勢(shì)奠定基礎(chǔ)。作者：馬強(qiáng)簽字：時(shí)間：2007年6月 本論文受國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）《空基立體交通態(tài)勢(shì)獲取與處理新技術(shù)》課題的支持項(xiàng)目編號(hào)： SQ2006AA11Z104840起止時(shí)間： 2006年11月－2008年12月 基于視頻圖像的運(yùn)動(dòng)目標(biāo)提取方法研究學(xué) 生：馬 強(qiáng)指導(dǎo)老師：羅喜伶摘 要隨著近年來(lái)全國(guó)各大城市交通擁擠程度的加劇，為克服傳統(tǒng)路基交通監(jiān)視設(shè)備監(jiān)視范圍小、靈活性等固有缺點(diǎn)，對(duì)寬廣范圍內(nèi)的路面交通狀況進(jìn)行覆蓋監(jiān)視，快速到達(dá)突發(fā)事故地點(diǎn)，實(shí)時(shí)獲取事故現(xiàn)場(chǎng)信息，歐美一些發(fā)達(dá)國(guó)家在20世紀(jì)90年代就已經(jīng)開始探索一種可以代替或增強(qiáng)路面交通態(tài)勢(shì)監(jiān)視手段的新技術(shù)——道路交通態(tài)勢(shì)空中監(jiān)測(cè)技術(shù)，其中需要對(duì)視頻圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取，將結(jié)果用于運(yùn)動(dòng)目標(biāo)的跟蹤以及交通態(tài)勢(shì)分析，本文主要對(duì)基于視頻圖像的運(yùn)動(dòng)目標(biāo)提取算法進(jìn)行研究并實(shí)現(xiàn)，主要完成的內(nèi)容如下：1 靜止背景的情況通常發(fā)生在攝像機(jī)相對(duì)靜止?fàn)顟B(tài)，采用三幀間差分統(tǒng)計(jì)的方法進(jìn)行分析并計(jì)算背景，在此基礎(chǔ)之上利用恢復(fù)的背景及當(dāng)前幀的信息檢測(cè)運(yùn)動(dòng)目標(biāo)，此方法可用于空基平臺(tái)懸停的情況；對(duì)于動(dòng)態(tài)背景的運(yùn)動(dòng)圖像，由于背景是不斷變化且呈現(xiàn)出復(fù)雜的特征，因此很難準(zhǔn)確求出靜止背景，本文在光流矢量場(chǎng)的基礎(chǔ)上探討研究了基于金字塔的光流計(jì)算方法，并利用形態(tài)學(xué)濾波，基于亮度和色度的分割，面積閾值判斷，從而檢測(cè)出運(yùn)動(dòng)目標(biāo)，并統(tǒng)計(jì)出運(yùn)動(dòng)目標(biāo)的數(shù)量，此方法可用于空基平臺(tái)飛行的情況。如果為了獲取全面的交通信息而在所有潛在交通擁堵地點(diǎn)和奧運(yùn)等重大活動(dòng)周邊都安裝固定監(jiān)視設(shè)備，不但成本昂貴，而且由于大型活動(dòng)具有短期性，將造成資源的巨大浪費(fèi)。，在進(jìn)行圖像融合后，需要進(jìn)行交通對(duì)象運(yùn)動(dòng)檢測(cè)與跟蹤，而檢測(cè)交通對(duì)象的關(guān)鍵就在于提取出運(yùn)動(dòng)目標(biāo)。對(duì)于運(yùn)動(dòng)圖像的檢測(cè)分析，背景圖像是靜止的情況，現(xiàn)階段的研究成果比較成熟，也易于廣泛實(shí)現(xiàn)，常見的有背景減除法、時(shí)間差分方法等，而對(duì)動(dòng)態(tài)變化的背景圖像，由于外界條件的復(fù)雜多變性，研究方法不可能完全一致，因而各研究方法也會(huì)有不同的適用性。3. 復(fù)雜環(huán)境造成的視頻可用信息減少。主要研究?jī)?nèi)容總結(jié)如下：1. 從基本原理上分析了光流法、幀間差法和背景差法等較為常見的目標(biāo)檢測(cè)算法，分析了這些算法的應(yīng)用范圍，探討了算法的優(yōu)缺點(diǎn)以及值得改進(jìn)的地方，通過(guò)具體的序列圖像實(shí)現(xiàn)了這些算法。主要是被設(shè)計(jì)用來(lái)統(tǒng)計(jì)交通路段上行駛的機(jī)動(dòng)車的數(shù)量，并監(jiān)測(cè)道路交通狀況。第五章是對(duì)二、三章所提出改進(jìn)算法實(shí)驗(yàn)結(jié)果的提供與實(shí)現(xiàn)。 基于幀間差的提取運(yùn)動(dòng)目標(biāo)方法幀差法，又稱幀間差法、時(shí)間序列差分法。2. 閾值的選?。?在運(yùn)用幀間差法提取運(yùn)動(dòng)目標(biāo)時(shí)，涉及到閾值的選取問題。下面介紹兩種亮度統(tǒng)計(jì)法來(lái)提取背景。1. 累計(jì)差分原理在序列圖像中，通過(guò)逐像素比較可直接求取前后兩幀圖像之間的差別。為把噪聲的影響跟像素的移動(dòng)區(qū)別開來(lái)，可對(duì)差圖像取較大的閾值。設(shè)該圖像中各個(gè)位置的值是每次比較中發(fā)生變化的次數(shù)總和。將三幀差分與自適應(yīng)背景差技術(shù)結(jié)合，引入三幀背景差分方法來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)。2. 背景差法的實(shí)現(xiàn) 原始圖像 多幅圖像統(tǒng)計(jì)的背景亮度圖 背景差法實(shí)現(xiàn)結(jié)果實(shí)驗(yàn)證明，該方法能夠提取出背景圖像（），它在提取背景的過(guò)程中，不受前景物體的影響。三幀背景差分法算法比較簡(jiǎn)單，運(yùn)算量小大，比較適用于實(shí)時(shí)監(jiān)控。光流(Optical Flow)是指圖像亮度模式的表觀(或視在)運(yùn)動(dòng)(Apparent Motion)?；谔荻鹊姆椒ɡ脠D像灰度的梯度來(lái)計(jì)算光流，這是研究的最多的一種方法。依據(jù)該象素上的位移幀差的梯度最小值，對(duì)預(yù)測(cè)作進(jìn)一步的修正。同時(shí)，通過(guò)對(duì)低分辨率、尺寸較小的上層進(jìn)行分析所得到的信息還能用來(lái)指導(dǎo)對(duì)高分辨率、尺寸較大的下層進(jìn)行分析，從而大大簡(jiǎn)化了分析和計(jì)算。：(a) 高斯金字塔第一層（原圖像） (b) 高斯金字塔第二層 (c) 高斯金字塔第三層2. 數(shù)學(xué)形態(tài)學(xué)的基本思想數(shù)學(xué)形態(tài)學(xué)是研究數(shù)字影像形態(tài)結(jié)構(gòu)特征與快速并行處理方法的理論，是通過(guò)對(duì)目標(biāo)影像的形態(tài)變換實(shí)現(xiàn)結(jié)構(gòu)分析和特征提取的?？梢姡瑢?duì)于膨脹運(yùn)算，結(jié)構(gòu)元素b的反射與輸入圖像f的交不為空(也就是說(shuō)，只要有一個(gè)相交即可)。 基于改進(jìn)光流法的運(yùn)動(dòng)目標(biāo)提取方法1. 基于金字塔光流法的光流值計(jì)算基本思想是利用圖像金字塔，將相鄰兩幀降采樣到最底層，計(jì)算這兩幀間的光流值，在上一層中將前一幀圖像平移一定的值（下層計(jì)算出的光流），與后一幀利用光流法求出運(yùn)動(dòng)向量，最后與下層計(jì)算出的光流進(jìn)行疊加。即將計(jì)算出的離散點(diǎn)光流值連成一片區(qū)域，利于下一步進(jìn)行面積閾值判斷。這些特征信息描述了運(yùn)動(dòng)物體的特征。(3) 對(duì)背景和車輛顏色接近的情況進(jìn)行分割 (a)原始圖像 (b)亮度圖像 (c)分割后圖像，分割出的圖像（(c)）具有車的特征，分割效果較為理想。實(shí)時(shí)性：實(shí)時(shí)性就是程序的處理必須在時(shí)間上與外部發(fā)生的事件同步，即對(duì)外來(lái)事件在限定時(shí)間內(nèi)能夠做出反應(yīng)。由于目前圖像的輸入方式是以逐點(diǎn)輸入為主，這樣就對(duì)圖像的數(shù)字化要求很高。通常圖像空間分辨率和圖像數(shù)字化空間精度有關(guān)。如主機(jī)、硬盤、網(wǎng)絡(luò)等所有關(guān)鍵硬件資源都能做到冗余各份。另一個(gè)方而，在這些原則的取舍時(shí)，要考慮這十個(gè)原則是有輕重之分的，比如，系統(tǒng)的實(shí)用性和實(shí)時(shí)性就是非常重要的原則。(3)圖像預(yù)處理：算法子系統(tǒng)首先將這些采集到的序列數(shù)字圖像進(jìn)行預(yù)處理：濾波除噪，灰度轉(zhuǎn)換等等。1. Visual C++.net Visual C++.net[25]是美國(guó)Microsoft公司推出的4GL軟件開發(fā)工具，目前已成為國(guó)內(nèi)應(yīng)用最廣泛的高級(jí)程序設(shè)計(jì)語(yǔ)言之一。2. OpenCVOpenCV是Intel公司開發(fā)的開源圖像處理和計(jì)算機(jī)視覺函數(shù)庫(kù)。同時(shí)，OpenCV也在不斷成長(zhǎng)和完善中，增加了更多功能強(qiáng)大結(jié)構(gòu)復(fù)雜的函數(shù)，彌補(bǔ)了一些現(xiàn)有函數(shù)的不足。在地圖上同時(shí)還將顯示地理信息，當(dāng)前檢測(cè)的交通路段或路口信息，以及用不同顏色標(biāo)記的交通態(tài)勢(shì)信息等。在背景差的方法中，“丟檢”主要出現(xiàn)在運(yùn)動(dòng)汽車的灰度接近于道路的情況。相反，幀間差法對(duì)檢測(cè)低速、高速、靜止的、大面積沒有紋理的目標(biāo)有困難，但對(duì)檢測(cè)灰度同背景相似的運(yùn)動(dòng)目標(biāo)有優(yōu)勢(shì)。同時(shí)，由于光流法計(jì)算量較大，導(dǎo)致系統(tǒng)的實(shí)時(shí)性受到影響，建議計(jì)算一次光流值后，利用卡爾曼濾波計(jì)算出下一刻的狀態(tài)值，從而實(shí)現(xiàn)目標(biāo)的跟蹤，原理框圖如下：3. 視頻交通目標(biāo)檢測(cè)及識(shí)別系統(tǒng)功能不夠完善，雖然目前能能夠)能夠?qū)ΡO(jiān)視區(qū)域內(nèi)的通過(guò)車輛數(shù)目進(jìn)行實(shí)時(shí)計(jì)數(shù)，并對(duì)監(jiān)視區(qū)域內(nèi)的運(yùn)動(dòng)車輛進(jìn)行實(shí)時(shí)速度測(cè)量，但作為一套實(shí)用性較強(qiáng)的系統(tǒng)，還應(yīng)該能夠?qū)⒔煌z測(cè)獲得的數(shù)