【正文】 動(dòng)矢量進(jìn)一步合并得到ROI。 k均值法是一種有效的分割方法，后續(xù)的改進(jìn)方法雖然克服了根據(jù)先驗(yàn)知識來預(yù)先對聚類個(gè)數(shù)進(jìn)行設(shè)定的缺陷，但在聚類過程中均會(huì)涉及到迭代運(yùn)算，這使其在實(shí)時(shí)性要求極高的交通檢測應(yīng)用中受到了一定的限,Or23l。 2．3 車輛跟蹤技術(shù) 對檢測出來的運(yùn)動(dòng)車輛進(jìn)行跟蹤，也是ITS系統(tǒng)研究的焦點(diǎn)之一。由于視頻監(jiān)視器中的運(yùn)動(dòng)車輛目標(biāo)跟蹤不但可以提供被監(jiān)視目標(biāo)的運(yùn)動(dòng)軌跡，也為進(jìn)入場景中目標(biāo)的運(yùn)動(dòng)分析和場景分析提供了可靠的數(shù)據(jù)來源，因此不但是在交通流量統(tǒng)計(jì)中得到車速、車流量等的基礎(chǔ)，也在輔助駕駛、自動(dòng)導(dǎo)航、交通監(jiān)控、事故檢測等方面發(fā)揮著重要的作用。車輛跟蹤所依賴的仍然是視頻序列圖像的運(yùn)動(dòng)信息，它要求將同一輛車在不同時(shí)間的運(yùn)動(dòng)軌跡描述出來。理想的系統(tǒng)要求實(shí)現(xiàn)對運(yùn)動(dòng)車輛的快速有效跟蹤，并且能處理跟目標(biāo)之間的重疊以及目標(biāo)的暫時(shí)消失等情況。 2．3．1 概述 在車輛跟蹤技術(shù)中，根據(jù)對視頻幀中的信息的利用層次不同又可以將常用方法分為兩大類：提取像素信息結(jié)合鄰域特征，并以此為處理單位的非模型方法，以及通過對圖像內(nèi)容進(jìn)行理解后的模型處理方法。具體說有：基于區(qū)域匹配相關(guān)的方法、基于特征點(diǎn)的跟蹤算法、基于變形模板的跟蹤方法、基于3．D模型的運(yùn)動(dòng)目標(biāo)跟蹤方法等。在實(shí)際的跟蹤過程中，當(dāng)目標(biāo)運(yùn)動(dòng)較快時(shí)，這些跟蹤方法可能丟掉待匹配的對像，因此往往需要對具有一定特征的運(yùn)動(dòng)方式進(jìn)行預(yù)測。常用的預(yù)測方法有多項(xiàng)式預(yù)測法及卡爾曼濾波器法。車輛跟蹤與預(yù)測不是本文研究重點(diǎn)，所以只對目前常用的方法作概要介紹。 2．3．2 核心技術(shù) 2．3．2．1 非模型方法 非模型法的特點(diǎn)是將視頻監(jiān)視器中獲取的視頻序列中的車輛目標(biāo)作為一組像素的集合進(jìn)行處理。根據(jù)處理方法不同，又可以分為以下幾類： 1)基于時(shí)域的運(yùn)動(dòng)估計(jì)法 基于時(shí)域的跟蹤方法就是在時(shí)域上跟蹤車輛檢測模塊檢測出的一個(gè)個(gè)像素連通塊，這些塊區(qū)域表示檢測出的車輛。這種車輛檢測方法的核心思想是通過時(shí)域的運(yùn)動(dòng)估計(jì)跟蹤圖像序列中的運(yùn)動(dòng)物體來提高分割的準(zhǔn)確性，將車輛跟蹤過程和圖像分割過程結(jié)合起來，進(jìn)而減少計(jì)算復(fù)雜度，提高系統(tǒng)的實(shí)時(shí)處理能力。它綜合考慮了空域和時(shí)域信息。在匹配不同圖像幀中表示同一車輛的運(yùn)動(dòng)塊的過程中，可以得到被跟蹤車輛在n幀序列圖像中的形態(tài)演變，因而也就有可能預(yù)測其在n+l幀中的形狀，從而能糾正車輛圖像的誤分割情況，如運(yùn)動(dòng)塊突然出現(xiàn)、消失以及形狀突變等。這種方法和其它車輛檢測跟蹤方法主要的不同在于分割過程 和跟蹤過程是同步進(jìn)行的，而不是在跟蹤過程前就有了明確的分割結(jié)果。這種方法在車輛稀少時(shí)效果比較好。 運(yùn)動(dòng)估計(jì)的方法有基于光流方程(OFE，Optical Flow Equation)的方法、基于塊的分析方法、像素遞歸法、貝葉斯法等。 2)基于動(dòng)態(tài)輪廓的方法 基于動(dòng)態(tài)輪廓的方法實(shí)質(zhì)上是對待檢測圖像中的一組像素進(jìn)行檢測和跟蹤， 屬于非模型方法。其跟蹤方法的主要思想是先初始勾勒出車輛的輪廓并且不斷地在后續(xù)幀更新輪廓進(jìn)而達(dá)到跟蹤的目的。以車輛輪廓為跟蹤對象的方法有很多，雖然輪廓可以通過簡單的邊緣檢測的方法得到，但這些簡單的方法往往同時(shí)檢測出背景中的一些干擾邊緣。因而有些系統(tǒng)采用復(fù)雜些的邊緣檢測算法如自動(dòng)輪廓獲取或snake模型1251，這些算法以求能量最小值對目標(biāo)進(jìn)行分割跟蹤，抗噪聲能力突出，并且可以用專門的處理器進(jìn)行實(shí)時(shí)處理，計(jì)算量相對較低。 但是基于動(dòng)態(tài)輪廓的方法也有其自身的缺點(diǎn)：在陰影和道路擁擠的情況下其效果會(huì)變得很差，因?yàn)殛幱昂蛙囕v之間的遮擋都會(huì)將本來相鄰的多個(gè)連通塊變?yōu)橐粋€(gè)，造成漏檢和誤檢。而且初始化具有困難。 2．3．2．2 模型法 上面講到的非模型的處理方法只是將處理得到的待檢測圖像中的運(yùn)動(dòng)塊看作是一組像素的集合，缺點(diǎn)在于有可能把誤分割形成的像素集合也檢測為車輛目標(biāo)。而基于模型的車輛檢測方法的突出優(yōu)點(diǎn)是對于視頻幀的處理，不僅僅停留像素級別上，而是融合了對于圖像內(nèi)容的理解。 在視頻交通流量統(tǒng)計(jì)系統(tǒng)中，車輛運(yùn)動(dòng)目標(biāo)是剛體，不同于行人等非剮體目標(biāo)，因此對車輛目標(biāo)的跟蹤可以利用其精確的外形先驗(yàn)知識，即以形狀作為模型匹配的模板，這是使用模型法進(jìn)行車輛目標(biāo)跟蹤的前提。 關(guān)于模型法，針對車輛的形狀作為模板，實(shí)現(xiàn)中的跟蹤方法又可以分為以下兩種： 1)以被跟蹤車輛目標(biāo)特征為基礎(chǔ)的跟蹤算法； 2)通過計(jì)算二維運(yùn)動(dòng)區(qū)域與運(yùn)動(dòng)目標(biāo)三維模型的對應(yīng)關(guān)系進(jìn)行目標(biāo)跟蹤。如通過計(jì)算二維運(yùn)動(dòng)區(qū)域的中心位置、運(yùn)動(dòng)方向，然后在二維運(yùn)動(dòng)的區(qū)域中計(jì)算與三維模型中線段的對應(yīng)關(guān)系，由此來判別運(yùn)動(dòng)區(qū)域是否與目標(biāo)模型相匹配。 在早期的車輛跟蹤研究中，第一種以特征為基礎(chǔ)的跟蹤算法是研究的熱點(diǎn)。匹配特征的選取一般包括那些與物理運(yùn)動(dòng)關(guān)系密切的信息，如位置、大小等，以及目標(biāo)的形狀拐點(diǎn)和顏色等，或?qū)⑦@些特征按照重要性進(jìn)行權(quán)重組合來表示車輛。 基于特征點(diǎn)的算法的優(yōu)點(diǎn)是通過特征提取，找到車輛的外形共性，不會(huì)產(chǎn)生像素陰影問題；而且，即使對于輕微遮擋的車輛，很多特征也是可見的。但是，算法在車輛彼此太近時(shí)，一般無法正確提取到足以識別車輛的特征，而且特征提取的選取和數(shù)臥281直接影響著算法的優(yōu)劣。另外，由于進(jìn)入攝像機(jī)拍攝范圍的車輛往往具有不同的角度和速度，因此往往會(huì)導(dǎo)致車輛在方向、位置、尺寸上產(chǎn)生很大的變化，因此單純以來特征提取對車輛進(jìn)行跟蹤具有相當(dāng)不確定性。 此外車輛的其它特征也受到了廣泛關(guān)注。主動(dòng)模型(Active Models)考慮了圖像本身的一些性質(zhì)，如顏色、紋理、邊緣、形狀等，并通過求能量函數(shù)的最小 值來跟蹤目標(biāo)。此外，美國加州大學(xué)的David Beymer，Jitendra Malik等則引入了車輛的高度信息來提高跟蹤能力。 近些年，第二種以模型為基礎(chǔ)的跟蹤算法漸漸興起。這種算法是一個(gè)二維到三維的匹配過程，將這些像素看作是三維世界中的車輛在二維圖像平面上的投影，經(jīng)過與預(yù)先建立的模型在圖像塊同一位置的投影相匹配，直接得到車輛的長、寬、高及車輛類型等信息。建立適當(dāng)?shù)哪Ｐ褪沁@種方法能夠獲得對圖像內(nèi)容理解的前提條件，預(yù)先建立的模型通常包括車輛的3D模型和攝像機(jī)模型車輛模型描述了車輛的先驗(yàn)知識(長寬高等信息)。 模型法的優(yōu)點(diǎn)是在確定車輛類別和幾何模型細(xì)節(jié)時(shí)具有較高的精度。但在實(shí)際應(yīng)用中，為了獲得對圖像內(nèi)容的理解，在建立攝像機(jī)模型時(shí)需要測量攝像機(jī)與交通場景之間詳細(xì)的空間幾何特征，計(jì)算很大而且獲得有難度；另外，當(dāng)攝像機(jī)由于外力產(chǎn)生角度變化時(shí)可能會(huì)造成檢測失敗，而且對于遮擋情況下也會(huì)發(fā)生誤檢。 特別需要指出的是，目前采用Kalman濾波模型進(jìn)行車輛運(yùn)動(dòng)跟蹤是解決跟蹤問題的研究。對研究Kalman跟蹤模型的改進(jìn)方法或?qū)ζヅ溥^程算法的改進(jìn)也是提高車輛運(yùn)動(dòng)跟蹤效果的有效途徑。由于Kalman濾波不要求保存過去的測量數(shù)據(jù)，當(dāng)新數(shù)據(jù)測得以后，根據(jù)新的數(shù)據(jù)和前一時(shí)刻諸量的估計(jì)值，借助系統(tǒng)本身的狀態(tài)轉(zhuǎn)移方程(即動(dòng)態(tài)方程)，按照一套遞推公式，即可算出新的諸量的估計(jì)值，這樣大大減少了濾波裝置的存儲量和計(jì)算量，同時(shí)適用于信號為非平穩(wěn)的，動(dòng)態(tài)系統(tǒng)也可以是時(shí)變的。這種方法數(shù)學(xué)模型簡單，運(yùn)算速度快，能滿足實(shí)時(shí)高速行進(jìn)車輛的跟蹤要求；同時(shí)考慮了新目標(biāo)的出現(xiàn)、舊目標(biāo)的消失、暫時(shí)靜止等情況。但對車輛擁擠、遮擋情況下的跟蹤處理仍有很大局限性。 2．4 本章總結(jié) 基于視頻技術(shù)的車輛監(jiān)測技術(shù)由于其維護(hù)方便、易于實(shí)施的特點(diǎn)，近年來廣受關(guān)注?；谝曨l的交通流量統(tǒng)計(jì)是利用視頻監(jiān)視等手段，對視頻中的車輛目標(biāo)進(jìn)行檢測分割和跟蹤來實(shí)現(xiàn)對車輛流量的統(tǒng)計(jì)分析。其中車輛檢測是整個(gè)車輛跟蹤過程的基礎(chǔ)，主要是對交通場景視頻序列中的車輛進(jìn)行分割，將有可能是車輛的區(qū)域從復(fù)雜的交通場景中提取出來，以便進(jìn)行車輛的跟蹤計(jì)算。后期的車輛運(yùn)動(dòng)估計(jì)、車輛跟蹤的實(shí)現(xiàn)都建立在正確、可靠的車輛檢測基礎(chǔ)上。而跟蹤部分是根據(jù)運(yùn)動(dòng)目標(biāo)的特征如形狀、運(yùn)動(dòng)矢量等信息，對進(jìn)入場景的車輛進(jìn)行跟蹤與統(tǒng)計(jì)計(jì)數(shù)。 本章詳細(xì)研究了基于視頻的車流量統(tǒng)計(jì)系統(tǒng)的兩大核心技術(shù)——車輛檢測 技術(shù)和車輛跟蹤技術(shù)。首先講述了基于視頻的車流量統(tǒng)計(jì)系統(tǒng)的特點(diǎn)和組成，然 后針對它的兩個(gè)核心模塊：車輛檢測(識別分割)和車輛跟蹤(統(tǒng)計(jì)計(jì)數(shù))模塊，分別詳細(xì)討論了各自目前的常用技術(shù)的算法原理和應(yīng)用優(yōu)缺點(diǎn)。 常用的車輛檢測的算法可以根據(jù)是否利用了交通視頻序列的時(shí)空特性而分為視頻車輛檢測算法和傳統(tǒng)的對每幀圖像中車輛目標(biāo)提取的圖像分割檢測方法。在第一類方法中，又可以分為檢測線法和光流場方法等。其中在對灰度視頻幀實(shí)施檢測線法時(shí)又可以根據(jù)幀間差分對象的不同分為幀差法和背景差法。而第二類方法在車輛檢測中的應(yīng)用常常有聚類和區(qū)域增長為代表的區(qū)域分割法和邊緣線提取的邊緣檢測方法等，這些傳統(tǒng)圖像處理方法由于算法成熟穩(wěn)定，在一定的應(yīng)用環(huán)境中也有很好的效果。 車輛跟蹤模塊中常采用的方法可以根據(jù)是否能夠?qū)囕v視頻幀中的圖像內(nèi) 容進(jìn)行理解分為模型法和非模型法兩類。第一類模型法中常用的有基于車輛特征的模型法和利用2維與3維場景對應(yīng)關(guān)系進(jìn)行3D建模的模型法。前者在早期使用廣泛，近年來由于局限性已經(jīng)不再單純使用，而是常常結(jié)合輪廓法來實(shí)現(xiàn)車輛目標(biāo)跟蹤；后者由于需要對攝像機(jī)和車輛目標(biāo)進(jìn)行3D建模，而需要測量大量空間幾何特征，這使得算法雖然精準(zhǔn)度較高但需要測量數(shù)據(jù)量很大，計(jì)算時(shí)間長，所以不太適用于實(shí)時(shí)系統(tǒng)，另外在遮擋情況下也會(huì)發(fā)生車輛誤檢。在第二類非模型跟蹤方法中，又可以分為動(dòng)態(tài)輪廓的方法和基于時(shí)域的運(yùn)動(dòng)估計(jì)法?；趧?dòng)態(tài)輪廓的方法如果采用能量最小值的查找則具有較高的抗噪性能，但是在陰影和道路擁擠的情況下其效果會(huì)變得很差，因?yàn)殛幱昂蛙囕v之間的遮擋都會(huì)將本來相鄰的多個(gè)連通塊變?yōu)橐粋€(gè)，造成漏檢和誤檢。 通過在本章中對各種車輛檢測和車輛跟蹤技術(shù)的研究，可以看出，基于視頻的交通流量統(tǒng)計(jì)系統(tǒng)中，車輛的檢測和跟蹤算法其實(shí)存在很大的共性和交疊，而且兩部分的分界并不需十分清晰。例如車輛目標(biāo)的識別、分割以及分割到什么程度是與不同的檢測算法密切相關(guān)的。而分割結(jié)果的好壞，又直接決定了后續(xù)的車輛跟蹤階段算法的選取與處理復(fù)雜度。如果單純在檢測階段檢測出運(yùn)動(dòng)的車輛目標(biāo)，那么后續(xù)對應(yīng)的跟蹤階段就需要對目標(biāo)進(jìn)行提取與確定，復(fù)雜性相對較高。而如果在檢測階段使用性能良好的車輛檢測算法，對各車輛目標(biāo)實(shí)現(xiàn)準(zhǔn)確分割，那么同樣也可以簡化后續(xù)跟蹤階段的困難。另外，通過對兩大核心技術(shù)的各算法優(yōu)缺點(diǎn)對比，可以發(fā)現(xiàn)各算法均具有比較鮮明的優(yōu)缺點(diǎn)，所以在實(shí)際應(yīng)用中應(yīng)該首先區(qū)分應(yīng)用環(huán)境的特點(diǎn)，分析后采用適合的算法進(jìn)行處理，才會(huì)將算法優(yōu)點(diǎn)發(fā)揮最大。 我們的研究目標(biāo)是實(shí)現(xiàn)基于視頻的交通流量統(tǒng)計(jì)系統(tǒng)，只需要對交通視頻中的車流進(jìn)行流量統(tǒng)計(jì)計(jì)數(shù)，在跟蹤階段不需要太復(fù)雜的預(yù)測算法。因此可以通過在車輛檢測階段的對目標(biāo)的有效分割簡化跟蹤階段的算法復(fù)雜度，實(shí)現(xiàn)快速統(tǒng)計(jì)。因此，通過對各檢測和跟蹤階段算法的學(xué)習(xí)比較，本文提出一種車流量統(tǒng)計(jì)的實(shí)現(xiàn)方案。其中，受到跟蹤階段算法的提示，針對街道道路車流特點(diǎn)，我們在車輛檢測階段提出了一種改進(jìn)的融合目標(biāo)分割算法，該算法能夠在檢測階段實(shí)現(xiàn) 車輛目標(biāo)的有效分割，從而簡化了跟蹤階段的計(jì)算量。 3 實(shí)現(xiàn)過程 背景提取方法 均值法通過觀察視頻序列中連續(xù)的兩幀圖像,背景區(qū)域像素點(diǎn)的灰度值變化比較小,前景區(qū)域像素點(diǎn)的灰度值變化比較大,包括運(yùn)動(dòng)目標(biāo)當(dāng)前所在區(qū)域和原來所在區(qū)域?？紤]到運(yùn)動(dòng)目標(biāo)的多樣性,車輛的灰度值大于,小于或者等于背景點(diǎn)的像素值,因此從統(tǒng)計(jì)學(xué)的角度看,經(jīng)過較長時(shí)間后,車輛經(jīng)過的區(qū)域所引起的變化可以忽略。均值法的中心思想是選取某點(diǎn)在一段視頻序列中灰度值的平均值代替該點(diǎn)的像素值。把運(yùn)動(dòng)的車輛當(dāng)作噪聲,用車輛運(yùn)行一段時(shí)間的連續(xù)圖像做平均,就可以得到背景圖像。具體算法步驟為:1) 讀取一段視頻中連續(xù)的M幀圖像 :2) 對于每個(gè)像素點(diǎn)(x,y),由M幀圖像得到背景圖像式中表示第幀圖像,M是讀取的M幀視頻序列,B(x,y)是得到的背景圖像。均值法的優(yōu)點(diǎn)是模型簡單,計(jì)算方便。缺點(diǎn)是實(shí)際應(yīng)用中,某點(diǎn)在所取的視頻序列的灰度值并不像我們預(yù)期的那樣:既有灰度值較大的車輛經(jīng)過,又有灰度值較小的車輛經(jīng)過,而是某些地方在短時(shí)間內(nèi)通過的車輛的灰度值比較大,或者通過的車輛灰度值比較小,經(jīng)過平均之后得到的背景會(huì)出現(xiàn)亮暗分布不均勻的情況,比如上圖中遠(yuǎn)方的車輛。而且當(dāng)車輛的灰度值和背景灰度值相近時(shí)容易出現(xiàn)空洞,并且均值法對存儲空間要求較高。3. 1. 2統(tǒng)計(jì)中值法統(tǒng)計(jì)中值法是由中值濾波的方法演變而來的。中值濾波是一種非線性平滑技術(shù),它將每一像素點(diǎn)的灰度值設(shè)置為該點(diǎn)某鄰域窗口內(nèi)的所有像素點(diǎn)灰度的中值。中值濾波是對單幀圖像空間采樣點(diǎn)上的濾波,并不能直接應(yīng)用于背景提取。我們可以對一幀圖像中的某個(gè)像素點(diǎn)在時(shí)間上進(jìn)行采樣,把在這段時(shí)間內(nèi)通過目標(biāo)時(shí)的像素點(diǎn)看成噪聲,進(jìn)行排序之后,背景點(diǎn)像素會(huì)排在中間,通過中值濾波即可得到背景點(diǎn)。算法步驟為:1) 假設(shè)某一時(shí)間段內(nèi)有N幅圖像:。2) 將圖像/,轉(zhuǎn)化為灰度圖像,對圖像中的每一個(gè)像素點(diǎn)在這段時(shí)間內(nèi)的采樣集合進(jìn)行排序。3) 取排在中間的像素作為背景點(diǎn)。3. 1. 3單高斯背景模型法單高斯背景模型法的中心思想是對每一個(gè)像素用一個(gè)高斯模型建模,高斯模型的均值是u標(biāo)準(zhǔn)差是,每一點(diǎn)的高斯模型是相互獨(dú)立的。對于視頻序列中的每一個(gè)像素點(diǎn),其值在視頻序列中的變化可以看作是隨機(jī)過程,該隨機(jī)過程可以表示為式中為一幀圖像中坐標(biāo)為(x0,y0)的像素值,表示第幀圖像,從時(shí)間軸上看,這個(gè)隨即過程服從高斯分布：單高斯模型的建模過程如下:1) 初始化背景模型。選取視頻序列的第一幀圖像的像素值作為均值,將標(biāo)準(zhǔn)設(shè)為較大的值。2) 背景模型的更新。Koller等人只對判為背景的像素點(diǎn)進(jìn)行更新。讀取一幀圖像,得到新的觀察值,設(shè)c(x,y)是第1幀后背景模型的均值和方差,力是新得到的觀察值,如果式成立,則認(rèn)為該觀測值與背景模型匹配,否則認(rèn)為該觀測值屬于前景點(diǎn)。式中M