【正文】 讀取一幀圖像,得到新的觀察值,設(shè)c(x,y)是第1幀后背景模型的均值和方差,力是新得到的觀察值,如果式成立,則認(rèn)為該觀測(cè)值與背景模型匹配,否則認(rèn)為該觀測(cè)值屬于前景點(diǎn)。2) 背景模型的更新。對(duì)于視頻序列中的每一個(gè)像素點(diǎn),其值在視頻序列中的變化可以看作是隨機(jī)過(guò)程,該隨機(jī)過(guò)程可以表示為式中為一幀圖像中坐標(biāo)為(x0,y0)的像素值,表示第幀圖像,從時(shí)間軸上看,這個(gè)隨即過(guò)程服從高斯分布：?jiǎn)胃咚鼓Ｐ偷慕＿^(guò)程如下:1) 初始化背景模型。3) 取排在中間的像素作為背景點(diǎn)。算法步驟為:1) 假設(shè)某一時(shí)間段內(nèi)有N幅圖像:。中值濾波是對(duì)單幀圖像空間采樣點(diǎn)上的濾波,并不能直接應(yīng)用于背景提取。3. 1. 2統(tǒng)計(jì)中值法統(tǒng)計(jì)中值法是由中值濾波的方法演變而來(lái)的。缺點(diǎn)是實(shí)際應(yīng)用中,某點(diǎn)在所取的視頻序列的灰度值并不像我們預(yù)期的那樣:既有灰度值較大的車輛經(jīng)過(guò),又有灰度值較小的車輛經(jīng)過(guò),而是某些地方在短時(shí)間內(nèi)通過(guò)的車輛的灰度值比較大,或者通過(guò)的車輛灰度值比較小,經(jīng)過(guò)平均之后得到的背景會(huì)出現(xiàn)亮暗分布不均勻的情況,比如上圖中遠(yuǎn)方的車輛。具體算法步驟為:1) 讀取一段視頻中連續(xù)的M幀圖像 :2) 對(duì)于每個(gè)像素點(diǎn)(x,y),由M幀圖像得到背景圖像式中表示第幀圖像,M是讀取的M幀視頻序列,B(x,y)是得到的背景圖像。均值法的中心思想是選取某點(diǎn)在一段視頻序列中灰度值的平均值代替該點(diǎn)的像素值。 3 實(shí)現(xiàn)過(guò)程 背景提取方法 均值法通過(guò)觀察視頻序列中連續(xù)的兩幀圖像,背景區(qū)域像素點(diǎn)的灰度值變化比較小,前景區(qū)域像素點(diǎn)的灰度值變化比較大,包括運(yùn)動(dòng)目標(biāo)當(dāng)前所在區(qū)域和原來(lái)所在區(qū)域。因此，通過(guò)對(duì)各檢測(cè)和跟蹤階段算法的學(xué)習(xí)比較，本文提出一種車流量統(tǒng)計(jì)的實(shí)現(xiàn)方案。 我們的研究目標(biāo)是實(shí)現(xiàn)基于視頻的交通流量統(tǒng)計(jì)系統(tǒng)，只需要對(duì)交通視頻中的車流進(jìn)行流量統(tǒng)計(jì)計(jì)數(shù)，在跟蹤階段不需要太復(fù)雜的預(yù)測(cè)算法。而如果在檢測(cè)階段使用性能良好的車輛檢測(cè)算法，對(duì)各車輛目標(biāo)實(shí)現(xiàn)準(zhǔn)確分割，那么同樣也可以簡(jiǎn)化后續(xù)跟蹤階段的困難。而分割結(jié)果的好壞，又直接決定了后續(xù)的車輛跟蹤階段算法的選取與處理復(fù)雜度。 通過(guò)在本章中對(duì)各種車輛檢測(cè)和車輛跟蹤技術(shù)的研究，可以看出，基于視頻的交通流量統(tǒng)計(jì)系統(tǒng)中，車輛的檢測(cè)和跟蹤算法其實(shí)存在很大的共性和交疊，而且兩部分的分界并不需十分清晰。在第二類非模型跟蹤方法中，又可以分為動(dòng)態(tài)輪廓的方法和基于時(shí)域的運(yùn)動(dòng)估計(jì)法。第一類模型法中常用的有基于車輛特征的模型法和利用2維與3維場(chǎng)景對(duì)應(yīng)關(guān)系進(jìn)行3D建模的模型法。而第二類方法在車輛檢測(cè)中的應(yīng)用常常有聚類和區(qū)域增長(zhǎng)為代表的區(qū)域分割法和邊緣線提取的邊緣檢測(cè)方法等，這些傳統(tǒng)圖像處理方法由于算法成熟穩(wěn)定，在一定的應(yīng)用環(huán)境中也有很好的效果。在第一類方法中，又可以分為檢測(cè)線法和光流場(chǎng)方法等。首先講述了基于視頻的車流量統(tǒng)計(jì)系統(tǒng)的特點(diǎn)和組成，然 后針對(duì)它的兩個(gè)核心模塊：車輛檢測(cè)(識(shí)別分割)和車輛跟蹤(統(tǒng)計(jì)計(jì)數(shù))模塊，分別詳細(xì)討論了各自目前的常用技術(shù)的算法原理和應(yīng)用優(yōu)缺點(diǎn)。而跟蹤部分是根據(jù)運(yùn)動(dòng)目標(biāo)的特征如形狀、運(yùn)動(dòng)矢量等信息，對(duì)進(jìn)入場(chǎng)景的車輛進(jìn)行跟蹤與統(tǒng)計(jì)計(jì)數(shù)。其中車輛檢測(cè)是整個(gè)車輛跟蹤過(guò)程的基礎(chǔ)，主要是對(duì)交通場(chǎng)景視頻序列中的車輛進(jìn)行分割，將有可能是車輛的區(qū)域從復(fù)雜的交通場(chǎng)景中提取出來(lái)，以便進(jìn)行車輛的跟蹤計(jì)算。 2．4 本章總結(jié) 基于視頻技術(shù)的車輛監(jiān)測(cè)技術(shù)由于其維護(hù)方便、易于實(shí)施的特點(diǎn)，近年來(lái)廣受關(guān)注。這種方法數(shù)學(xué)模型簡(jiǎn)單，運(yùn)算速度快，能滿足實(shí)時(shí)高速行進(jìn)車輛的跟蹤要求；同時(shí)考慮了新目標(biāo)的出現(xiàn)、舊目標(biāo)的消失、暫時(shí)靜止等情況。對(duì)研究Kalman跟蹤模型的改進(jìn)方法或?qū)ζヅ溥^(guò)程算法的改進(jìn)也是提高車輛運(yùn)動(dòng)跟蹤效果的有效途徑。但在實(shí)際應(yīng)用中，為了獲得對(duì)圖像內(nèi)容的理解，在建立攝像機(jī)模型時(shí)需要測(cè)量攝像機(jī)與交通場(chǎng)景之間詳細(xì)的空間幾何特征，計(jì)算很大而且獲得有難度；另外，當(dāng)攝像機(jī)由于外力產(chǎn)生角度變化時(shí)可能會(huì)造成檢測(cè)失敗，而且對(duì)于遮擋情況下也會(huì)發(fā)生誤檢。建立適當(dāng)?shù)哪Ｐ褪沁@種方法能夠獲得對(duì)圖像內(nèi)容理解的前提條件，預(yù)先建立的模型通常包括車輛的3D模型和攝像機(jī)模型車輛模型描述了車輛的先驗(yàn)知識(shí)(長(zhǎng)寬高等信息)。 近些年，第二種以模型為基礎(chǔ)的跟蹤算法漸漸興起。主動(dòng)模型(Active Models)考慮了圖像本身的一些性質(zhì)，如顏色、紋理、邊緣、形狀等，并通過(guò)求能量函數(shù)的最小 值來(lái)跟蹤目標(biāo)。另外，由于進(jìn)入攝像機(jī)拍攝范圍的車輛往往具有不同的角度和速度，因此往往會(huì)導(dǎo)致車輛在方向、位置、尺寸上產(chǎn)生很大的變化，因此單純以來(lái)特征提取對(duì)車輛進(jìn)行跟蹤具有相當(dāng)不確定性。 基于特征點(diǎn)的算法的優(yōu)點(diǎn)是通過(guò)特征提取，找到車輛的外形共性，不會(huì)產(chǎn)生像素陰影問(wèn)題；而且，即使對(duì)于輕微遮擋的車輛，很多特征也是可見的。 在早期的車輛跟蹤研究中，第一種以特征為基礎(chǔ)的跟蹤算法是研究的熱點(diǎn)。 關(guān)于模型法，針對(duì)車輛的形狀作為模板，實(shí)現(xiàn)中的跟蹤方法又可以分為以下兩種： 1)以被跟蹤車輛目標(biāo)特征為基礎(chǔ)的跟蹤算法； 2)通過(guò)計(jì)算二維運(yùn)動(dòng)區(qū)域與運(yùn)動(dòng)目標(biāo)三維模型的對(duì)應(yīng)關(guān)系進(jìn)行目標(biāo)跟蹤。而基于模型的車輛檢測(cè)方法的突出優(yōu)點(diǎn)是對(duì)于視頻幀的處理，不僅僅停留像素級(jí)別上，而是融合了對(duì)于圖像內(nèi)容的理解。而且初始化具有困難。因而有些系統(tǒng)采用復(fù)雜些的邊緣檢測(cè)算法如自動(dòng)輪廓獲取或snake模型1251，這些算法以求能量最小值對(duì)目標(biāo)進(jìn)行分割跟蹤，抗噪聲能力突出，并且可以用專門的處理器進(jìn)行實(shí)時(shí)處理，計(jì)算量相對(duì)較低。其跟蹤方法的主要思想是先初始勾勒出車輛的輪廓并且不斷地在后續(xù)幀更新輪廓進(jìn)而達(dá)到跟蹤的目的。 運(yùn)動(dòng)估計(jì)的方法有基于光流方程(OFE，Optical Flow Equation)的方法、基于塊的分析方法、像素遞歸法、貝葉斯法等。這種方法和其它車輛檢測(cè)跟蹤方法主要的不同在于分割過(guò)程 和跟蹤過(guò)程是同步進(jìn)行的，而不是在跟蹤過(guò)程前就有了明確的分割結(jié)果。它綜合考慮了空域和時(shí)域信息。根據(jù)處理方法不同，又可以分為以下幾類： 1)基于時(shí)域的運(yùn)動(dòng)估計(jì)法 基于時(shí)域的跟蹤方法就是在時(shí)域上跟蹤車輛檢測(cè)模塊檢測(cè)出的一個(gè)個(gè)像素連通塊，這些塊區(qū)域表示檢測(cè)出的車輛。車輛跟蹤與預(yù)測(cè)不是本文研究重點(diǎn)，所以只對(duì)目前常用的方法作概要介紹。在實(shí)際的跟蹤過(guò)程中，當(dāng)目標(biāo)運(yùn)動(dòng)較快時(shí)，這些跟蹤方法可能丟掉待匹配的對(duì)像，因此往往需要對(duì)具有一定特征的運(yùn)動(dòng)方式進(jìn)行預(yù)測(cè)。 2．3．1 概述 在車輛跟蹤技術(shù)中，根據(jù)對(duì)視頻幀中的信息的利用層次不同又可以將常用方法分為兩大類：提取像素信息結(jié)合鄰域特征，并以此為處理單位的非模型方法，以及通過(guò)對(duì)圖像內(nèi)容進(jìn)行理解后的模型處理方法。車輛跟蹤所依賴的仍然是視頻序列圖像的運(yùn)動(dòng)信息，它要求將同一輛車在不同時(shí)間的運(yùn)動(dòng)軌跡描述出來(lái)。 2．3 車輛跟蹤技術(shù) 對(duì)檢測(cè)出來(lái)的運(yùn)動(dòng)車輛進(jìn)行跟蹤，也是ITS系統(tǒng)研究的焦點(diǎn)之一。由于不同物體間存在相對(duì)運(yùn)動(dòng)，而屬于同一物體的區(qū)域則不存在這種相對(duì)運(yùn)動(dòng)，可以利用這一特征來(lái)初步合并區(qū)域再?gòu)臅r(shí)域分析區(qū)域塊的運(yùn)動(dòng)矢量進(jìn)一步合并得到ROI。 另外與k均值法相關(guān)的是區(qū)域合并問(wèn)題。由于在復(fù)雜的交通場(chǎng)景中具體需要分割出的車輛數(shù)目并非已知，因此事先預(yù)測(cè)可以正確分割圖像的區(qū)域數(shù)目是相對(duì)困難的。 最早的k均值法的分割算法由Kottle提出，其聚類準(zhǔn)則利用了像素的三個(gè)特征：橫縱坐標(biāo)和灰度值，其中灰度值可以將屬于不同物體的像素分離，而坐標(biāo)則決定了像素的歸屬區(qū)域。 k均值聚類法是在視頻交通檢測(cè)系統(tǒng)中，按照一定的聚類準(zhǔn)則將提取到的視頻序列中的數(shù)據(jù)分成幾個(gè)聚集的方法。在視頻交通場(chǎng)景的車輛檢測(cè)階段，由于視頻幀的特性并非是多個(gè)較均勻的連通區(qū)域，因此 區(qū)域增長(zhǎng)方法很少單獨(dú)使用。因此，很多相關(guān)研究也在致力于對(duì)這兩方面做出改進(jìn)。 由于HT是根據(jù)局部度量來(lái)計(jì)算全面描述參數(shù)，因而具有很強(qiáng)的容錯(cuò)性和魯棒性。 其基本思想是將圖像的空間域變換到參數(shù)空間，用大多數(shù)邊界點(diǎn)滿足某種參數(shù)形式來(lái)描述圖像中的曲線。 霍夫變換具有對(duì)噪聲的抗干擾性高，以及處理多個(gè)形狀的特點(diǎn)。 霍夫變換是一種用于區(qū)域邊界形狀描述的方法，經(jīng)典的霍夫變換常被用于直線段、圓和橢圓的檢測(cè)。因此典型的邊緣檢測(cè)算法遵循用鏈接過(guò)程把像素組裝成有意義的邊緣的方法。 理想情況下，上述采用梯度進(jìn)行車輛邊緣檢測(cè)應(yīng)該只能產(chǎn)生邊緣上的像素。 Canny邊緣檢測(cè)是一種比較新的邊緣檢測(cè)算子，具有很好的邊緣檢測(cè)性能。使用圖像的梯度來(lái)進(jìn)行邊緣檢測(cè)不但可以應(yīng)用到灰度圖像，而且可以通過(guò)計(jì)算RGB彩色空間中的梯度，直接將此方法應(yīng)用于拍攝到的彩色視頻中進(jìn)行車輛 檢測(cè)。由于邊緣信息即使是在各種昏暗的光照環(huán)境下仍 較為明顯，因此當(dāng)圖像亮度發(fā)生變化時(shí)表現(xiàn)也較為穩(wěn)健。 1)邊緣檢測(cè)法 邊緣是車輛目標(biāo)最基本的特征之一。 2．2．2．3 傳統(tǒng)圖像處理的檢測(cè)方法 在2．2節(jié)曾經(jīng)指出，在實(shí)現(xiàn)交通流量統(tǒng)計(jì)的系統(tǒng)中，往往將車輛檢測(cè)又細(xì)分候選區(qū)確定階段和車輛確認(rèn)階段，前者常常使用視頻幀中的時(shí)間信息利用目標(biāo)運(yùn)動(dòng)的特性來(lái)進(jìn)行區(qū)域確定，而后者常常是將確定出的候選區(qū)作為靜態(tài)圖像，對(duì)其中的車輛目標(biāo)進(jìn)行分割，做出精確提取。另外，三維物體的運(yùn)動(dòng)投影到二維圖像的亮度變化，本身由于部分信息的丟失而使光流法存在孔徑問(wèn)題(aperture problem即無(wú)法確定在與光流場(chǎng)等亮度線方向上的光流分量)和遮擋問(wèn)題，用光流法估算二維運(yùn)動(dòng)場(chǎng)會(huì)發(fā)生不確定，需要附加的假設(shè)模型來(lái)模擬二維運(yùn)動(dòng)場(chǎng)的結(jié)構(gòu)。雖然在理想情況下光流與運(yùn)動(dòng)場(chǎng)相對(duì)應(yīng)，但實(shí)際中也常有不對(duì)應(yīng)的時(shí)候，有時(shí)有運(yùn)動(dòng)未必產(chǎn)生光流，而有時(shí)即使沒(méi)有發(fā)生運(yùn)動(dòng)，在外部照明發(fā)生變化時(shí)，也可以觀測(cè)到光流。但也存在明顯的缺點(diǎn)：首先，光流與運(yùn)動(dòng)場(chǎng)雖然有密切的關(guān)系，但又不完全對(duì)應(yīng)。光流場(chǎng)法通常要進(jìn)行運(yùn)動(dòng)場(chǎng)計(jì)算、建立光流約束方程(optical flow constraint equation)和求解光流方程這幾步來(lái)完成。 假設(shè)運(yùn)動(dòng)可以由一系列映射參數(shù)描述，對(duì)應(yīng)于同樣的表面和三維運(yùn)動(dòng)的流量矢量將具有映射參數(shù)的相同集合。光流場(chǎng)反映了圖像上每一點(diǎn)灰度的變化趨勢(shì)，可看成是帶有灰度的像素點(diǎn)在圖像平面上運(yùn)動(dòng)而產(chǎn)生的瞬時(shí)速度場(chǎng)，也是一種對(duì)真實(shí)運(yùn)動(dòng)場(chǎng)的近似估計(jì)。 總的來(lái)說(shuō)，實(shí)際應(yīng)用中，背景差法是通過(guò)對(duì)兩幅攝自不同時(shí)刻的圖像進(jìn)行查分，由于時(shí)間間隔明顯長(zhǎng)于之前討論的幀差法，因此對(duì)于環(huán)境光照，陰影以及風(fēng)等自然因素的隨機(jī)變化非常敏感，背景圖像需不斷地被調(diào)整以迎合這些變化。同樣，這種方法也很大程度上依賴于閾值的選取，如果選擇不合理，背景圖像將很快變得不可用。 選擇更新法的基本思想是只將沒(méi)有檢測(cè)到運(yùn)動(dòng)的區(qū)域即真正的背景進(jìn)行更新。 公式(2．3)的含義即為：在序列圖像中在N幀作為當(dāng)前幀，下一幀即第N+1幀圖像對(duì)應(yīng)時(shí)刻的背景，是將第N+1幀之前的所有圖像的每個(gè)像素點(diǎn)取灰度平均值。 簡(jiǎn)單的多幀平均法是直接將前面若干輸入圖像的平均值作為當(dāng)前背景，更新背景的方法如下： 其中，Bpt為當(dāng)前更新的背景，Bpt1是前一幀背景，Cpt1，為上一幅場(chǎng)景圖像， Ⅳ為一個(gè)整數(shù)，K是指更新率。目前最常用的方法是多幀平均(Frame Averaging)39。因此，研究重點(diǎn)慢慢轉(zhuǎn)變?yōu)?，如何能夠更加有效的?duì)參考圖像進(jìn)行更新。因?yàn)閿z像機(jī)采集到的視頻圖像必然受到外界光照變化以及其它背景中非檢測(cè)對(duì)象的運(yùn)動(dòng)物體的影響，例如光照產(chǎn)生的車輛陰影及周邊建筑物陰影，背景中除車輛目標(biāo)外同樣運(yùn)動(dòng)的行人等?；诒尘安畹能囕v檢測(cè)的準(zhǔn)確性很大程度上依賴于背景圖像的可靠性。這種方法對(duì)前景和背景有較強(qiáng)對(duì)比的情況特別有效。不恰當(dāng)?shù)拈撝颠x取會(huì)造成車輛的誤檢測(cè)，閾值過(guò)高會(huì)造成漏檢，閾值過(guò)低又會(huì)把背景檢測(cè)為車輛或?qū)⑾噜徿囕v檢測(cè)為同一輛車。閾值技術(shù)的核心是區(qū)分出前景和背景?，F(xiàn)實(shí)中需要根據(jù)序列圖像的背景復(fù)雜度進(jìn)行選擇。 采用閾值進(jìn)行目標(biāo)分割的目的是把運(yùn)動(dòng)車輛和微小變化的背景分開。 這是一個(gè)最簡(jiǎn)單最基本的背景差方法，描述了背景差的基本思想，實(shí)際環(huán)境中，背景圖像并非理想靜止?fàn)顟B(tài)，由于環(huán)境的復(fù)雜和運(yùn)動(dòng)的多樣性，為滿足實(shí)際應(yīng)用的需要算法比這復(fù)雜的多。 ②背景差法 背景差法是選取一幅固定交通場(chǎng)景的背景圖像作為參考圖像，將當(dāng)前待檢測(cè)的視頻幀和該參考圖像逐像素相減作差分，如果參考圖像選取得當(dāng)，理想情況 下差值圖像中非0的像素點(diǎn)表示了運(yùn)動(dòng)物體，由此可以實(shí)現(xiàn)運(yùn)動(dòng)車輛的較準(zhǔn)確提 取。 幀差法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單且不易受環(huán)境光線變化的影響，但它不能檢測(cè)靜止車輛，且處理效果依賴于圖像采樣頻率以及被檢測(cè)車輛的車速。在采集的一系列圖像中連續(xù)三幀(或者更多的圖像)做兩兩差分。 除了使用濾波器，在最基本的單幀圖像間的差分方法外，人們自然的想到了多幀差分的方法。由于將連續(xù)幀差方法運(yùn)用于車輛運(yùn)動(dòng)檢測(cè)，效果往往不理想，因此有很多變種方法隨即產(chǎn)生。但在實(shí)際中，單純使用上述基本相鄰幀差分法也會(huì)產(chǎn)生不良后果。 在最簡(jiǎn)單的形式幀f(x,y,t1)和f(x,y,t2)之間的變化可用一個(gè)二值差分圖像表示化的結(jié)果。 在實(shí)際應(yīng)用中，運(yùn)動(dòng)的車輛目標(biāo)相對(duì)于路面平動(dòng)而且方向與于圖像平面平行，因而形成了簡(jiǎn)單的二維平移運(yùn)動(dòng)。 ①幀差法 幀差法是將視頻序列中兩幀(或多幀)連續(xù)圖像逐像素相減，以去除基本不動(dòng)的物體及背景。 2)基于視頻序列的灰度圖像差分檢測(cè)線法 經(jīng)過(guò)檢測(cè)線上的車輛使得序列灰度圖像在檢測(cè)線位置上的灰度值發(fā)生變化，通過(guò)對(duì)這種灰度的變化進(jìn)行圖像的差分計(jì)算，來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)車輛的檢測(cè)。首先，為了保證車輛之間的空隙路面能夠被攝像頭捕獲，以實(shí)現(xiàn)車輛確認(rèn)，攝像頭與路面必須形成90度左右夾角，而且必須安裝得很高才能拍到整個(gè)路面；其次，由于這種方法是直接進(jìn)行對(duì)應(yīng)區(qū)域顏色對(duì)比的，攝像頭不能晃動(dòng)，否則會(huì)導(dǎo)致對(duì)應(yīng)像素的位置不匹配而產(chǎn)生錯(cuò)誤。如果顏色差值小于某個(gè)閾值，則認(rèn)為時(shí)背景微變，使用新的背景色代替原先設(shè)定的參