【正文】 合高斯模型背景提取算法 ,當(dāng)讀入一定幀數(shù)的圖像之后認(rèn)為背景達(dá)到穩(wěn)定狀態(tài) ,讀入新的視頻幀時(shí) ,對(duì)當(dāng)前幀進(jìn)行判斷 ,如果像素點(diǎn)和穩(wěn)定背景圖像的像素點(diǎn)差值大于閾值 7,就對(duì)該像素點(diǎn)進(jìn)行更新 ,反之就不更新。GMM 背景更新模塊主要是實(shí)現(xiàn)本文的背景提取算法 。 第 2 章介紹了常用的三種目標(biāo)檢測(cè)算法 ,包括光流法、幀間差分法以及背景減除法 ,并且對(duì)光流法和幀間差分法進(jìn)行了實(shí)驗(yàn)仿真。 2 車(chē)流量統(tǒng)計(jì)算法相關(guān)研究 基于視頻的交通流量統(tǒng)計(jì)系統(tǒng)安裝調(diào)試方便，維護(hù)也 很簡(jiǎn)單，對(duì)路面和土木設(shè)施不會(huì)產(chǎn)生破壞，對(duì)道路交通狀況不會(huì)產(chǎn)生影響，具有直觀(guān)、可監(jiān)視范圍廣、 費(fèi)用較低等優(yōu)點(diǎn)，而且容易提供大量交通管理實(shí)時(shí)信息便于擴(kuò)展其它功能，因而 可廣泛應(yīng)用于交叉道口和公路干線(xiàn)的交通監(jiān)測(cè)系統(tǒng)中，具有廣闊的應(yīng)用前景。本章將針對(duì)基于視頻的交通流量統(tǒng)計(jì)系統(tǒng)中的車(chē)輛檢測(cè)和車(chē)輛跟蹤這兩大核心技術(shù)進(jìn)行研究。車(chē)輛檢測(cè)的重要性不單局限于視頻交通流量統(tǒng)計(jì)系統(tǒng)，對(duì)于整個(gè)視頻智能交通系統(tǒng)，車(chē)輛檢測(cè)也是運(yùn)用最為廣泛、同時(shí)也是最為基礎(chǔ)的一個(gè)分支。 而車(chē)輛確認(rèn)階段則是對(duì)上一處理過(guò)程中獲得的候選區(qū)域作進(jìn)一步處理，精確的提取出該區(qū)域中的車(chē)輛，確定其位置。 因此，車(chē)輛檢測(cè)算法和人們預(yù)想的 ITS 中達(dá)到的要求還有很大差距，無(wú)論是識(shí)別性能還是處理速度都還有很大的發(fā)展?jié)摿?。圖像差分法又分基于背景差分的方法和基于幀間差分的方法，前者定位精確、速度快，但缺乏合理的背景更新方法；后者可以提取出物體的運(yùn)動(dòng)信息，但由于相對(duì)運(yùn)動(dòng)與物體位置并非完全一致，存在檢測(cè)出的運(yùn)動(dòng)目標(biāo)位置不精確的情況。 2． 2． 2 核心技術(shù) 車(chē)輛檢測(cè)的目標(biāo)是：針對(duì)視頻幀，區(qū)分出運(yùn)動(dòng)的車(chē)輛目標(biāo)和道路背景。其中檢測(cè)線(xiàn)法又可以根據(jù)不同的規(guī)則再作細(xì)分。它以假設(shè)路面顏色與車(chē)輛顏色不同作為前提條件。首先，為了保證車(chē)輛之間的空隙路面能夠被攝像頭捕獲，以實(shí)現(xiàn)車(chē)輛確認(rèn)，攝像頭與路面必須 形成 90 度左右?jiàn)A角，而且必須安裝得很高才能拍到整個(gè)路面；其次，由于這種方法是直接進(jìn)行對(duì)應(yīng)區(qū)域顏色對(duì)比的，攝像頭不能晃動(dòng)，否則會(huì)導(dǎo)致對(duì)應(yīng)像素的位置不匹配而產(chǎn)生錯(cuò)誤。 ①幀差法 幀差法是將視頻序列中兩幀 (或多幀 )連續(xù)圖像逐像素相減，以去除基本不動(dòng)的物體及背景。 在最簡(jiǎn)單的形式幀 f(x,y,t1)和 f(x,y,t2)之間的變化可用一個(gè)二值差分圖像表 示化的結(jié)果。由于將連續(xù)幀差方法運(yùn)用于車(chē)輛運(yùn)動(dòng)檢測(cè)，效果往往不理想，因此有很多變種方法隨即產(chǎn)生。在采集的一系列圖像中連續(xù)三幀 (或者更多的圖像 )做兩兩差分。 ②背景差法 背景差法是選取一幅固定交通場(chǎng)景的背景圖像作為參考圖像，將當(dāng)前待檢測(cè)的視頻幀和該參考圖像逐像素相減作差 分，如果參考圖像選取得當(dāng)，理想情況 下差值圖像中非 0的像素點(diǎn)表示了運(yùn)動(dòng)物體，由此可以實(shí)現(xiàn)運(yùn)動(dòng)車(chē)輛的較準(zhǔn)確提 取。 采用閾值進(jìn)行目標(biāo)分割的目的是把運(yùn)動(dòng)車(chē)輛和微小變化的背景分開(kāi)。閾值技術(shù)的核心是區(qū) 分出前景和背景。這種方法對(duì)前景和背景有較強(qiáng)對(duì)比的情況特別有效。因?yàn)閿z像機(jī)采集到的視頻圖像必然受到外界光照變化以及其它背景中非檢測(cè)對(duì)象的運(yùn)動(dòng)物體的影響，例如光照產(chǎn)生的車(chē)輛陰影及周邊建筑物陰影，背景中除車(chē)輛目標(biāo)外同樣運(yùn)動(dòng)的行人等。目前最常用的 方法是多幀平均 (Frame Averaging)39。 公式 (2． 3)的含義即為：在序列圖像中在 N幀作為當(dāng)前幀，下一幀即第 N+1幀圖像對(duì)應(yīng)時(shí)刻的背景，是將第 N+1 幀之前的所有圖像 的每個(gè)像素點(diǎn)取灰度平均值。同樣，這種方法也很大程度上依賴(lài)于閾值的選取，如果選擇不合理，背景圖像將很快變得不可用。光流場(chǎng)反映了圖像上每一點(diǎn)灰度的變化趨勢(shì)，可看成是帶有灰度的像素點(diǎn)在圖像平面上運(yùn)動(dòng)而產(chǎn)生的瞬時(shí)速度場(chǎng)，也是一種對(duì)真實(shí)運(yùn)動(dòng)場(chǎng)的近似估計(jì)。光流場(chǎng)法通常要進(jìn)行運(yùn)動(dòng)場(chǎng)計(jì)算、建立光流約束方程 (optical flow constraint equation)和求解光流方程這幾步來(lái)完成。雖然在理想情況下光流與運(yùn)動(dòng)場(chǎng)相對(duì)應(yīng)，但實(shí)際中也常有不對(duì)應(yīng)的時(shí)候，有時(shí)有運(yùn)動(dòng)未必產(chǎn)生光流，而有時(shí)即使沒(méi)有發(fā)生運(yùn)動(dòng)，在外部照明發(fā)生變化時(shí)，也可以觀(guān)測(cè)到光流。 2． 2． 2． 3 傳統(tǒng)圖像處理的檢測(cè)方法 在 2． 2節(jié)曾經(jīng)指出，在實(shí)現(xiàn)交通流量統(tǒng)計(jì)的系統(tǒng)中，往往將車(chē)輛檢測(cè)又細(xì)分候選區(qū)確定階段和車(chē)輛確認(rèn)階段，前者常常使用視頻幀中的時(shí)間信息利用目標(biāo)運(yùn)動(dòng)的特性來(lái)進(jìn)行區(qū)域確定，而后者常常是將確定出的候選區(qū)作為靜態(tài)圖像，對(duì)其中的車(chē)輛目標(biāo)進(jìn)行分割，做出精確提取。由于邊緣信息即使是在各種昏暗的光照環(huán)境下仍 較為明顯，因此當(dāng)圖像亮度發(fā)生變化時(shí)表現(xiàn)也較為穩(wěn)健。 Canny 邊緣檢測(cè)是一種比較新的邊緣檢測(cè)算 子，具有很好的邊緣檢測(cè)性能。因此典型的邊緣檢測(cè)算法遵循用鏈接過(guò)程把像素組裝成有意義的邊緣的方法。 霍夫變換具有對(duì)噪聲的抗干擾性高，以及處理多個(gè)形狀的特點(diǎn)。 由于 HT 是根據(jù)局部度量 來(lái)計(jì)算全面描述參數(shù)，因而具有很強(qiáng)的容錯(cuò)性和魯棒性。在視頻交通場(chǎng)景的車(chē)輛檢測(cè)階段，由于視頻幀的特性并非是多個(gè)較均勻的連 通區(qū)域，因此 區(qū)域增長(zhǎng)方法很少單獨(dú)使用。 最早的 k均值法的分割算法由 Kottle 提出，其聚類(lèi)準(zhǔn)則利用了像素的三個(gè)特征：橫縱坐標(biāo)和灰度值，其中灰度值可以將屬于不同物體的像素分離，而坐標(biāo)則決定了像素的歸屬區(qū)域。 另外與 k 均值法相關(guān)的是區(qū)域合并問(wèn)題。 2． 3 車(chē)輛跟蹤技術(shù) 對(duì)檢測(cè) 出來(lái)的運(yùn)動(dòng)車(chē)輛進(jìn)行跟蹤，也是 ITS 系統(tǒng)研究的焦點(diǎn)之一。 2． 3． 1 概述 在車(chē)輛跟蹤技術(shù)中，根據(jù)對(duì)視頻幀中的信息的利用層次不同又可以將常用方法分為兩大類(lèi)：提取像素信息結(jié)合鄰域特征，并以此為處理單位的非模型方法，以及通過(guò)對(duì)圖像內(nèi)容進(jìn)行理解后的模型處理方法。車(chē)輛跟蹤與預(yù)測(cè)不是本文研究重點(diǎn)，所以只對(duì) 目前常用的方法作概要介紹。它綜合考慮了空域和時(shí)域信息。 運(yùn)動(dòng)估計(jì)的方法有基于光流方程 (OFE， Optical Flow Equation)的方法、基 于塊的分析方法、像素遞歸法、貝葉斯法等。因而有些系統(tǒng)采用復(fù)雜些的邊緣檢測(cè)算法如自動(dòng)輪廓獲取或 snake 模型 1251，這些算法以求能量最小值對(duì)目標(biāo)進(jìn)行分割 跟蹤，抗噪聲能力突出，并且可以用專(zhuān)門(mén)的處理器進(jìn)行實(shí)時(shí)處理，計(jì)算量相對(duì)較低。而基于模型的車(chē)輛檢測(cè)方法的突出優(yōu)點(diǎn)是對(duì)于視頻幀的處理，不僅僅停留像素 級(jí)別上，而是融合了對(duì)于圖像內(nèi)容的理解。 在早期的車(chē)輛跟蹤研究中，第一種以特征為基礎(chǔ)的跟蹤算法是研究的熱點(diǎn)。另外，由于進(jìn)入攝像機(jī)拍攝范圍的 車(chē)輛往往具有不同的角度和速度，因此往往會(huì)導(dǎo)致車(chē)輛在方向、位置、尺寸上產(chǎn)生很大的變化，因此單純以來(lái)特征提取對(duì)車(chē)輛進(jìn)行跟蹤具有相當(dāng)不確定性。 近些年，第二種以模型為基礎(chǔ)的跟蹤算法漸漸興起。但在實(shí)際應(yīng)用中，為了獲得對(duì)圖像內(nèi)容的理解，在建立 攝像機(jī)模型時(shí)需要測(cè)量攝像機(jī)與交通場(chǎng)景之間詳細(xì)的空間幾何特征，計(jì)算很大而且獲得有難度；另外，當(dāng)攝像機(jī)由于外力產(chǎn)生角度變化時(shí)可能會(huì)造成檢測(cè)失敗，而且對(duì)于遮擋情況下也會(huì)發(fā)生誤檢。這種方法數(shù)學(xué)模型簡(jiǎn)單，運(yùn)算速度快，能滿(mǎn)足實(shí)時(shí)高速行進(jìn)車(chē)輛的跟蹤要求；同時(shí)考慮了新目標(biāo)的出現(xiàn)、舊目標(biāo)的消失、暫時(shí)靜止等情況。其中車(chē)輛檢測(cè)是整個(gè)車(chē)輛跟蹤過(guò)程的基礎(chǔ)，主要是對(duì)交通場(chǎng)景視頻序列中的車(chē)輛進(jìn)行分割，將有可能是車(chē)輛的區(qū)域從復(fù)雜的交通場(chǎng)景中提取出來(lái)，以便進(jìn)行車(chē)輛的跟蹤計(jì)算。 2． 4 本章總結(jié) 基于視頻技術(shù)的車(chē)輛監(jiān)測(cè)技術(shù)由于其維護(hù)方便、易于實(shí)施的特點(diǎn)，近年來(lái)廣受關(guān)注。對(duì)研究 Kalman 跟蹤模型的改進(jìn)方法或?qū)ζヅ溥^(guò)程算法的改進(jìn)也是提高車(chē)輛運(yùn)動(dòng)跟蹤效果的有效途徑。建立適當(dāng)?shù)哪Ｐ褪沁@種方法能夠獲得對(duì)圖像內(nèi)容理解的前提條件，預(yù)先建立的模型通常包括車(chē)輛的 3D 模型和攝像機(jī)模型車(chē)輛模型描述了車(chē)輛的先驗(yàn)知識(shí) (長(zhǎng)寬高等信息 )。主動(dòng)模型 (Active Models)考慮了圖像本身的一些性質(zhì)，如顏色、紋理、邊緣、形狀等，并通過(guò)求能量函數(shù)的最小 值來(lái)跟蹤目標(biāo)。 基于特征點(diǎn)的算法的優(yōu)點(diǎn)是通過(guò)特征提取，找到車(chē)輛的外形共性，不會(huì)產(chǎn)生像素陰影問(wèn)題；而且，即使對(duì)于輕微遮擋的車(chē)輛，很多特征也是可見(jiàn)的。 關(guān)于模型法，針對(duì)車(chē)輛的形狀作為模板，實(shí)現(xiàn)中的跟蹤方法又可以分為以下兩種： 1)以被跟蹤車(chē)輛目標(biāo)特征為基礎(chǔ)的跟蹤算法； 2)通過(guò)計(jì)算二維運(yùn)動(dòng)區(qū)域與運(yùn)動(dòng)目標(biāo)三維模型的對(duì)應(yīng)關(guān)系進(jìn)行目標(biāo)跟蹤。而且初始化具有困難。其跟蹤方法的主要思想是先初始勾勒出車(chē)輛的輪廓并且不斷地在后續(xù)幀更新輪廓進(jìn)而達(dá)到跟蹤的目的。這種方法和其它車(chē)輛檢測(cè)跟蹤方法主要的不同在于分割過(guò)程 和跟蹤過(guò)程是同步進(jìn)行的，而不是在跟蹤過(guò)程前就有了明確的分割結(jié)果。根據(jù)處理方法不同，又可以分為以下幾類(lèi)： 1)基于時(shí)域的運(yùn)動(dòng)估計(jì)法 基于時(shí)域的跟蹤方法就是在時(shí)域上跟蹤車(chē)輛檢測(cè)模塊檢測(cè)出的一個(gè)個(gè)像素連通塊，這些塊區(qū)域表示檢測(cè)出的車(chē)輛。在實(shí)際的跟蹤過(guò)程中，當(dāng)目標(biāo)運(yùn)動(dòng)較快時(shí)，這些跟蹤方法可能丟掉待匹配的對(duì)像，因此往往需要對(duì)具有一定特征的運(yùn)動(dòng)方式進(jìn)行預(yù)測(cè)。車(chē)輛跟蹤所依賴(lài)的仍然是視頻序列圖像的運(yùn)動(dòng)信息，它要求將同一輛車(chē)在不同時(shí)間的運(yùn)動(dòng)軌跡描述出來(lái)。由于不同物體間存在相對(duì)運(yùn)動(dòng)，而屬于同一物體的區(qū)域則不存在這種相對(duì)運(yùn)動(dòng)，可以利用這一特征來(lái)初步合并區(qū)域再?gòu)臅r(shí)域分析區(qū)域塊的運(yùn)動(dòng)矢量進(jìn)一步合并得到 ROI。由于在復(fù)雜的交通場(chǎng)景中具體需要分割出的車(chē)輛數(shù)目并非已知，因此事先預(yù)測(cè)可以正確分割圖像的區(qū)域數(shù)目是相對(duì)困難的。 k均值聚類(lèi)法是在視頻交通檢測(cè)系統(tǒng)中，按照一定的聚類(lèi)準(zhǔn)則將提取到的視頻序列中的數(shù)據(jù)分成幾個(gè)聚集的方法。因此，很多相關(guān)研究也在致力于對(duì)這兩方面做出改進(jìn)。 其基本思想是將圖像的空間域變換到參數(shù)空間，用大多數(shù)邊界點(diǎn)滿(mǎn)足某種參數(shù)形式來(lái)描述圖像中的曲線(xiàn)。 霍夫變換是一種用于區(qū)域邊界形狀描述的方法，經(jīng)典的霍夫變換常被用于直線(xiàn)段、圓 和橢圓的檢測(cè)。 理想情況下，上述采用梯度進(jìn)行車(chē)輛邊緣檢測(cè)應(yīng)該只能產(chǎn)生邊緣上的像素。使用圖像的梯度來(lái)進(jìn)行邊緣檢測(cè)不但可以應(yīng)用到灰度圖像，而且可以通過(guò)計(jì)算 RGB 彩色空間中的梯度，直接將此方法應(yīng)用于拍攝到的彩色視頻中進(jìn)行車(chē)輛 檢測(cè)。 1)邊緣檢測(cè)法 邊緣是車(chē)輛目標(biāo)最基本的特征之一。另外，三維物體的運(yùn)動(dòng)投影到二維圖像的亮度變化，本身由于部 分信息的丟失而使光流法存在孔徑問(wèn)題 (aperture problem 即無(wú)法確定在與光流場(chǎng)等亮度線(xiàn)方向上的光流分量 )和遮擋問(wèn)題，用光流法估算二維運(yùn)動(dòng)場(chǎng)會(huì)發(fā)生不確定，需要附加的假設(shè)模型來(lái)模擬二維運(yùn)動(dòng)場(chǎng)的結(jié)構(gòu)。但也存在明顯的缺點(diǎn)：首先，光流與運(yùn)動(dòng)場(chǎng)雖然有密切的關(guān)系，但又不完全對(duì)應(yīng)。 假設(shè)運(yùn)動(dòng)可以由一系列映射參數(shù)描述，對(duì)應(yīng)于同樣的表面和三維運(yùn)動(dòng)的流量矢量將具有映射參數(shù)的相同集合。 總的來(lái)說(shuō)，實(shí)際應(yīng)用中，背景差法是通過(guò)對(duì)兩幅攝自不同時(shí)刻的圖像進(jìn)行查分，由于時(shí)間間隔明顯長(zhǎng)于之前討論的幀差法，因此對(duì)于環(huán)境光照，陰影以及風(fēng)等自然因素的隨機(jī)變化非常敏感，背景圖像需不斷地被調(diào)整以迎合這些變化。 選擇更新法的基本思想是只將沒(méi)有檢測(cè)到運(yùn)動(dòng)的區(qū)域即真正的背景進(jìn)行更新。 簡(jiǎn)單的多幀平均法是直接將前面若干輸入圖像的平均值作為當(dāng)前背景，更新背景的方法如下： 其中， Bpt 為當(dāng)前更新的背景， Bpt1 是前一幀背景， Cpt1，為上一幅場(chǎng)景圖像， Ⅳ為一個(gè)整數(shù)， K是指更新率。因此，研究重點(diǎn)慢慢轉(zhuǎn)變?yōu)?，如何能夠更加有效的?duì)參考圖像進(jìn)行更新。基于背景差的車(chē)輛檢測(cè)的準(zhǔn)確性很大程度上依賴(lài)于背景圖像的可靠性。不恰當(dāng)?shù)拈撝颠x取會(huì)造成車(chē)輛的誤檢測(cè)，閾值過(guò)高會(huì)造成漏檢，閾值過(guò)低又會(huì)把背景檢測(cè)為車(chē)輛或?qū)⑾噜徿?chē)輛檢測(cè)為同一輛車(chē)?，F(xiàn)實(shí)中需要根據(jù)序列圖像的背景復(fù)雜度進(jìn)行選擇。 這是一個(gè)最簡(jiǎn)單最基本的背景差方法，描述了背景差的基本思想，實(shí)際環(huán)境中，背景圖像并非理想靜止?fàn)顟B(tài)，由于環(huán)境的復(fù)雜和運(yùn)動(dòng)的多樣性，為滿(mǎn)足實(shí)際應(yīng)用的需要算法比這復(fù)雜的多。 幀差法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單且不易受環(huán)境光線(xiàn)變化的影響，但它不能檢測(cè)靜止車(chē)輛，且處理效果依賴(lài)于圖像采樣頻率以及被檢測(cè)車(chē)輛的車(chē)速。 除了使用濾波器，在最基本的單幀圖像間的差分方法外，人們自然的想到了多幀差分的方法。但在實(shí)際中，單純使用上述基本相鄰幀差分法也會(huì)產(chǎn)生不良后果。 在實(shí)際應(yīng)用中，運(yùn)動(dòng)的車(chē)輛目標(biāo)相對(duì)于路面平動(dòng)而且方向與于圖像平面平行，因而形成了簡(jiǎn)單的二維平移運(yùn)動(dòng)。 2)基于視頻序列的灰度圖像差分檢測(cè)線(xiàn)法 經(jīng)過(guò)檢測(cè)線(xiàn)上的車(chē)輛使得序列灰度圖像在檢測(cè)線(xiàn)位置上的灰度值發(fā)生變化，通過(guò)對(duì)這種灰度的變化進(jìn)行圖像的差分計(jì)算，來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)車(chē)輛的檢測(cè)。如果顏色差值小于某個(gè)閾值，則認(rèn)為時(shí)背景微變，使用新的背景色代替原先設(shè)定的參考色；如果對(duì)比后的顏色差值大于與先設(shè)好的閾值，那么認(rèn)為有車(chē)輛通過(guò)，可以據(jù)此實(shí)現(xiàn)車(chē)輛的通行檢測(cè)。例如均值聚類(lèi)法、邊緣檢測(cè)法，區(qū)域分割法等，這些方法雖然沒(méi)有