【正文】 運(yùn)動點團(tuán)位置關(guān)系判斷是否為同一運(yùn)動物體。首先是對運(yùn)動點團(tuán)二值圖像做數(shù)學(xué)形態(tài)學(xué)處理，去除微小的噪聲物體。第五章講述了關(guān)注區(qū)的提取方法和利用關(guān)注區(qū)數(shù)據(jù)計算道路繁忙度的方法。提取運(yùn)動前景像素除了上面所述背景差法外，還可以采用相鄰兩幀圖像作差的幀間差法[6]，第四章接著講述幀間差法，并將其與背景差法比較。第四章講述并比較了每一幀圖像與背景圖像作差的不同方法。背景圖像提取出來后，將每一幀圖像與背景圖像作差，然后二值化，得到前景像素構(gòu)成的運(yùn)動點團(tuán)圖像，這就是背景差法。運(yùn)動目標(biāo)檢測與跟蹤的流程有三個層次，如圖一[4]。第二章 運(yùn)動目標(biāo)檢測和跟蹤的流程在道路視頻圖像序列中獲得車輛的速度，可以使用簡單的方法，就是在圖像中的道路位置設(shè)置虛擬檢測線，模擬感應(yīng)線圈，根據(jù)虛擬檢測線上的像素顏色的變化得到經(jīng)過虛擬檢測線的車輛的速度，同時也可以對經(jīng)過虛擬檢測線的車輛計數(shù)[3]。研究以道路交通作為實驗場景，單攝像頭且攝像頭固定的情況。這極大的增加了方便性和靈活性。這種方法，需要在檢測路段埋入感應(yīng)線圈，這需要對道路施工，會影響交通，嚴(yán)重影響道路壽命，并且感應(yīng)線圈設(shè)備容易被重型車輛壓壞，維護(hù)起來又要對道路施工，非常麻煩[1]。本文還通過實驗分析比較了基于灰度圖像序列的運(yùn)動目標(biāo)檢測與跟蹤、基于邊緣圖像序列的運(yùn)動目標(biāo)檢測與跟蹤，它們都沒有基于彩色圖像序列的運(yùn)動目標(biāo)檢測與跟蹤效果好。在運(yùn)動點團(tuán)提取的陰影處理步驟提出了改進(jìn)的基于RGB空間的陰影處理算法。而如果采用攝像頭拍攝的道路視頻，再用計算機(jī)軟件處理的方法，則可以極大的增加方便性和靈活性。本文運(yùn)動目標(biāo)檢測與跟蹤研究如何讓計算機(jī)從視頻圖像序列中獲得物體運(yùn)動數(shù)據(jù)。在運(yùn)動點團(tuán)位置提取步驟提出了改進(jìn)的線段編碼算法。最后，本文得到了一整套運(yùn)動目標(biāo)檢測與跟蹤的方法，它們的健壯性和實時性都符合實際運(yùn)用的要求。隨著計算機(jī)技術(shù)的發(fā)展，道路交通數(shù)據(jù)獲取不再需要復(fù)雜的線圈設(shè)備了。如何讓計算機(jī)從視頻圖像序列中獲得道路交通數(shù)據(jù)，例如車輛的速度等，近年來很多人對此展開了研究。輸入是RGB色彩空間的視頻圖像序列，目標(biāo)是實現(xiàn)對視頻圖像序列中運(yùn)動物體的跟蹤，獲得其在圖像坐標(biāo)下的速度。這種方法有很大的局限性。每個層次再細(xì)分，可以得到圖二的幾個步驟。背景提取有很多種算法，第三章將詳述與比較各種背景提取算法，并提出一種改進(jìn)的算法，實驗證明改進(jìn)的算法有更好的效果。由于陰影的存在，背景差法會把陰影作為運(yùn)動物體的一部分，而陰影會把不同的運(yùn)動物體連成一片，影響之后的處理，因此需要對陰影做特別處理。圖像會隨時間而變化，得到前景和背景像素后，就可以對背景圖像做更新，第四章最后講述背景更新的策略。前面講述的處理方法都是基于圖像像素的，屬于圖一中的圖像像素層，這一層處理的結(jié)果是運(yùn)動點團(tuán)二值圖像，1代表運(yùn)動前景像素，0代表背景像素。然后提取運(yùn)動點團(tuán)的位置和大小。還有一種運(yùn)動跟蹤的方法[7]：在當(dāng)前運(yùn)動點團(tuán)鄰域搜索匹配下一幀中的運(yùn)動點團(tuán)，這種方法不需要提取運(yùn)動點團(tuán)的位置和大小，可以稱之為基于像素的運(yùn)動跟蹤，然而圖像的像素數(shù)量是很大的，這種像素點搜索匹配的方法所需的時間遠(yuǎn)遠(yuǎn)多于我們的方法，因此我們沒有采用這種像素點搜索匹配的方法。這一章還比較了基于邊緣圖像的運(yùn)動跟蹤與基于原始的彩色圖像的運(yùn)動跟蹤的效果，指出了基于邊緣圖像的運(yùn)動跟蹤差于基于原始彩色圖像的運(yùn)動跟蹤的原因。下文所說的“實驗數(shù)據(jù)一”是交通管理部門攝制的15秒道路視頻，圖三是其中的一幀；“實驗數(shù)據(jù)二”是我們用數(shù)碼相機(jī)到天橋上攝制的23秒道路視頻，圖四是其中的一幀。背景提取的目標(biāo)就是根據(jù)視頻圖像序列，找出圖像中每一點的背景值。背景會隨著時間的變化而發(fā)生變化，例如光照變化導(dǎo)致背景亮度、色度變化；運(yùn)動物體停止運(yùn)動成為背景的一部分；又如背景的一部分運(yùn)動起來成為運(yùn)動前景等。 彩色圖像的背景提取原始彩色圖像的背景提取，基本思想是，圖像中的某個像素按時間抽樣，其作為背景像素的時間比作為運(yùn)動前景的時間長，即其作為背景的概率比作為前景的概率大，而且背景和前景在顏色上和亮度上都有很大不同。 基于均值的彩色圖像背景提取這是背景提取的最簡單的方法。同時，求取平均值還可以在一定程度上抑制噪聲。圖五 實驗數(shù)據(jù)一基于均值的背景圖像圖六 實驗數(shù)據(jù)二基于均值的背景圖像 改進(jìn)的基于均值的彩色圖像背景提取。標(biāo)準(zhǔn)差計算公式為，c=r,g,b表示矢量的紅、綠、藍(lán)三種顏色分量，X0是樣本的平均值。；。因為噪聲點的灰度與非噪聲點差別大，而且圖像有空間局部性，也就是說，對于沒有被噪聲污染的圖像，里面的每一個像素和它相鄰的像素的灰度差別不大?？梢苑謩e將這三種顏色的灰度圖做中值濾波，然后合成。這樣濾波結(jié)果的每一個像素都是原始彩色圖像中真實存在的像素，避免了同一個像素的三個顏色分量來源于不同的像素導(dǎo)致的顏色扭曲。視頻中的某個像素對時間采樣，背景出現(xiàn)的次數(shù)比前景多，可以認(rèn)為前景是“噪聲”，這樣我們就可以對一個像素在時間上采樣得到的樣本進(jìn)行濾波——對它們排序，噪聲將排在兩邊，即前景排在兩邊，排在中部的是背景，取排在中間的像素作為背景結(jié)果[9]。對n個元素排序的時間復(fù)雜度是O(nlogn)或者O(n2)，取決于算法，其不是線性的，隨著n的增大迅速增大。關(guān)鍵問題是在不知道前景的情況下，如何決定哪些樣本不大可能是背景。在一定的時間段中，采樣得到若干有一定時間間隔的圖像對，每個圖像對找共同區(qū)域，然后對共同區(qū)域求平均值得到最后的背景圖像[10]。這個閾值可以和第四章運(yùn)動點團(tuán)前景提取的二值化閾值相同，因為它們的內(nèi)涵都是前景和背景差別的量度。詳細(xì)算法如下：1)在某時間段采樣得到N個圖像幀F(xiàn)i, i=1,2…N；2)對每一個像素點(x,y): a)集合A={}； b)對每一個圖像對Fi(x,y)和Fi+N/2(x,y)，i=1,2…N/2 如果，則將Fi(x,y)和Fi+N/2(x,y)加入集合A，其中Ta是閾值； c)計算集合A中所有元素的均值作為像素點(x,y)的背景值。此算法每個像素計算均值的集合（即上述集合A）的大小的變化范圍要比改進(jìn)的基于均值的方法大得多，這導(dǎo)致了其提取出的背景圖像在這幾種方法中最不平滑。不同采樣率意味著處理的總圖像數(shù)不同，采樣率與時間（這里10秒）之積就是總圖像數(shù)。圖十三 基于均值的彩色圖像背景提取時間與采樣率關(guān)系圖圖十四 改進(jìn)的基于均值的彩色圖像背景提取時間與采樣率關(guān)系圖圖十五 基于中值濾波的彩色圖像背景提取時間與采樣率關(guān)系圖圖十六 基于共同區(qū)域的彩色圖像背景提取時間與采樣率關(guān)系圖從表一和圖十三至圖十六可以看到，背景提取所需時間隨采樣率的增加而增加；除了基于中值濾波的背景提取方法外，其他方法處理時間隨采樣率增加線性增加；而基于中值濾波的背景提取方法，處理時間隨采樣率增加顯著增長；基于均值的背景提取方法和基于共同區(qū)域的背景提取方法所需時間差別不大；改進(jìn)的基于均值的背景提取方法比基于均值和基于共同區(qū)域的方法需要時間多。實驗數(shù)據(jù)一所有376幀圖像得到的標(biāo)準(zhǔn)圖像見圖十七；實驗數(shù)據(jù)二所有576幀圖像得到的標(biāo)準(zhǔn)圖像見圖十八。峰值信噪比的計算公式如下：其中，對數(shù)中分子的255表示像素灰度最大的差值，在256級灰度中，這個最大差值是255（2550=255）；對數(shù)中分母的M是圖像的像素總數(shù)，F(xiàn)1(i)、F2(i)表示兩幅圖像中的某個像素，整個分母表示兩幅圖像的所有對應(yīng)像素的差的平方的平均值，如果是彩色圖像，“對應(yīng)像素的差的平方”用對應(yīng)像素矢量的分量的差的平方和除以3計算。實驗數(shù)據(jù)一不同方法在不同采樣率下得到的背景的圖像與標(biāo)準(zhǔn)背景圖像比較的PSNR見表二。實驗數(shù)據(jù)一不同方法的PSNR隨處理時間變化關(guān)系圖如圖十九。圖二十一 實驗數(shù)據(jù)二不同提取背景的算法PSNR與處理時間關(guān)系圖將圖二十一中橫坐標(biāo)[0，10]區(qū)間部分作局部放大，得到圖二十二。也就是說，在背景提取的時候，我們不需要很高的采樣率即可得到不錯的背景圖像。從提取出來的背景圖像的人眼視覺效果來說，基于共同區(qū)域的算法的背景圖像最不平滑。而背景提取對實時性本來要求就不高，不需要像物體運(yùn)動跟蹤那樣對所有輸入幀都進(jìn)行處理，這種方法完全能達(dá)到應(yīng)用的要求。最簡單的將彩色圖像轉(zhuǎn)換成灰度圖像的方法是將這三個分量取平均值。轉(zhuǎn)換公式是[11]R、G、B分別表示紅、綠、藍(lán)三種顏色分量的灰度值。圖二十三至圖二十六分別是實驗數(shù)據(jù)一的灰度圖像序列的基于均值的背景提取、改進(jìn)的基于均值的背景提取、基于中值濾波的背景提取和基于共同區(qū)域的背景提取結(jié)果。 彩色圖像的邊緣提取對灰度圖像，邊緣提取就是求每個像素的梯度，以梯度大小作為邊緣的量度。圖二十七和二十八是Prewitt邊緣算子，圖二十九和三十是Sobel邊緣算子。然而，這么做就將彩色信息給丟失了，彩色圖像的邊緣，并不是三個顏色分量邊緣的簡單疊加。將這個式子擴(kuò)展到矢量空間，認(rèn)為一個像素的梯度是它附近三對像素的矢量歐氏距離的和，即可得到式子中f(x,y)是圖像中像素矢量，||ab||是計算矢量a和b的歐氏距離。 邊緣圖像的背景提取因為邊緣圖像是灰度圖像，前面所述的所有圖像背景提取的算法都能用在邊緣圖像的背景提取上。圖三十一 ColorPrewitt邊緣圖像序列的基于均值的背景圖像圖三十二 ColorSobel邊緣圖像序列的基于均值的背景圖像圖三十三 ColorPrewitt邊緣圖像序列的改進(jìn)的基于均值的背景圖像圖三十四 ColorSobel邊緣圖像序列的改進(jìn)的基于均值的背景圖像第四章 運(yùn)動點團(tuán)提取和背景更新運(yùn)動點團(tuán)提取也稱背景去除、背景抑制，就是把每一幀的非背景部分提取出來。陰影的處理是運(yùn)動點團(tuán)提取這一步重要的一環(huán)。運(yùn)動點團(tuán)提取可以不采用背景差法，而采用幀間差法，指出其存在的問題。因此背景需要不斷的更新。 基于馬氏距離的運(yùn)動點團(tuán)提取設(shè)隨機(jī)矢量x的均值是，協(xié)方差矩陣是，則x與的馬氏距離是對彩色圖像的像素矢量，假設(shè)每一個顏色分量相互獨(dú)立，則不同分量的協(xié)方差為0，即協(xié)方差矩陣非對角線元素都為0，對角線元素就是對應(yīng)分量的方差，上式可以寫成[14]、綠、藍(lán)三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍(lán)三種顏色分量，、分別表示紅、綠、藍(lán)三種顏色分量的方差，也就是矩陣的對角元素。接下來就是閾值的確定。馬氏距離提取運(yùn)動點團(tuán)的具體算法如下：1)設(shè)背景圖像是B (x,y)，協(xié)方差是(x,y)2)遍歷當(dāng)前幀的每一個像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當(dāng)前幀的運(yùn)動點團(tuán)圖像。圖三十五 基于馬氏距離的運(yùn)動點團(tuán)提取結(jié)果，閾值Tb=1圖三十六 基于馬氏距離的運(yùn)動點團(tuán)提取結(jié)果，閾值Tb=5圖三十七 基于馬氏距離的運(yùn)動點團(tuán)提取結(jié)果，閾值Tb=9將實驗結(jié)果和基于歐氏距離的運(yùn)動點團(tuán)提取實驗結(jié)果（）相比，可以看到其效果并不好。 基于歐氏距離的運(yùn)動點團(tuán)提取兩個彩色像素矢量的歐氏距離如下：、綠、藍(lán)三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍(lán)三種顏色分量。歐氏距離提取運(yùn)動點團(tuán)的具體算法如下：1)設(shè)背景圖像是B (x,y)2)遍歷當(dāng)前幀的每一個像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當(dāng)前幀的運(yùn)動點團(tuán)圖像。其中圖三十八、圖三十九閾值Ta=25，圖四十、圖四十一閾值Ta=45。圖四十二 實驗數(shù)據(jù)一的基于歐氏距離的運(yùn)動點團(tuán)提取實驗結(jié)果，Ta=36圖四十三 實驗數(shù)據(jù)二的基于歐氏距離的運(yùn)動點團(tuán)提取實驗結(jié)果，Ta=36 陰影處理從上一節(jié)的圖中可以看到，運(yùn)動物體都帶有很大的陰影。下面分別講述。定義域值，當(dāng)時，像素夾角差別不大，兩像素色度相似，否則兩像素色度不相似。通過調(diào)整閾值重復(fù)實驗，得到最佳閾值=，Tc=60。而且在計算夾角的時候，需要計算圖像像素的長度（||F(x,y)||），因此對于每一幀的每一個像素都需要計算它的長度，計算量很大。因此我們用(F(x,y)B(x,y))與B(x,y)的夾角來表示這兩個像素色度的接近程度定義閾值，當(dāng)時，兩像素色度相似，否則兩像素色度不相似。改進(jìn)的基于RGB空間的陰影處理算法具體如下：1)B(x,y)是背景圖像，F(xiàn)(x,y)是當(dāng)前處理的幀2)對前一步（運(yùn)動點團(tuán)提?。┨崛〕龅那熬跋袼攸cF(x,y)：如果同時滿足 則此像素是陰影而不是前景。圖四十六 實驗數(shù)據(jù)一改進(jìn)的基于RGB空間的陰影處理結(jié)果圖四十七 實驗數(shù)據(jù)二改進(jìn)的基于RGB空間的陰影處理結(jié)果 基于HSI空間的陰影處理判斷陰影的根據(jù)是陰影與背景在色度上相似，在亮度上陰影比背景暗。對于像素點F(x,y)和對應(yīng)背景點B(x,y)，F(xiàn)(x,y)是陰影的條件是：1)F(x,y)和B(x,y)的色度分量的距離小于閾值Th；2) F(x,y)的亮度分量比B(x,y)的小，且它們最多相差閾值Ti。將圖四十八、圖四十九和圖四十六、圖四十七比較，可以看到，基于HSI空間和基于RGB空間的陰影處理效果差不多，說明在RGB空間中就能很好的提取出色度、亮度等信息，沒有必要為了做陰影處理而將圖像從RGB空間轉(zhuǎn)換到HSI空間，可以省去彩色空間轉(zhuǎn)化的計算開銷。求兩個像素的歐氏距離就是求像素灰度差的絕對值。圖五十 實驗數(shù)據(jù)一的灰度圖像序列運(yùn)動點團(tuán)提取結(jié)果圖五十一 實驗數(shù)據(jù)二的灰度圖像序列運(yùn)動點團(tuán)提取結(jié)果這兩幅圖與基于彩色圖像的運(yùn)動點團(tuán)提取未處理陰影前的圖像（圖四十二、圖四十三）很相似。對數(shù)據(jù)一實驗的統(tǒng)計結(jié)果見表四，對數(shù)據(jù)二實驗的統(tǒng)計結(jié)果見表五。前面我們已經(jīng)知道，Te=21是基于灰度的點團(tuán)提取的最佳閾值，參考圖像是最佳閾值Ta=36的基于彩色圖像的點團(tuán)提取結(jié)果圖。也就是說，基于彩色圖像的運(yùn)動點團(tuán)提取和基于灰度圖像的運(yùn)動點團(tuán)提取結(jié)果差別不大，彩色圖像沒有帶來更多的信息，這和文獻(xiàn)[17]的結(jié)論是一致的。因此，基于彩色圖像的運(yùn)動點團(tuán)提取