【正文】 的背景值，在一段時間內(nèi)這個值比較固定。就以這個平均值作為這個像素的背景值。它的一般算法為[8]：遍歷圖像的每一個像素，將它和與它相鄰的八個像素的灰度排序，取排在中間的像素的灰度值作為輸出圖像的這個像素的灰度。b)將集合{Gi(x,y)|i=1,2…N}中的元素排序；c)設(shè)排在中間的是Gk(x,y)，則像素矢量Fk(x,y)作為濾波結(jié)果。在這兩種極端情況下，所以基于均值的圖像背景提取算法是基于共同區(qū)域的圖像背景提取算法的特殊情況。這是因為此算法根據(jù)標準差先將不大可能是背景的像素去除了，比單純用平均值準確，同時在一定程度上抑制了噪聲，并且由于使用了盡可能多的圖像，比只使用10秒的圖像有更多信息。采樣率(f/s)12525基于均值 改進的基于均值 基于中值濾波 基于共同區(qū)域 表三 實驗數(shù)據(jù)二不同方法得到的背景與標準背景圖像比較的PSNR實驗數(shù)據(jù)二不同方法的PSNR隨處理時間變化關(guān)系圖，如圖二十一。 彩色圖像轉(zhuǎn)換成灰度圖像彩色圖像每個像素點在RGB空間中是一個三維矢量，每個分量分別代表紅、綠、藍三種顏色的灰度。常用的邊緣檢測算子是Prewitt邊緣算子和Sobel邊緣算子。ColorPrewitt和ColorSobel邊緣檢測算法算法得到的邊緣圖像差不多。常用的矢量距離是歐氏距離和馬氏距離，下面分別敘述。一般來說，彩色圖像中的像素點矢量要么各個分量變化都不大，如沒有運動物體出現(xiàn)的背景區(qū)域，要么各個分量都有較大的變化，如運動物體頻繁出現(xiàn)的區(qū)域，所以距離歸一化并沒有太大的實際意義，基于馬氏距離得到的運動點團圖像效果并不好。有基于RGB空間的陰影處理和基于HSI間的陰影處理。當這兩個像素色度越接近，即F(x,y)與B(x,y)的夾角越接近，則(F(x,y)B(x,y))與B(x,y)的夾角也越接近。取此閾值的陰影處理后的運動點團圖像如圖四十八、圖四十九。從圖中可以看出，無論實驗數(shù)據(jù)一還是實驗數(shù)據(jù)二，閾值Te=21時的結(jié)果圖像是最接近參考圖像的，只有1%左右的像素點不相同。圖五十三 實驗數(shù)據(jù)一的ColorPrewitt邊緣圖像序列運動點團提取結(jié)果對ColorSobel邊緣圖像，定義二值化的閾值為Tcs。因此，基于幀間差的運動點團提取算法并不適用于道路場景。圖五十七 興趣區(qū)示意圖 道路繁忙度獲取對于道路場景，定義繁忙度為一段時間的道路占有率的平均值。具體來說，一個矩形可能是多個靠近的運動物體構(gòu)成的一個連通區(qū)域；一個運動物體可能因為部分區(qū)域與背景相似而分割成幾個連通區(qū)域。腐蝕運算可以消除物體的邊界點。首先，找到輪廓上的第一點，然后按順時針或逆時針找輪廓上的下一個點，不斷重復(fù)找下去，直到回到找到的第一個點為止。首先掃描到圖中編號為1的線段（即線段1），因為其是孤立線段，連通區(qū)域1被初始化，將線段1放入連通區(qū)域1。在掃描第3行的時候，發(fā)現(xiàn)線段4貫通了連通點團1和連通點團2，這時把線段2的右邊界延長到線段3的右邊界。特別指出的是，在點團分裂和合并的情形，點團的新速度都是由前一幀的速度計算得到：點團分裂時，分裂出來的點團的速度等于原點團的速度；點團合并時，合并后點團的速度是原來點團速度的平均值。這是因為，視頻在時間上的采樣率足夠時，點團在前后兩幀中位置的變化不會很大，即點團在前后兩幀中的重疊面積不會很小，采樣率越大，點團的位置變化越小，點團在前后兩幀中重疊面積就越大。 改進的線段編碼連通區(qū)域中有空洞，輪廓也是不規(guī)則的，在上一節(jié)講的線段編碼算法把這些信息都獲取了，然而這些信息不是我們需要的，我們只需要得到每個連通區(qū)域的最小外接矩形，就得到每個運動點團的大小和位置了。 線段編碼線段編碼算法通過逐行掃描獲取運動點團的位置和大小。因此，我們使用開運算做二值圖像的噪聲去除。表示將結(jié)構(gòu)元素移動到(x,y)處。我們可以不關(guān)心運動點團內(nèi)部的空洞，甚至輪廓上的凹凸。使用實驗數(shù)據(jù)一得到的背景統(tǒng)計灰度圖見圖五十六。在第六章，我們將分析知道整個運動目標檢測與跟蹤最費時的部分就是對圖像每個像素的遍歷。圖五十五 實驗數(shù)據(jù)一基于幀間差的運動點團提取結(jié)果和基于背景差的方法比較，可以看出，這個方法有如下缺點：運動物體表面如果顏色接近，那么相鄰兩幀作差就會導(dǎo)致在物體運動方向上留下前后兩部分，中間部分就會被減去成為背景了，無法把完整的運動物體提取出來，在道路場景中，每輛車的表面大都是同一種顏色。因為邊緣圖像也是灰度圖像，做灰度圖像的運動點團提取。對這兩組實驗數(shù)據(jù)，改變閾值Te重復(fù)提取基于灰度圖像的運動點團圖像，與參考圖像比較，統(tǒng)計與參考圖像不同的像素的個數(shù)以及占整個圖像的百分比。RGB空間轉(zhuǎn)換到HSI空間的的公式如下[15]：其中R、G、B分別是像素矢量在RGB空間中紅、綠、藍三分量的值；H、S、I分別是像素矢量在HSI空間中色度、飽和度、亮度三分量的值。這并不合理。圖四十二、圖四十三是Ta=36的運動點團提取結(jié)果。其中圖三十五閾值Tb=1，圖三十六閾值Tb=5，圖三十七閾值Tb=9。光照的改變、原來作為背景的物體運動出去或者運動物體靜止下來成為背景等情況，都會導(dǎo)致背景的變化。同樣的，ColorSobel邊緣檢測x方向的算子是ColorSobel邊緣檢測y方向的算子是需要指出的是，邊緣值是梯度長度的大小，因此邊緣值是個標量，邊緣圖像是灰度圖像。因此，可以首先將每一幀原始圖像做邊緣提取，得到邊緣圖像序列，然后提取邊緣圖像背景，再提取運動前景、做運動跟蹤。綜上所述，對于10秒的視頻圖像序列，采用每秒2幀的采樣率，使用改進的基于均值的背景提取算法，不到4秒就可以得到優(yōu)秀的背景圖像。因此，結(jié)合表二和表一，得到不同方法的PSNR隨處理時間變化關(guān)系圖?；诰档谋尘疤崛》椒ǖ臅r間與采樣率關(guān)系圖見圖十三；改進的基于均值的背景提取方法的時間與采樣率關(guān)系圖見圖十四；基于中值濾波的背景提取方法的時間與采樣率關(guān)系圖見圖十五；基于共同區(qū)域的背景提取方法的時間與采樣率關(guān)系圖見圖十六。像素在圖像對中的差別用像素矢量（彩色圖像，像素是RGB空間的矢量）的歐氏距離來量度，如果其大于一閾值，則認為差別大，否則認為差別小。對于背景提取，我們需要將此算法擴展。設(shè)圖像的總像素數(shù)為M，則對每一個像素都要遍歷3次N個圖像幀——求中心點一次，求標準差一次，最后再求均值一次，因此這個算法的時間復(fù)雜度是O(3MN)=O(MN)，比原來的單純求平均值的算法費時。下面分別講述不同方法。我們對多組實驗數(shù)據(jù)進行實驗，每組實驗數(shù)據(jù)是一段彩色的視頻圖像序列，所有實驗視頻數(shù)據(jù)的分辨率都歸一到720352像素。第五章講述了關(guān)注區(qū)的提取方法和利用關(guān)注區(qū)數(shù)據(jù)計算道路繁忙度的方法。運動目標檢測與跟蹤的流程有三個層次，如圖一[4]。這種方法，需要在檢測路段埋入感應(yīng)線圈，這需要對道路施工，會影響交通，嚴重影響道路壽命，并且感應(yīng)線圈設(shè)備容易被重型車輛壓壞，維護起來又要對道路施工，非常麻煩[1]。本文運動目標檢測與跟蹤研究如何讓計算機從視頻圖像序列中獲得物體運動數(shù)據(jù)。如何讓計算機從視頻圖像序列中獲得道路交通數(shù)據(jù)，例如車輛的速度等，近年來很多人對此展開了研究。背景提取有很多種算法，第三章將詳述與比較各種背景提取算法，并提出一種改進的算法，實驗證明改進的算法有更好的效果。然后提取運動點團的位置和大小。背景提取的目標就是根據(jù)視頻圖像序列，找出圖像中每一點的背景值。同時，求取平均值還可以在一定程度上抑制噪聲。因為噪聲點的灰度與非噪聲點差別大，而且圖像有空間局部性，也就是說，對于沒有被噪聲污染的圖像，里面的每一個像素和它相鄰的像素的灰度差別不大。對n個元素排序的時間復(fù)雜度是O(nlogn)或者O(n2)，取決于算法，其不是線性的，隨著n的增大迅速增大。詳細算法如下：1)在某時間段采樣得到N個圖像幀F(xiàn)i, i=1,2…N；2)對每一個像素點(x,y): a)集合A={}； b)對每一個圖像對Fi(x,y)和Fi+N/2(x,y)，i=1,2…N/2 如果，則將Fi(x,y)和Fi+N/2(x,y)加入集合A，其中Ta是閾值； c)計算集合A中所有元素的均值作為像素點(x,y)的背景值。實驗數(shù)據(jù)一所有376幀圖像得到的標準圖像見圖十七；實驗數(shù)據(jù)二所有576幀圖像得到的標準圖像見圖十八。圖二十一 實驗數(shù)據(jù)二不同提取背景的算法PSNR與處理時間關(guān)系圖將圖二十一中橫坐標[0，10]區(qū)間部分作局部放大，得到圖二十二。最簡單的將彩色圖像轉(zhuǎn)換成灰度圖像的方法是將這三個分量取平均值。圖二十七和二十八是Prewitt邊緣算子，圖二十九和三十是Sobel邊緣算子。圖三十一 ColorPrewitt邊緣圖像序列的基于均值的背景圖像圖三十二 ColorSobel邊緣圖像序列的基于均值的背景圖像圖三十三 ColorPrewitt邊緣圖像序列的改進的基于均值的背景圖像圖三十四 ColorSobel邊緣圖像序列的改進的基于均值的背景圖像第四章 運動點團提取和背景更新運動點團提取也稱背景去除、背景抑制，就是把每一幀的非背景部分提取出來。 基于馬氏距離的運動點團提取設(shè)隨機矢量x的均值是，協(xié)方差矩陣是，則x與的馬氏距離是對彩色圖像的像素矢量，假設(shè)每一個顏色分量相互獨立，則不同分量的協(xié)方差為0，即協(xié)方差矩陣非對角線元素都為0，對角線元素就是對應(yīng)分量的方差，上式可以寫成[14]、綠、藍三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍三種顏色分量，、分別表示紅、綠、藍三種顏色分量的方差，也就是矩陣的對角元素。 基于歐氏距離的運動點團提取兩個彩色像素矢量的歐氏距離如下：、綠、藍三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍三種顏色分量。下面分別講述。因此我們用(F(x,y)B(x,y))與B(x,y)的夾角來表示這兩個像素色度的接近程度定義閾值，當時，兩像素色度相似，否則兩像素色度不相似。將圖四十八、圖四十九和圖四十六、圖四十七比較，可以看到，基于HSI空間和基于RGB空間的陰影處理效果差不多，說明在RGB空間中就能很好的提取出色度、亮度等信息，沒有必要為了做陰影處理而將圖像從RGB空間轉(zhuǎn)換到HSI空間，可以省去彩色空間轉(zhuǎn)化的計算開銷。前面我們已經(jīng)知道，Te=21是基于灰度的點團提取的最佳閾值，參考圖像是最佳閾值Ta=36的基于彩色圖像的點團提取結(jié)果圖。改變其值重復(fù)實驗，可得到最佳閾值Tcs=65。 背景更新由于背景會隨時間變化而改變，需要對背景進行更新。這是興趣區(qū)的直接應(yīng)用。而某一時刻的道路占有率為此時刻道路場景中所有車輛所占道路面積與道路總面積之比對于視頻圖像序列，可以將運動點團像素總數(shù)作為場景中所有車輛的面積的近似，把興趣區(qū)像素總數(shù)作為道路面積的近似。因此，我們在運動點團上還有一層運動物體層。對去除微小的物體很有用。具體算法如下：1)輪廓上第一個點是連通區(qū)域中的最下面的點中的最左邊的那個。接下來掃描第2行，掃描到線段2，因為線段1和線段2相鄰，將線段2放入連通區(qū)域1。在掃描第4行的時候，發(fā)現(xiàn)線段6也是屬于連通點團1時，將線段5的右邊界延長到線段6的右邊界。而對于運動前后都是一個點團的情形，點團的新速度等于后幀點團的中心與前幀點團的中心的矢量差，它有兩個分量，分別代表圖像中兩個方向的速度，單位是像素/采樣周期，采樣周期是指相鄰兩幀的時間間隔。如果前后兩幀中的點團A、B的重疊部分面積大于A或B的面積的一半，則B是A運動后所在的位置。在下一節(jié)，我們將講述改進的線段編碼算法，其更符合我們的要求。因此，這個算法并不適合我們的需求。開運算能很好的去除微小的噪聲物體而不改變物體大小，雖然其不能去除物體內(nèi)部的微小空洞，但物體內(nèi)部的微小空洞不會影響之后的運動點團位置提取和運動跟蹤，這在下面會談到。結(jié)構(gòu)元素S類似于卷積核，在這里取33的矩陣，矩陣的每個元素都是1。在一幅運動點團二值圖像中，有很多個連通區(qū)域，將各個運動點團的位置和大小提取出來，構(gòu)成一個鏈表，以供下一步作運動跟蹤之用。 b)對每一個圖像對Fi(x,y)和Fi+N/2(x,y)，i=1,2…N/2 如果，則Sum(x,y)=Sum(x,y)+2，其中Ta是閾值；3)對Sum(x,y)作水平投影或垂直投影，得到背景像素點的分布圖，根據(jù)分布圖的波峰、波谷即可確定興趣區(qū)。而一幀圖像的像素總數(shù)是很大的，前面的運動點團提取步驟、后面將要敘述的運動點團位置提取步驟都需要遍歷每幀圖像的每一個像素。對實驗數(shù)據(jù)一的其中兩相鄰幀使用基于幀間差的運動點團提取方法提取運動點團圖的結(jié)果見圖五十五。接下來就是將每幀邊緣圖像的背景去除，獲得運動點團圖像。分別取實驗數(shù)據(jù)一和實驗數(shù)據(jù)二的基于彩色圖像的運動點團提取結(jié)果圖像（就是圖四十二、圖四十三）作為參考圖像。如果我們將像素點矢量從RGB空間轉(zhuǎn)換到HSI空間，我們就可以直接比較兩像素點的色度和亮度了。圖四十四 實驗數(shù)據(jù)一基于RGB空間的陰影處理結(jié)果圖四十五 實驗數(shù)據(jù)二基于RGB空間的陰影處理結(jié)果 改進的基于RGB空間的陰影處理由上一節(jié)判斷陰影的條件可以知道，當背景像素矢量長度越長，即背景像素越亮，而夾角閾值是固定的（），則夾角閾值所圍的RGB空間中的點就越多，即滿足陰影條件的點就就多。通過調(diào)整閾值Ta重復(fù)實驗，找到了最佳的閾值Ta=36。實驗數(shù)據(jù)一基于馬氏距離的運動點團提取實驗結(jié)果的其中一幀圖像如圖三十五至三十七。它會隨時間變化而變化。同理，Prewitt邊緣檢測y方向算子擴展到矢量空間，可得上面的兩個方向的算子就是ColorPrewitt邊緣檢測算子。而前景背景分離最重要的信息是物體的邊緣信息。效果最好的算法是改進的基于均值的背景提取算法。在處理時間一定的情況下，PSNR越大的方法越好。采樣率(f/s)125