【正文】 實驗數(shù)據(jù)一的其中一。運動點團層運動跟蹤的具體算法如下：對當前幀的運動點團鏈表中的每個運動點團元素B：在前一幀的運動點團鏈表中找運動點團元素A，使A與B的重疊部分面積大于A或B的一半，如果滿足要求的元素A不存在，則B是新出現(xiàn)的運動點團，其速度為0；否則，如果滿足要求的元素A不止一個，則這是合并情形，B的速度為所有滿足要求的元素的速度的平均值；否則，如果重疊部分面積小于A的一半，則這是分裂情形，B的速度等于A的速度；否則，計算運動點團B速度：B的最小外接矩形的中心與A的最小外接矩形的中心的矢量差，它有兩個分量，分別代表圖像中兩個方向的速度，單位是像素/采樣周期。而對于運動前后都是一個點團的情形，點團的新速度等于后幀點團的中心與前幀點團的中心的矢量差，它有兩個分量，分別代表圖像中兩個方向的速度，單位是像素/采樣周期，采樣周期是指相鄰兩幀的時間間隔。如果后幀有不止一個點團和前幀中的點團A的重疊面積滿足要求，則認為A分裂為幾個點團，每個點團繼承原點團A的速度；如果前幀有不止一個點團和后幀中的點團B滿足要求，則認為幾個點團合并成一個點團B，點團B的速度是原來幾個點團速度的平均值。在道路交通場景中，采樣率不小于10幀/秒的情況下，點團在前后兩幀中的重疊部分面積不會小于它們各自面積的一半。如果前后兩幀中的點團A、B的重疊部分面積大于A或B的面積的一半，則B是A運動后所在的位置。運動跟蹤的目標是找出每一個運動物體在連續(xù)視頻圖像序列中的位置，進而得到它們的速度。得到的連通區(qū)域中的每行僅有一條線段，因此可以很容易得到連通區(qū)域的最小外接矩形，運動點團的位置和大小也就得到了。設一幅圖像的像素點總共有M個，則這個算法的時間復雜度也是O(M)。采用這個改進算法，也解決了第四章說的在對二值圖像做開運算不能去除物體內(nèi)部的微小空洞的問題。在掃描第4行的時候，發(fā)現(xiàn)線段6也是屬于連通點團1時，將線段5的右邊界延長到線段6的右邊界。仍然用圖六十一來說明。為此，我們將線段編碼算法做改進。在下一節(jié)，我們將講述改進的線段編碼算法，其更符合我們的要求。設一幅圖像的像素點總共有M個，則這個算法的時間復雜度是O(M)。至此所有行都掃描完了，得到了一個連通區(qū)域。第3條掃描線掃描到線段4，發(fā)現(xiàn)線段4和線段2相鄰，將線段4放入連通區(qū)域1；接著發(fā)現(xiàn)線段4也和線段3相鄰，這時，線段4把連通區(qū)域1和連通區(qū)域2給貫通了，則將連通區(qū)域2和連通區(qū)域1合并，設合并后的連通區(qū)域為連通區(qū)域1。如果圖像只有這兩行，則到這里掃描結(jié)束，我們得到了兩個連通區(qū)域，每個連通區(qū)域的大小和位置都出來了。接下來掃描第2行，掃描到線段2，因為線段1和線段2相鄰，將線段2放入連通區(qū)域1。我們從上面開始，逐行掃描，掃描線從左到右。我們舉例說明這個算法。因此，這個算法并不適合我們的需求。這時為了找到下一個連通區(qū)域的第一個輪廓點，需要重復遍歷已提取出輪廓點的連通區(qū)域，也就是說為了得到所有連通區(qū)域的輪廓，每個像素點需要遍歷不止一次，這個算法的效率并不高。01273654圖六十 八個方向示意圖如果二值圖像中只有一個連通區(qū)域，則此算法可以有效的獲得其輪廓點。4)對新找到的輪廓點，從第i1方向開始找下一個輪廓點（如果i為0則從第7方向開始），類似第3)步，直到找到下一個輪廓點為止。3)從第一個點的第0方向上的像素開始，如果這個點是連通區(qū)域中的點，則其必為輪廓點，否則看第1方向上的像素，如果其為連通區(qū)域中的點，則為輪廓點，否則看第2方向上的像素……直到找到下一個輪廓點為止。具體算法如下：1)輪廓上第一個點是連通區(qū)域中的最下面的點中的最左邊的那個。圖五十八 實驗數(shù)據(jù)一的運動點團圖開運算結(jié)果圖五十九 實驗數(shù)據(jù)一的ColorSobel邊緣運動點團圖開運算結(jié)果 輪廓追蹤這個方法的目標是提取運動點團的輪廓點。圖五十八是實驗數(shù)據(jù)一的其中一幀做運動點團提取和陰影處理后再經(jīng)開運算處理后的結(jié)果。開運算能很好的去除微小的噪聲物體而不改變物體大小，雖然其不能去除物體內(nèi)部的微小空洞，但物體內(nèi)部的微小空洞不會影響之后的運動點團位置提取和運動跟蹤，這在下面會談到。通過實驗，對運動點團二值圖像做開運算效果較好，結(jié)果比較符合我們的要求。開運算是對二值圖像先腐蝕后膨脹，定義式為[19]開運算具有去除微小物體、平滑物體邊界而不改變物體大小的作用。膨脹運算可以增大物體面積。這個式子表示，結(jié)構(gòu)元素移動到點(x,y)，如果其與集合B的交集不為空，則(x,y)是集合E中的元素。對去除微小的物體很有用。對于全部由1構(gòu)成的33矩陣的結(jié)構(gòu)元素來說，如果輸入圖像的點(x,y)處的像素為1，且其鄰域的8個像素也為1，則輸出圖像的點(x,y)處的像素為1，否則為0。腐蝕運算的定義式為[19]這里的B是輸入圖像中所有取值為1的點的集合，E為輸出圖像中所有取值為1的點的集合。結(jié)構(gòu)元素S類似于卷積核，在這里取33的矩陣，矩陣的每個元素都是1。數(shù)學形態(tài)學算法主要有腐蝕、膨脹、開運算、閉運算。圖像中存在噪聲，即孤立的白像素和孤立的黑像素。進而引出第七章。，分別是輪廓追蹤算法、線段編碼算法和改進的線段編碼算法。因此，我們在運動點團上還有一層運動物體層。需要指出的是，每個矩形并不是運動物體。因此可以用連通區(qū)域的最小外接矩形表示每個運動點團，這個矩形完全包含了運動點團的位置和大小信息。在一幅運動點團二值圖像中，有很多個連通區(qū)域，將各個運動點團的位置和大小提取出來，構(gòu)成一個鏈表，以供下一步作運動跟蹤之用。接下來要將不同的連通區(qū)域的位置和大小提取出來。第六章 運動點團的位置提取運動點團圖像是二值圖像。在得到每一幀的道路占有率之后，每隔一段時間將其做平均，根據(jù)得到的值的大小判斷道路的繁忙程度，以及道路繁忙度的變化情況。因此，近似的把一幀中運動點團像素總數(shù)與興趣區(qū)像素總數(shù)之比作為這一時刻的道路占有率。而某一時刻的道路占有率為此時刻道路場景中所有車輛所占道路面積與道路總面積之比對于視頻圖像序列，可以將運動點團像素總數(shù)作為場景中所有車輛的面積的近似，把興趣區(qū)像素總數(shù)作為道路面積的近似。見圖五十七。圖中的像素越黑表示背景出現(xiàn)的次數(shù)越大。 b)對每一個圖像對Fi(x,y)和Fi+N/2(x,y)，i=1,2…N/2 如果，則Sum(x,y)=Sum(x,y)+2，其中Ta是閾值；3)對Sum(x,y)作水平投影或垂直投影，得到背景像素點的分布圖，根據(jù)分布圖的波峰、波谷即可確定興趣區(qū)。在一定的時間段中，采樣得到若干有一定時間間隔的圖像對，統(tǒng)計背景出現(xiàn)的次數(shù)，根據(jù)各個像素背景出現(xiàn)的次數(shù)可以得到興趣區(qū)。下面講述基于共同區(qū)域的背景提取算法推廣到興趣區(qū)提取。我們在第3章已經(jīng)討論過這個問題：在背景提取時，也要在求平均值之前，去除不大可能是背景的樣本，使求出來的平均值會更加接近背景。在背景提取階段，對按時間采樣得到的圖像樣本，統(tǒng)計每個像素點前景和背景出現(xiàn)的次數(shù)，就可以得到興趣區(qū)。這是興趣區(qū)的直接應用。興趣區(qū)提取就是指在運動圖像序列中找到有可能出現(xiàn)運動物體的區(qū)域，之后的所有處理都只在興趣區(qū)中進行。因此，如果能在背景提取階段把不會出現(xiàn)運動物體的區(qū)域去除，之后只在圖像中有可能出現(xiàn)運動物體的區(qū)域做處理，則能大大提高系統(tǒng)的效率，使之更好的滿足實時性運用的要求。而一幀圖像的像素總數(shù)是很大的，前面的運動點團提取步驟、后面將要敘述的運動點團位置提取步驟都需要遍歷每幀圖像的每一個像素。第五章 興趣區(qū)提取在運動場景中，并不是每一個位置都會有運動物體出現(xiàn)。一般來說。第二種策略是對每一幀在提取運動前景的同時更新背景：設原背景是B0，當前幀是F，新背景是B，則[18]、都是大于0小于1的實數(shù)。第一種策略是每隔一段時間使用背景提取算法重新提取背景，將新背景取代舊背景。 背景更新由于背景會隨時間變化而改變，需要對背景進行更新。而背景差法使用平均值求背景，能夠在一定程度上抑制噪聲，不會有噪聲疊加的問題。而背景差法就不存在這個問題。對實驗數(shù)據(jù)一的其中兩相鄰幀使用基于幀間差的運動點團提取方法提取運動點團圖的結(jié)果見圖五十五。這個方法不需要提取背景，只需將相鄰兩幀作差，然后二值化即可。 基于幀間差的運動點團提取及其與背景差法比較前幾節(jié)我們討論了基于背景差的運動點團提取。然而，運動物體內(nèi)部較平滑，沒有邊緣，因此一個運動物體提取出的點團內(nèi)部大都是空的，只有邊界有像素點，使得一個運動物體提取出多個連通區(qū)域的情況加劇了。圖五十四 實驗數(shù)據(jù)一的ColorSobel邊緣圖像序列運動點團提取結(jié)果從實驗結(jié)果可以看出，邊緣圖像提取出的運動點團是不含陰影的，不需要再做陰影處理。改變其值重復實驗，可得到最佳閾值Tcs=65。對實驗數(shù)據(jù)一的其中一幀的提取結(jié)果如圖五十三。對ColorPrewitt邊緣圖像，定義二值化的閾值為Tcp。接下來就是將每幀邊緣圖像的背景去除，獲得運動點團圖像。因此，基于彩色圖像的運動點團提取以及之后的陰影處理是更好的方法。陰影的處理需要借助圖像的彩色信息。也就是說，基于彩色圖像的運動點團提取和基于灰度圖像的運動點團提取結(jié)果差別不大，彩色圖像沒有帶來更多的信息，這和文獻[17]的結(jié)論是一致的。因此，可以把閾值Ta看成三個分量都是Te構(gòu)成的矢量。前面我們已經(jīng)知道，Te=21是基于灰度的點團提取的最佳閾值，參考圖像是最佳閾值Ta=36的基于彩色圖像的點團提取結(jié)果圖。圖中系列1是實驗數(shù)據(jù)一，即表四的結(jié)果；系列2是實驗數(shù)據(jù)二，即表五的結(jié)果。對數(shù)據(jù)一實驗的統(tǒng)計結(jié)果見表四，對數(shù)據(jù)二實驗的統(tǒng)計結(jié)果見表五。分別取實驗數(shù)據(jù)一和實驗數(shù)據(jù)二的基于彩色圖像的運動點團提取結(jié)果圖像（就是圖四十二、圖四十三）作為參考圖像。圖五十 實驗數(shù)據(jù)一的灰度圖像序列運動點團提取結(jié)果圖五十一 實驗數(shù)據(jù)二的灰度圖像序列運動點團提取結(jié)果這兩幅圖與基于彩色圖像的運動點團提取未處理陰影前的圖像（圖四十二、圖四十三）很相似。改變閾值Te重復實驗，得到最佳閾值為Te=21。求兩個像素的歐氏距離就是求像素灰度差的絕對值。接下來就是將每幀灰度圖像的背景去除，獲得運動點團圖像。將圖四十八、圖四十九和圖四十六、圖四十七比較，可以看到，基于HSI空間和基于RGB空間的陰影處理效果差不多，說明在RGB空間中就能很好的提取出色度、亮度等信息，沒有必要為了做陰影處理而將圖像從RGB空間轉(zhuǎn)換到HSI空間，可以省去彩色空間轉(zhuǎn)化的計算開銷。通過調(diào)整閾值重復實驗，得到最佳閾值Th=，Ti=55。對于像素點F(x,y)和對應背景點B(x,y)，F(xiàn)(x,y)是陰影的條件是：1)F(x,y)和B(x,y)的色度分量的距離小于閾值Th；2) F(x,y)的亮度分量比B(x,y)的小，且它們最多相差閾值Ti。如果我們將像素點矢量從RGB空間轉(zhuǎn)換到HSI空間，我們就可以直接比較兩像素點的色度和亮度了。圖四十六 實驗數(shù)據(jù)一改進的基于RGB空間的陰影處理結(jié)果圖四十七 實驗數(shù)據(jù)二改進的基于RGB空間的陰影處理結(jié)果 基于HSI空間的陰影處理判斷陰影的根據(jù)是陰影與背景在色度上相似，在亮度上陰影比背景暗。取此閾值的陰影處理后的運動點團圖像如圖四十六、圖四十七。改進的基于RGB空間的陰影處理算法具體如下：1)B(x,y)是背景圖像，F(xiàn)(x,y)是當前處理的幀2)對前一步（運動點團提?。┨崛〕龅那熬跋袼攸cF(x,y)：如果同時滿足 則此像素是陰影而不是前景。新的判斷陰影的條件，在RGB空間中滿足條件的點的個數(shù)不隨背景亮度的不同而變化，并且不需要計算F(x,y)的長度，而需要計算的是背景差提取運動點團所必須計算的，這里利用前一步計算的結(jié)果即可，不需要重復計算。因此我們用(F(x,y)B(x,y))與B(x,y)的夾角來表示這兩個像素色度的接近程度定義閾值，當時，兩像素色度相似，否則兩像素色度不相似?？紤]矢量(F(x,y)B(x,y))，F(xiàn)(x,y)是當前幀在(x,y)處的像素矢量，B(x,y)是背景圖像在(x,y)處的像素矢量。而且在計算夾角的時候，需要計算圖像像素的長度（||F(x,y)||），因此對于每一幀的每一個像素都需要計算它的長度，計算量很大。圖四十四 實驗數(shù)據(jù)一基于RGB空間的陰影處理結(jié)果圖四十五 實驗數(shù)據(jù)二基于RGB空間的陰影處理結(jié)果 改進的基于RGB空間的陰影處理由上一節(jié)判斷陰影的條件可以知道，當背景像素矢量長度越長，即背景像素越亮，而夾角閾值是固定的（），則夾角閾值所圍的RGB空間中的點就越多，即滿足陰影條件的點就就多。通過調(diào)整閾值重復實驗，得到最佳閾值=，Tc=60。在亮度上陰影比背景暗，就是說陰影像素長度比背景短，但也不能差別太大，定義域值Tc，當圖像像素的亮度與背景的差別大于Tc時，此像素不是陰影。定義域值，當時，像素夾角差別不大，兩像素色度相似，否則兩像素色度不相似。兩像素色度的差別在RGB空間中表現(xiàn)為像素矢量的夾角的差，夾角的差越大，這兩像素色度差別就越大。下面分別講述。為了判斷陰影，可以將提取出的運動前景像素點的某些屬性和對應背景比較，滿足某些條件的就是陰影。圖四十二 實驗數(shù)據(jù)一的基于歐氏距離的運動點團提取實驗結(jié)果，Ta=36圖四十三 實驗數(shù)據(jù)二的基于歐氏距離的運動點團提取實驗結(jié)果，Ta=36 陰影處理從上一節(jié)的圖中可以看到，運動物體都帶有很大的陰影。通過調(diào)整閾值Ta重復實驗，找到了最佳的閾值Ta=36。其中圖三十八、圖三十九閾值Ta=25，圖四十、圖四十一閾值Ta=45。實驗數(shù)據(jù)一的基于歐氏距離的運動點團提取實驗結(jié)果的其中一幀圖像如圖三十八和圖四十。歐氏距離提取運動點團的具體算法如下：1)設背景圖像是B (x,y)2)遍歷當前幀的每一個像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當前幀的運動點團圖像。閾值Ta是前景與背景差別的量度，即前景與背景的距離至少相差Ta。 基于歐氏距離的運動點團提取兩個彩色像素矢量的歐氏距離如下：、