【正文】 實(shí)驗(yàn)數(shù)據(jù)一的其中一幀的結(jié)果如圖六十二。運(yùn)動(dòng)點(diǎn)團(tuán)層運(yùn)動(dòng)跟蹤的具體算法如下：對(duì)當(dāng)前幀的運(yùn)動(dòng)點(diǎn)團(tuán)鏈表中的每個(gè)運(yùn)動(dòng)點(diǎn)團(tuán)元素B：在前一幀的運(yùn)動(dòng)點(diǎn)團(tuán)鏈表中找運(yùn)動(dòng)點(diǎn)團(tuán)元素A，使A與B的重疊部分面積大于A或B的一半，如果滿足要求的元素A不存在，則B是新出現(xiàn)的運(yùn)動(dòng)點(diǎn)團(tuán)，其速度為0；否則，如果滿足要求的元素A不止一個(gè)，則這是合并情形，B的速度為所有滿足要求的元素的速度的平均值；否則，如果重疊部分面積小于A的一半，則這是分裂情形，B的速度等于A的速度；否則，計(jì)算運(yùn)動(dòng)點(diǎn)團(tuán)B速度：B的最小外接矩形的中心與A的最小外接矩形的中心的矢量差，它有兩個(gè)分量，分別代表圖像中兩個(gè)方向的速度，單位是像素/采樣周期。而對(duì)于運(yùn)動(dòng)前后都是一個(gè)點(diǎn)團(tuán)的情形，點(diǎn)團(tuán)的新速度等于后幀點(diǎn)團(tuán)的中心與前幀點(diǎn)團(tuán)的中心的矢量差，它有兩個(gè)分量，分別代表圖像中兩個(gè)方向的速度，單位是像素/采樣周期，采樣周期是指相鄰兩幀的時(shí)間間隔。如果后幀有不止一個(gè)點(diǎn)團(tuán)和前幀中的點(diǎn)團(tuán)A的重疊面積滿足要求，則認(rèn)為A分裂為幾個(gè)點(diǎn)團(tuán)，每個(gè)點(diǎn)團(tuán)繼承原點(diǎn)團(tuán)A的速度；如果前幀有不止一個(gè)點(diǎn)團(tuán)和后幀中的點(diǎn)團(tuán)B滿足要求，則認(rèn)為幾個(gè)點(diǎn)團(tuán)合并成一個(gè)點(diǎn)團(tuán)B，點(diǎn)團(tuán)B的速度是原來(lái)幾個(gè)點(diǎn)團(tuán)速度的平均值。在道路交通場(chǎng)景中，采樣率不小于10幀/秒的情況下，點(diǎn)團(tuán)在前后兩幀中的重疊部分面積不會(huì)小于它們各自面積的一半。如果前后兩幀中的點(diǎn)團(tuán)A、B的重疊部分面積大于A或B的面積的一半，則B是A運(yùn)動(dòng)后所在的位置。運(yùn)動(dòng)跟蹤的目標(biāo)是找出每一個(gè)運(yùn)動(dòng)物體在連續(xù)視頻圖像序列中的位置，進(jìn)而得到它們的速度。得到的連通區(qū)域中的每行僅有一條線段，因此可以很容易得到連通區(qū)域的最小外接矩形，運(yùn)動(dòng)點(diǎn)團(tuán)的位置和大小也就得到了。設(shè)一幅圖像的像素點(diǎn)總共有M個(gè)，則這個(gè)算法的時(shí)間復(fù)雜度也是O(M)。采用這個(gè)改進(jìn)算法，也解決了第四章說(shuō)的在對(duì)二值圖像做開(kāi)運(yùn)算不能去除物體內(nèi)部的微小空洞的問(wèn)題。在掃描第4行的時(shí)候，發(fā)現(xiàn)線段6也是屬于連通點(diǎn)團(tuán)1時(shí)，將線段5的右邊界延長(zhǎng)到線段6的右邊界。仍然用圖六十一來(lái)說(shuō)明。為此，我們將線段編碼算法做改進(jìn)。在下一節(jié)，我們將講述改進(jìn)的線段編碼算法，其更符合我們的要求。設(shè)一幅圖像的像素點(diǎn)總共有M個(gè)，則這個(gè)算法的時(shí)間復(fù)雜度是O(M)。至此所有行都掃描完了，得到了一個(gè)連通區(qū)域。第3條掃描線掃描到線段4，發(fā)現(xiàn)線段4和線段2相鄰，將線段4放入連通區(qū)域1；接著發(fā)現(xiàn)線段4也和線段3相鄰，這時(shí)，線段4把連通區(qū)域1和連通區(qū)域2給貫通了，則將連通區(qū)域2和連通區(qū)域1合并，設(shè)合并后的連通區(qū)域?yàn)檫B通區(qū)域1。如果圖像只有這兩行，則到這里掃描結(jié)束，我們得到了兩個(gè)連通區(qū)域，每個(gè)連通區(qū)域的大小和位置都出來(lái)了。接下來(lái)掃描第2行，掃描到線段2，因?yàn)榫€段1和線段2相鄰，將線段2放入連通區(qū)域1。我們從上面開(kāi)始，逐行掃描，掃描線從左到右。我們舉例說(shuō)明這個(gè)算法。因此，這個(gè)算法并不適合我們的需求。這時(shí)為了找到下一個(gè)連通區(qū)域的第一個(gè)輪廓點(diǎn)，需要重復(fù)遍歷已提取出輪廓點(diǎn)的連通區(qū)域，也就是說(shuō)為了得到所有連通區(qū)域的輪廓，每個(gè)像素點(diǎn)需要遍歷不止一次，這個(gè)算法的效率并不高。01273654圖六十 八個(gè)方向示意圖如果二值圖像中只有一個(gè)連通區(qū)域，則此算法可以有效的獲得其輪廓點(diǎn)。4)對(duì)新找到的輪廓點(diǎn)，從第i1方向開(kāi)始找下一個(gè)輪廓點(diǎn)（如果i為0則從第7方向開(kāi)始），類似第3)步，直到找到下一個(gè)輪廓點(diǎn)為止。3)從第一個(gè)點(diǎn)的第0方向上的像素開(kāi)始，如果這個(gè)點(diǎn)是連通區(qū)域中的點(diǎn)，則其必為輪廓點(diǎn)，否則看第1方向上的像素，如果其為連通區(qū)域中的點(diǎn)，則為輪廓點(diǎn)，否則看第2方向上的像素……直到找到下一個(gè)輪廓點(diǎn)為止。具體算法如下：1)輪廓上第一個(gè)點(diǎn)是連通區(qū)域中的最下面的點(diǎn)中的最左邊的那個(gè)。圖五十八 實(shí)驗(yàn)數(shù)據(jù)一的運(yùn)動(dòng)點(diǎn)團(tuán)圖開(kāi)運(yùn)算結(jié)果圖五十九 實(shí)驗(yàn)數(shù)據(jù)一的ColorSobel邊緣運(yùn)動(dòng)點(diǎn)團(tuán)圖開(kāi)運(yùn)算結(jié)果 輪廓追蹤這個(gè)方法的目標(biāo)是提取運(yùn)動(dòng)點(diǎn)團(tuán)的輪廓點(diǎn)。圖五十八是實(shí)驗(yàn)數(shù)據(jù)一的其中一幀做運(yùn)動(dòng)點(diǎn)團(tuán)提取和陰影處理后再經(jīng)開(kāi)運(yùn)算處理后的結(jié)果。開(kāi)運(yùn)算能很好的去除微小的噪聲物體而不改變物體大小，雖然其不能去除物體內(nèi)部的微小空洞，但物體內(nèi)部的微小空洞不會(huì)影響之后的運(yùn)動(dòng)點(diǎn)團(tuán)位置提取和運(yùn)動(dòng)跟蹤，這在下面會(huì)談到。通過(guò)實(shí)驗(yàn)，對(duì)運(yùn)動(dòng)點(diǎn)團(tuán)二值圖像做開(kāi)運(yùn)算效果較好，結(jié)果比較符合我們的要求。開(kāi)運(yùn)算是對(duì)二值圖像先腐蝕后膨脹，定義式為[19]開(kāi)運(yùn)算具有去除微小物體、平滑物體邊界而不改變物體大小的作用。膨脹運(yùn)算可以增大物體面積。這個(gè)式子表示，結(jié)構(gòu)元素移動(dòng)到點(diǎn)(x,y)，如果其與集合B的交集不為空，則(x,y)是集合E中的元素。對(duì)去除微小的物體很有用。對(duì)于全部由1構(gòu)成的33矩陣的結(jié)構(gòu)元素來(lái)說(shuō)，如果輸入圖像的點(diǎn)(x,y)處的像素為1，且其鄰域的8個(gè)像素也為1，則輸出圖像的點(diǎn)(x,y)處的像素為1，否則為0。腐蝕運(yùn)算的定義式為[19]這里的B是輸入圖像中所有取值為1的點(diǎn)的集合，E為輸出圖像中所有取值為1的點(diǎn)的集合。結(jié)構(gòu)元素S類似于卷積核，在這里取33的矩陣，矩陣的每個(gè)元素都是1。數(shù)學(xué)形態(tài)學(xué)算法主要有腐蝕、膨脹、開(kāi)運(yùn)算、閉運(yùn)算。圖像中存在噪聲，即孤立的白像素和孤立的黑像素。進(jìn)而引出第七章。，分別是輪廓追蹤算法、線段編碼算法和改進(jìn)的線段編碼算法。因此，我們?cè)谶\(yùn)動(dòng)點(diǎn)團(tuán)上還有一層運(yùn)動(dòng)物體層。需要指出的是，每個(gè)矩形并不是運(yùn)動(dòng)物體。因此可以用連通區(qū)域的最小外接矩形表示每個(gè)運(yùn)動(dòng)點(diǎn)團(tuán)，這個(gè)矩形完全包含了運(yùn)動(dòng)點(diǎn)團(tuán)的位置和大小信息。在一幅運(yùn)動(dòng)點(diǎn)團(tuán)二值圖像中，有很多個(gè)連通區(qū)域，將各個(gè)運(yùn)動(dòng)點(diǎn)團(tuán)的位置和大小提取出來(lái)，構(gòu)成一個(gè)鏈表，以供下一步作運(yùn)動(dòng)跟蹤之用。接下來(lái)要將不同的連通區(qū)域的位置和大小提取出來(lái)。第六章 運(yùn)動(dòng)點(diǎn)團(tuán)的位置提取運(yùn)動(dòng)點(diǎn)團(tuán)圖像是二值圖像。在得到每一幀的道路占有率之后，每隔一段時(shí)間將其做平均，根據(jù)得到的值的大小判斷道路的繁忙程度，以及道路繁忙度的變化情況。因此，近似的把一幀中運(yùn)動(dòng)點(diǎn)團(tuán)像素總數(shù)與興趣區(qū)像素總數(shù)之比作為這一時(shí)刻的道路占有率。而某一時(shí)刻的道路占有率為此時(shí)刻道路場(chǎng)景中所有車輛所占道路面積與道路總面積之比對(duì)于視頻圖像序列，可以將運(yùn)動(dòng)點(diǎn)團(tuán)像素總數(shù)作為場(chǎng)景中所有車輛的面積的近似，把興趣區(qū)像素總數(shù)作為道路面積的近似。見(jiàn)圖五十七。圖中的像素越黑表示背景出現(xiàn)的次數(shù)越大。 b)對(duì)每一個(gè)圖像對(duì)Fi(x,y)和Fi+N/2(x,y)，i=1,2…N/2 如果，則Sum(x,y)=Sum(x,y)+2，其中Ta是閾值；3)對(duì)Sum(x,y)作水平投影或垂直投影，得到背景像素點(diǎn)的分布圖，根據(jù)分布圖的波峰、波谷即可確定興趣區(qū)。在一定的時(shí)間段中，采樣得到若干有一定時(shí)間間隔的圖像對(duì)，統(tǒng)計(jì)背景出現(xiàn)的次數(shù)，根據(jù)各個(gè)像素背景出現(xiàn)的次數(shù)可以得到興趣區(qū)。下面講述基于共同區(qū)域的背景提取算法推廣到興趣區(qū)提取。我們?cè)诘?章已經(jīng)討論過(guò)這個(gè)問(wèn)題：在背景提取時(shí)，也要在求平均值之前，去除不大可能是背景的樣本，使求出來(lái)的平均值會(huì)更加接近背景。在背景提取階段，對(duì)按時(shí)間采樣得到的圖像樣本，統(tǒng)計(jì)每個(gè)像素點(diǎn)前景和背景出現(xiàn)的次數(shù)，就可以得到興趣區(qū)。這是興趣區(qū)的直接應(yīng)用。興趣區(qū)提取就是指在運(yùn)動(dòng)圖像序列中找到有可能出現(xiàn)運(yùn)動(dòng)物體的區(qū)域，之后的所有處理都只在興趣區(qū)中進(jìn)行。因此，如果能在背景提取階段把不會(huì)出現(xiàn)運(yùn)動(dòng)物體的區(qū)域去除，之后只在圖像中有可能出現(xiàn)運(yùn)動(dòng)物體的區(qū)域做處理，則能大大提高系統(tǒng)的效率，使之更好的滿足實(shí)時(shí)性運(yùn)用的要求。而一幀圖像的像素總數(shù)是很大的，前面的運(yùn)動(dòng)點(diǎn)團(tuán)提取步驟、后面將要敘述的運(yùn)動(dòng)點(diǎn)團(tuán)位置提取步驟都需要遍歷每幀圖像的每一個(gè)像素。第五章 興趣區(qū)提取在運(yùn)動(dòng)場(chǎng)景中，并不是每一個(gè)位置都會(huì)有運(yùn)動(dòng)物體出現(xiàn)。一般來(lái)說(shuō)。第二種策略是對(duì)每一幀在提取運(yùn)動(dòng)前景的同時(shí)更新背景：設(shè)原背景是B0，當(dāng)前幀是F，新背景是B，則[18]、都是大于0小于1的實(shí)數(shù)。第一種策略是每隔一段時(shí)間使用背景提取算法重新提取背景，將新背景取代舊背景。 背景更新由于背景會(huì)隨時(shí)間變化而改變，需要對(duì)背景進(jìn)行更新。而背景差法使用平均值求背景，能夠在一定程度上抑制噪聲，不會(huì)有噪聲疊加的問(wèn)題。而背景差法就不存在這個(gè)問(wèn)題。對(duì)實(shí)驗(yàn)數(shù)據(jù)一的其中兩相鄰幀使用基于幀間差的運(yùn)動(dòng)點(diǎn)團(tuán)提取方法提取運(yùn)動(dòng)點(diǎn)團(tuán)圖的結(jié)果見(jiàn)圖五十五。這個(gè)方法不需要提取背景，只需將相鄰兩幀作差，然后二值化即可。 基于幀間差的運(yùn)動(dòng)點(diǎn)團(tuán)提取及其與背景差法比較前幾節(jié)我們討論了基于背景差的運(yùn)動(dòng)點(diǎn)團(tuán)提取。然而，運(yùn)動(dòng)物體內(nèi)部較平滑，沒(méi)有邊緣，因此一個(gè)運(yùn)動(dòng)物體提取出的點(diǎn)團(tuán)內(nèi)部大都是空的，只有邊界有像素點(diǎn)，使得一個(gè)運(yùn)動(dòng)物體提取出多個(gè)連通區(qū)域的情況加劇了。圖五十四 實(shí)驗(yàn)數(shù)據(jù)一的ColorSobel邊緣圖像序列運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果從實(shí)驗(yàn)結(jié)果可以看出，邊緣圖像提取出的運(yùn)動(dòng)點(diǎn)團(tuán)是不含陰影的，不需要再做陰影處理。改變其值重復(fù)實(shí)驗(yàn)，可得到最佳閾值Tcs=65。對(duì)實(shí)驗(yàn)數(shù)據(jù)一的其中一幀的提取結(jié)果如圖五十三。對(duì)ColorPrewitt邊緣圖像，定義二值化的閾值為Tcp。接下來(lái)就是將每幀邊緣圖像的背景去除，獲得運(yùn)動(dòng)點(diǎn)團(tuán)圖像。因此，基于彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取以及之后的陰影處理是更好的方法。陰影的處理需要借助圖像的彩色信息。也就是說(shuō)，基于彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取和基于灰度圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果差別不大，彩色圖像沒(méi)有帶來(lái)更多的信息，這和文獻(xiàn)[17]的結(jié)論是一致的。因此，可以把閾值Ta看成三個(gè)分量都是Te構(gòu)成的矢量。前面我們已經(jīng)知道，Te=21是基于灰度的點(diǎn)團(tuán)提取的最佳閾值，參考圖像是最佳閾值Ta=36的基于彩色圖像的點(diǎn)團(tuán)提取結(jié)果圖。圖中系列1是實(shí)驗(yàn)數(shù)據(jù)一，即表四的結(jié)果；系列2是實(shí)驗(yàn)數(shù)據(jù)二，即表五的結(jié)果。對(duì)數(shù)據(jù)一實(shí)驗(yàn)的統(tǒng)計(jì)結(jié)果見(jiàn)表四，對(duì)數(shù)據(jù)二實(shí)驗(yàn)的統(tǒng)計(jì)結(jié)果見(jiàn)表五。分別取實(shí)驗(yàn)數(shù)據(jù)一和實(shí)驗(yàn)數(shù)據(jù)二的基于彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果圖像（就是圖四十二、圖四十三）作為參考圖像。圖五十 實(shí)驗(yàn)數(shù)據(jù)一的灰度圖像序列運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果圖五十一 實(shí)驗(yàn)數(shù)據(jù)二的灰度圖像序列運(yùn)動(dòng)點(diǎn)團(tuán)提取結(jié)果這兩幅圖與基于彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取未處理陰影前的圖像（圖四十二、圖四十三）很相似。改變閾值Te重復(fù)實(shí)驗(yàn)，得到最佳閾值為Te=21。求兩個(gè)像素的歐氏距離就是求像素灰度差的絕對(duì)值。接下來(lái)就是將每幀灰度圖像的背景去除，獲得運(yùn)動(dòng)點(diǎn)團(tuán)圖像。將圖四十八、圖四十九和圖四十六、圖四十七比較，可以看到，基于HSI空間和基于RGB空間的陰影處理效果差不多，說(shuō)明在RGB空間中就能很好的提取出色度、亮度等信息，沒(méi)有必要為了做陰影處理而將圖像從RGB空間轉(zhuǎn)換到HSI空間，可以省去彩色空間轉(zhuǎn)化的計(jì)算開(kāi)銷。通過(guò)調(diào)整閾值重復(fù)實(shí)驗(yàn)，得到最佳閾值Th=，Ti=55。對(duì)于像素點(diǎn)F(x,y)和對(duì)應(yīng)背景點(diǎn)B(x,y)，F(xiàn)(x,y)是陰影的條件是：1)F(x,y)和B(x,y)的色度分量的距離小于閾值Th；2) F(x,y)的亮度分量比B(x,y)的小，且它們最多相差閾值Ti。如果我們將像素點(diǎn)矢量從RGB空間轉(zhuǎn)換到HSI空間，我們就可以直接比較兩像素點(diǎn)的色度和亮度了。圖四十六 實(shí)驗(yàn)數(shù)據(jù)一改進(jìn)的基于RGB空間的陰影處理結(jié)果圖四十七 實(shí)驗(yàn)數(shù)據(jù)二改進(jìn)的基于RGB空間的陰影處理結(jié)果 基于HSI空間的陰影處理判斷陰影的根據(jù)是陰影與背景在色度上相似，在亮度上陰影比背景暗。取此閾值的陰影處理后的運(yùn)動(dòng)點(diǎn)團(tuán)圖像如圖四十六、圖四十七。改進(jìn)的基于RGB空間的陰影處理算法具體如下：1)B(x,y)是背景圖像，F(xiàn)(x,y)是當(dāng)前處理的幀2)對(duì)前一步（運(yùn)動(dòng)點(diǎn)團(tuán)提?。┨崛〕龅那熬跋袼攸c(diǎn)F(x,y)：如果同時(shí)滿足 則此像素是陰影而不是前景。新的判斷陰影的條件，在RGB空間中滿足條件的點(diǎn)的個(gè)數(shù)不隨背景亮度的不同而變化，并且不需要計(jì)算F(x,y)的長(zhǎng)度，而需要計(jì)算的是背景差提取運(yùn)動(dòng)點(diǎn)團(tuán)所必須計(jì)算的，這里利用前一步計(jì)算的結(jié)果即可，不需要重復(fù)計(jì)算。因此我們用(F(x,y)B(x,y))與B(x,y)的夾角來(lái)表示這兩個(gè)像素色度的接近程度定義閾值，當(dāng)時(shí)，兩像素色度相似，否則兩像素色度不相似?？紤]矢量(F(x,y)B(x,y))，F(xiàn)(x,y)是當(dāng)前幀在(x,y)處的像素矢量，B(x,y)是背景圖像在(x,y)處的像素矢量。而且在計(jì)算夾角的時(shí)候，需要計(jì)算圖像像素的長(zhǎng)度（||F(x,y)||），因此對(duì)于每一幀的每一個(gè)像素都需要計(jì)算它的長(zhǎng)度，計(jì)算量很大。圖四十四 實(shí)驗(yàn)數(shù)據(jù)一基于RGB空間的陰影處理結(jié)果圖四十五 實(shí)驗(yàn)數(shù)據(jù)二基于RGB空間的陰影處理結(jié)果 改進(jìn)的基于RGB空間的陰影處理由上一節(jié)判斷陰影的條件可以知道，當(dāng)背景像素矢量長(zhǎng)度越長(zhǎng)，即背景像素越亮，而夾角閾值是固定的（），則夾角閾值所圍的RGB空間中的點(diǎn)就越多，即滿足陰影條件的點(diǎn)就就多。通過(guò)調(diào)整閾值重復(fù)實(shí)驗(yàn)，得到最佳閾值=，Tc=60。在亮度上陰影比背景暗，就是說(shuō)陰影像素長(zhǎng)度比背景短，但也不能差別太大，定義域值Tc，當(dāng)圖像像素的亮度與背景的差別大于Tc時(shí)，此像素不是陰影。定義域值，當(dāng)時(shí)，像素夾角差別不大，兩像素色度相似，否則兩像素色度不相似。兩像素色度的差別在RGB空間中表現(xiàn)為像素矢量的夾角的差，夾角的差越大，這兩像素色度差別就越大。下面分別講述。為了判斷陰影，可以將提取出的運(yùn)動(dòng)前景像素點(diǎn)的某些屬性和對(duì)應(yīng)背景比較，滿足某些條件的就是陰影。圖四十二 實(shí)驗(yàn)數(shù)據(jù)一的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果，Ta=36圖四十三 實(shí)驗(yàn)數(shù)據(jù)二的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果，Ta=36 陰影處理從上一節(jié)的圖中可以看到，運(yùn)動(dòng)物體都帶有很大的陰影。通過(guò)調(diào)整閾值Ta重復(fù)實(shí)驗(yàn)，找到了最佳的閾值Ta=36。其中圖三十八、圖三十九閾值Ta=25，圖四十、圖四十一閾值Ta=45。實(shí)驗(yàn)數(shù)據(jù)一的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果的其中一幀圖像如圖三十八和圖四十。歐氏距離提取運(yùn)動(dòng)點(diǎn)團(tuán)的具體算法如下：1)設(shè)背景圖像是B (x,y)2)遍歷當(dāng)前幀的每一個(gè)像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當(dāng)前幀的運(yùn)動(dòng)點(diǎn)團(tuán)圖像。閾值Ta是前景與背景差別的量度，即前景與背景的距離至少相差Ta。 基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取兩個(gè)彩色像素矢量的歐氏距