【正文】 中進行。，這是興趣區(qū)的直接應(yīng)用。 興趣區(qū)的提取和實驗興趣區(qū)是圖像中有可能出現(xiàn)運動物體的區(qū)域。在背景提取階段，對按時間采樣得到的圖像樣本，統(tǒng)計每個像素點前景和背景出現(xiàn)的次數(shù)，就可以得到興趣區(qū)。問題轉(zhuǎn)換成了在不知道前景的情況下，如何估計每個像素點前景和背景出現(xiàn)的次數(shù)。我們在第3章已經(jīng)討論過這個問題：在背景提取時，也要在求平均值之前，去除不大可能是背景的樣本，使求出來的平均值會更加接近背景。因此。下面講述基于共同區(qū)域的背景提取算法推廣到興趣區(qū)提取?？紤]前后相隔一定時間的兩圖像幀，如果同一個像素在這兩幀中差別不大，則認為背景出現(xiàn)了兩次；否則認為背景沒出現(xiàn)。在一定的時間段中，采樣得到若干有一定時間間隔的圖像對，統(tǒng)計背景出現(xiàn)的次數(shù)，根據(jù)各個像素背景出現(xiàn)的次數(shù)可以得到興趣區(qū)。具體算法如下：1)在某時間段采樣得到N個圖像幀F(xiàn)i, i=1,2…N；2)對每一個像素點(x,y): a)Sum(x,y)=0。 b)對每一個圖像對Fi(x,y)和Fi+N/2(x,y)，i=1,2…N/2 如果，則Sum(x,y)=Sum(x,y)+2，其中Ta是閾值；3)對Sum(x,y)作水平投影或垂直投影，得到背景像素點的分布圖，根據(jù)分布圖的波峰、波谷即可確定興趣區(qū)。使用實驗數(shù)據(jù)一得到的背景統(tǒng)計灰度圖見圖五十六。圖中的像素越黑表示背景出現(xiàn)的次數(shù)越大。圖五十六 實驗數(shù)據(jù)一的背景統(tǒng)計灰度圖將此統(tǒng)計圖作水平投影，從下往上找第一個背景像素波峰，以此作為分界線，上面部分就是不大可能出現(xiàn)運動物體的區(qū)域，下面部分就是運動物體出現(xiàn)的道路，即興趣區(qū)。見圖五十七。圖五十七 興趣區(qū)示意圖 道路繁忙度獲取對于道路場景，定義繁忙度為一段時間的道路占有率的平均值。而某一時刻的道路占有率為此時刻道路場景中所有車輛所占道路面積與道路總面積之比對于視頻圖像序列，可以將運動點團像素總數(shù)作為場景中所有車輛的面積的近似，把興趣區(qū)像素總數(shù)作為道路面積的近似。盡管位于場景遠處位置的一個像素代表的實際面積比場景近處位置的一個像素代表的實際面積更大，但因為計算的是比例，可以將其簡化而省去繁瑣的攝像頭標定工作。因此，近似的把一幀中運動點團像素總數(shù)與興趣區(qū)像素總數(shù)之比作為這一時刻的道路占有率。運動點團像素在運動點團提取步驟獲得，在上一部分已經(jīng)講述；興趣區(qū)像素在上一節(jié)已敘述。在得到每一幀的道路占有率之后，每隔一段時間將其做平均，根據(jù)得到的值的大小判斷道路的繁忙程度，以及道路繁忙度的變化情況。這不需要很精確道路占有率數(shù)值，上面的近似是可行的。第六章 運動點團的位置提取運動點團圖像是二值圖像。在位置提取之前，需要對其進行數(shù)學(xué)形態(tài)學(xué)處理，去除比較小的噪音點。接下來要將不同的連通區(qū)域的位置和大小提取出來。我們將一個連通區(qū)域稱作一個運動點團。在一幅運動點團二值圖像中，有很多個連通區(qū)域，將各個運動點團的位置和大小提取出來，構(gòu)成一個鏈表，以供下一步作運動跟蹤之用。我們可以不關(guān)心運動點團內(nèi)部的空洞，甚至輪廓上的凹凸。因此可以用連通區(qū)域的最小外接矩形表示每個運動點團，這個矩形完全包含了運動點團的位置和大小信息。這一步驟的目標就是獲得代表每個運動點團的矩形，每幀圖像的所有矩形構(gòu)成一個鏈表。需要指出的是，每個矩形并不是運動物體。具體來說，一個矩形可能是多個靠近的運動物體構(gòu)成的一個連通區(qū)域；一個運動物體可能因為部分區(qū)域與背景相似而分割成幾個連通區(qū)域。因此，我們在運動點團上還有一層運動物體層。而為了說明這是必要的，我們將在那一節(jié)看到，直接在運動點團層做運動跟蹤效果是很差的，會出現(xiàn)一些問題，第七章研究了解決這些問題的方法。，分別是輪廓追蹤算法、線段編碼算法和改進的線段編碼算法。其中改進的線段編碼算法比輪廓追蹤算法和線段編碼算法在提取運動點團的位置和大小上更優(yōu)。，進而引出第七章。 數(shù)學(xué)形態(tài)學(xué)處理運動點團圖像是二值圖像，黑色像素是背景點，白色像素是前景點。圖像中存在噪聲，即孤立的白像素和孤立的黑像素?？梢允褂脭?shù)學(xué)形態(tài)學(xué)的方法將二值圖像中的孤立噪聲點去除。數(shù)學(xué)形態(tài)學(xué)算法主要有腐蝕、膨脹、開運算、閉運算。數(shù)學(xué)形態(tài)學(xué)處理與卷積類似，輸出圖像的某個像素由輸入圖像的對應(yīng)像素及其領(lǐng)域像素依據(jù)結(jié)構(gòu)元素決定。結(jié)構(gòu)元素S類似于卷積核，在這里取33的矩陣，矩陣的每個元素都是1。表示將結(jié)構(gòu)元素移動到(x,y)處。腐蝕運算的定義式為[19]這里的B是輸入圖像中所有取值為1的點的集合，E為輸出圖像中所有取值為1的點的集合。這個式子表示，結(jié)構(gòu)元素移動到點(x,y)，如果其完全包含在集合B中，則(x,y)是集合E中的元素。對于全部由1構(gòu)成的33矩陣的結(jié)構(gòu)元素來說，如果輸入圖像的點(x,y)處的像素為1，且其鄰域的8個像素也為1，則輸出圖像的點(x,y)處的像素為1，否則為0。腐蝕運算可以消除物體的邊界點。對去除微小的物體很有用。膨脹運算的定義式為[19]這里的B是輸入圖像中所有取值為1的點的集合，E為輸出圖像中所有取值為1的點的集合。這個式子表示，結(jié)構(gòu)元素移動到點(x,y)，如果其與集合B的交集不為空，則(x,y)是集合E中的元素。對于全部由1構(gòu)成的33矩陣的結(jié)構(gòu)元素來說，如果輸入圖像的點(x,y)處和其鄰域的8個像素其中有一個為1，則輸出圖像的點(x,y)處的像素為1，否則為0。膨脹運算可以增大物體面積。對填充物體中微小的空洞很有用。開運算是對二值圖像先腐蝕后膨脹，定義式為[19]開運算具有去除微小物體、平滑物體邊界而不改變物體大小的作用。閉運算是對二值圖像先膨脹后腐蝕，定義式為[19]閉運算具有填充物體中微小空洞、連接鄰近物體、平滑物體邊界而不改變物體大小的作用。通過實驗，對運動點團二值圖像做開運算效果較好，結(jié)果比較符合我們的要求。因為腐蝕和膨脹運算會改變物體的大小，閉運算無法去除微小的噪聲物體。開運算能很好的去除微小的噪聲物體而不改變物體大小，雖然其不能去除物體內(nèi)部的微小空洞，但物體內(nèi)部的微小空洞不會影響之后的運動點團位置提取和運動跟蹤，這在下面會談到。因此，我們使用開運算做二值圖像的噪聲去除。圖五十八是實驗數(shù)據(jù)一的其中一幀做運動點團提取和陰影處理后再經(jīng)開運算處理后的結(jié)果。圖五十九是實驗數(shù)據(jù)一提取ColorSobel邊緣后的其中一幀做邊緣圖像的運動點團提取之后在經(jīng)開運算處理后的結(jié)果。圖五十八 實驗數(shù)據(jù)一的運動點團圖開運算結(jié)果圖五十九 實驗數(shù)據(jù)一的ColorSobel邊緣運動點團圖開運算結(jié)果 輪廓追蹤這個方法的目標是提取運動點團的輪廓點。首先，找到輪廓上的第一點，然后按順時針或逆時針找輪廓上的下一個點，不斷重復(fù)找下去，直到回到找到的第一個點為止。具體算法如下：1)輪廓上第一個點是連通區(qū)域中的最下面的點中的最左邊的那個。2)定義如圖六十所示的八個方向，例如第0方向是左上、第1方向是上。3)從第一個點的第0方向上的像素開始，如果這個點是連通區(qū)域中的點，則其必為輪廓點，否則看第1方向上的像素，如果其為連通區(qū)域中的點，則為輪廓點，否則看第2方向上的像素……直到找到下一個輪廓點為止。設(shè)新找到的輪廓點在第i方向上。4)對新找到的輪廓點，從第i1方向開始找下一個輪廓點（如果i為0則從第7方向開始），類似第3)步，直到找到下一個輪廓點為止。5)設(shè)新找到的輪廓點在第i方向上，重復(fù)第4)步直到新找到的輪廓點是第一個點為止。01273654圖六十 八個方向示意圖如果二值圖像中只有一個連通區(qū)域，則此算法可以有效的獲得其輪廓點。但是我們的圖像有多個連通區(qū)域，需要把每個連通區(qū)域的輪廓都提取出來。這時為了找到下一個連通區(qū)域的第一個輪廓點，需要重復(fù)遍歷已提取出輪廓點的連通區(qū)域，也就是說為了得到所有連通區(qū)域的輪廓，每個像素點需要遍歷不止一次，這個算法的效率并不高。而且，這個算法得到的是輪廓點集，這是不規(guī)則的圖形，需要進一步處理才能得到每個運動點團的位置和大小。因此，這個算法并不適合我們的需求。 線段編碼線段編碼算法通過逐行掃描獲取運動點團的位置和大小。我們舉例說明這個算法。如圖六十一所示是一個連通區(qū)域，共有五行。我們從上面開始，逐行掃描，掃描線從左到右。首先掃描到圖中編號為1的線段（即線段1），因為其是孤立線段，連通區(qū)域1被初始化，將線段1放入連通區(qū)域1。接下來掃描第2行，掃描到線段2，因為線段1和線段2相鄰，將線段2放入連通區(qū)域1。然后掃描到線段3，線段3是孤立線段，連通區(qū)域2被初始化，將線段3放入連通區(qū)域2。如果圖像只有這兩行，則到這里掃描結(jié)束，我們得到了兩個連通區(qū)域，每個連通區(qū)域的大小和位置都出來了。這個圖像還有第3和第4行，我們繼續(xù)掃描。第3條掃描線掃描到線段4，發(fā)現(xiàn)線段4和線段2相鄰，將線段4放入連通區(qū)域1；接著發(fā)現(xiàn)線段4也和線段3相鄰，這時，線段4把連通區(qū)域1和連通區(qū)域2給貫通了，則將連通區(qū)域2和連通區(qū)域1合并，設(shè)合并后的連通區(qū)域為連通區(qū)域1。最后掃描第4行，找到線段5，其與線段4相鄰，將線段5放入連通區(qū)域1；然后找到線段6，發(fā)現(xiàn)其也和線段4相鄰，再把線段6并入連通區(qū)域1。至此所有行都掃描完了，得到了一個連通區(qū)域。[20]圖六十一 線段編碼算法示意圖根據(jù)這個實例，我們得到線段編碼具體算法如下：1)掃描圖像中的每行：對這行中的每條線段如果與前一行的一條線段相鄰且僅與這條線段相鄰，則將這條線段加入這個相鄰線段所在的連通區(qū)域；否則，如果與前一行的多條線段相鄰，則將相鄰的這多條線段所在的連通區(qū)域合并成一個連通區(qū)域，將這條線段加入這個連通區(qū)域；否則，對于其他情況，初始化新的連通區(qū)域，將這條線段加入這個連通區(qū)域2)所有連通區(qū)域構(gòu)成的鏈表就是所求。設(shè)一幅圖像的像素點總共有M個，則這個算法的時間復(fù)雜度是O(M)。即對圖像中的每個像素掃描一遍就可以得到所有的連通區(qū)域了。在下一節(jié)，我們將講述改進的線段編碼算法，其更符合我們的要求。 改進的線段編碼連通區(qū)域中有空洞，輪廓也是不規(guī)則的，在上一節(jié)講的線段編碼算法把這些信息都獲取了，然而這些信息不是我們需要的，我們只需要得到每個連通區(qū)域的最小外接矩形，就得到每個運動點團的大小和位置了。為此，我們將線段編碼算法做改進。新算法的目標是，使一個連通區(qū)域中的每一行有且僅有一個線段。仍然用圖六十一來說明。在掃描第3行的時候，發(fā)現(xiàn)線段4貫通了連通點團1和連通點團2，這時把線段2的右邊界延長到線段3的右邊界。在掃描第4行的時候，發(fā)現(xiàn)線段6也是屬于連通點團1時，將線段5的右邊界延長到線段6的右邊界。這樣，在一個連通區(qū)域中，每一行只有一條線段，它是覆蓋原來同一行中所有線段的最小線段，連通區(qū)域中的空洞就被去除了，輪廓也比原算法規(guī)整。采用這個改進算法，也解決了第四章說的在對二值圖像做開運算不能去除物體內(nèi)部的微小空洞的問題。改進的線段編碼算法如下：1)從左向右掃描圖像中的每行：對這行中的每條線段a如果不和前一行的任何線段相鄰或者這行就是第一行，則初始化新的連通區(qū)域，將線段a加入這個連通區(qū)域；否則：a)設(shè)與前一行相鄰的線段中最左那條為線段b如果線段a是此行的第一條線段或者此行之前的線段不與b相鄰，則則將線段a加入b所在的連通區(qū)域；否則，將此行之前的那條線段延長至完全覆蓋線段a；b)如果與前一行的多條線段相鄰，則將這多條線段所在的連通區(qū)域合并成一個連通區(qū)域，在合并時每一行用覆蓋此行中所有線段的最小線段代替此行的線段2)所有連通區(qū)域構(gòu)成的鏈表就是所求。設(shè)一幅圖像的像素點總共有M個，則這個算法的時間復(fù)雜度也是O(M)。也就是說對圖像中的每個像素掃描一遍就可以得到所有的連通區(qū)域了。得到的連通區(qū)域中的每行僅有一條線段，因此可以很容易得到連通區(qū)域的最小外接矩形，運動點團的位置和大小也就得到了。 運動點團層運動跟蹤使用改進的線段編碼算法提取出了運動點團的位置和大小之后，我們就可以進行運動點團層運動跟蹤實驗。運動跟蹤的目標是找出每一個運動物體在連續(xù)視頻圖像序列中的位置，進而得到它們的速度。使用改進的線段編碼算法，我們可得到每一幀圖像的運動點團的位置，接著，我們需要設(shè)法得到相鄰兩幀圖像對應(yīng)的運動點團，即因為運動而在前后兩幀中有位置變化的點團。如果前后兩幀中的點團A、B的重疊部分面積大于A或B的面積的一半，則B是A運動后所在的位置。這是因為，視頻在時間上的采樣率足夠時，點團在前后兩幀中位置的變化不會很大，即點團在前后兩幀中的重疊面積不會很小，采樣率越大，點團的位置變化越小，點團在前后兩幀中重疊面積就越大。在道路交通場景中，采樣率不小于10幀/秒的情況下，點團在前后兩幀中的重疊部分面積不會小于它們各自面積的一半。由A、B的位置可以計算點團的運動速度。如果后幀有不止一個點團和前幀中的點團A的重疊面積滿足要求，則認為A分裂為幾個點團，每個點團繼承原點團A的速度；如果前幀有不止一個點團和后幀中的點團B滿足要求，則認為幾個點團合并成一個點團B，點團B的速度是原來幾個點團速度的平均值。特別指出的是，在點團分裂和合并的情形，點團的新速度都是由前一幀的速度計算得到：點團分裂時，分裂出來的點團的速度等于原點團的速度；點團合并時，合并后點團的速度是原來點團速度的平均值。而對于運動前后都是一個點團的情形，點團的新速度等于后幀點團的中心與前幀點團的中心的矢量差，它有兩個分量，分別代表圖像中兩個方向的速度，單位是像素/采樣周期，采樣周期是指相鄰兩幀的時間間隔。點團的中心可以認為就是點團最小外接矩形的中心。運動點團層運動跟蹤的具體算法如下：對當前幀的運動點團鏈表中的每個運動點團元素B：在前一幀的運動點團鏈表中找運動點團元素A，使A與B的重疊部分面積大于A或B的一半，如果滿足要求的元素A不存在，則B是新出現(xiàn)的運動點團，其速度為0；否則，如果滿足要求的元素A不止一個，則這是合并情形，B的速度為所有滿足要求的元素的速度的平均值；否則，如果重疊部分面積小于A的一半，則這是分裂情形，B的速度等于A的速度；否則，計算運動點團B速度：B的最小外接矩形的中心與A的最小外接矩形的中心的矢量差，它有兩個分量，分別代表圖像中兩個方向的速度，單位是像素/采樣周期。采用此算法做運動跟蹤實驗。實驗數(shù)據(jù)一的其中一