【正文】 點(diǎn)團(tuán)的中心可以認(rèn)為就是點(diǎn)團(tuán)最小外接矩形的中心。使用改進(jìn)的線段編碼算法，我們可得到每一幀圖像的運(yùn)動(dòng)點(diǎn)團(tuán)的位置，接著，我們需要設(shè)法得到相鄰兩幀圖像對(duì)應(yīng)的運(yùn)動(dòng)點(diǎn)團(tuán)，即因?yàn)檫\(yùn)動(dòng)而在前后兩幀中有位置變化的點(diǎn)團(tuán)。這樣，在一個(gè)連通區(qū)域中，每一行只有一條線段，它是覆蓋原來(lái)同一行中所有線段的最小線段，連通區(qū)域中的空洞就被去除了，輪廓也比原算法規(guī)整。即對(duì)圖像中的每個(gè)像素掃描一遍就可以得到所有的連通區(qū)域了。然后掃描到線段3，線段3是孤立線段，連通區(qū)域2被初始化，將線段3放入連通區(qū)域2。而且，這個(gè)算法得到的是輪廓點(diǎn)集，這是不規(guī)則的圖形，需要進(jìn)一步處理才能得到每個(gè)運(yùn)動(dòng)點(diǎn)團(tuán)的位置和大小。2)定義如圖六十所示的八個(gè)方向，例如第0方向是左上、第1方向是上。因?yàn)楦g和膨脹運(yùn)算會(huì)改變物體的大小，閉運(yùn)算無(wú)法去除微小的噪聲物體。膨脹運(yùn)算的定義式為[19]這里的B是輸入圖像中所有取值為1的點(diǎn)的集合，E為輸出圖像中所有取值為1的點(diǎn)的集合。數(shù)學(xué)形態(tài)學(xué)處理與卷積類似，輸出圖像的某個(gè)像素由輸入圖像的對(duì)應(yīng)像素及其領(lǐng)域像素依據(jù)結(jié)構(gòu)元素決定。而為了說(shuō)明這是必要的，我們將在那一節(jié)看到，直接在運(yùn)動(dòng)點(diǎn)團(tuán)層做運(yùn)動(dòng)跟蹤效果是很差的，會(huì)出現(xiàn)一些問(wèn)題，第七章研究了解決這些問(wèn)題的方法。我們將一個(gè)連通區(qū)域稱作一個(gè)運(yùn)動(dòng)點(diǎn)團(tuán)。盡管位于場(chǎng)景遠(yuǎn)處位置的一個(gè)像素代表的實(shí)際面積比場(chǎng)景近處位置的一個(gè)像素代表的實(shí)際面積更大，但因?yàn)橛?jì)算的是比例，可以將其簡(jiǎn)化而省去繁瑣的攝像頭標(biāo)定工作。具體算法如下：1)在某時(shí)間段采樣得到N個(gè)圖像幀F(xiàn)i, i=1,2…N；2)對(duì)每一個(gè)像素點(diǎn)(x,y): a)Sum(x,y)=0。 興趣區(qū)的提取和實(shí)驗(yàn)興趣區(qū)是圖像中有可能出現(xiàn)運(yùn)動(dòng)物體的區(qū)域。例如，道路交通場(chǎng)景中，視頻圖像的上面部分“天空、建筑”的區(qū)域不會(huì)出現(xiàn)運(yùn)動(dòng)物體，下面部分“道路”區(qū)域才會(huì)出現(xiàn)汽車等運(yùn)動(dòng)物體。背景更新有兩種策略。因?yàn)橄噜弮蓭幌嗤牟糠志褪沁\(yùn)動(dòng)部分，因此這個(gè)方法能夠提取出運(yùn)動(dòng)前景。對(duì)實(shí)驗(yàn)數(shù)據(jù)一的其中一幀的提取結(jié)果如圖五十四。圖五十二 基于灰度圖像的運(yùn)動(dòng)點(diǎn)團(tuán)圖像與參考圖像差別隨閾值變化關(guān)系圖 邊緣圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取第三章已經(jīng)講述了如何將原始彩色圖像序列通過(guò)彩色邊緣檢測(cè)得到邊緣圖像序列，以及提取邊緣圖像的背景。對(duì)兩組實(shí)驗(yàn)數(shù)據(jù)，我們都能得到基于彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取方法和基于灰度圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取方法的最佳閾值滿足經(jīng)驗(yàn)關(guān)系式，這個(gè)系數(shù)來(lái)源于彩色圖像的像素有三個(gè)顏色分量，在RGB空間中，若矢量的每個(gè)分量都為a，則矢量的長(zhǎng)度為a。為了尋找基于彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取方法和基于灰度圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取方法之間的關(guān)系，再進(jìn)行如下實(shí)驗(yàn)。圖四十八 實(shí)驗(yàn)數(shù)據(jù)一基于HSI空間的陰影處理結(jié)果圖四十九 實(shí)驗(yàn)數(shù)據(jù)二基于HSI空間的陰影處理結(jié)果 灰度圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取第三章已經(jīng)講述了如何將原始彩色圖像序列變換成灰度圖像序列，以及提取灰度圖像的背景。HSI空間的三個(gè)分量I是亮度、S是飽和度、H是色度。為了不讓矢量F(x,y)太小，再加個(gè)條件就可以了，Td是閾值。取此閾值的陰影處理后的運(yùn)動(dòng)點(diǎn)團(tuán)圖像如圖四十四、圖四十五。 基于RGB空間的陰影處理陰影與背景在色度上相似，在亮度上陰影比背景暗；而前景一般在色度和亮度上和背景都有差別，這就是陰影和前景不同的地方。圖三十八 實(shí)驗(yàn)數(shù)據(jù)一的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果，Ta=25圖三十九 實(shí)驗(yàn)數(shù)據(jù)二的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果，Ta=25圖四十 實(shí)驗(yàn)數(shù)據(jù)一的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果，Ta=45圖四十一 實(shí)驗(yàn)數(shù)據(jù)二的基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取實(shí)驗(yàn)結(jié)果，Ta=45從圖中可以看到，基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取的圖像比基于馬氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取效果好，而且其不需要計(jì)算每個(gè)像素的方差值，也不需要在計(jì)算距離時(shí)做方差歸一化處理，此算法優(yōu)于基于馬氏距離的算法。若閾值為Ta，則如果圖像像素與對(duì)應(yīng)背景像素的歐氏距離不小于Ta，其為前景；否則為背景。設(shè)圖像的總像素?cái)?shù)為M，對(duì)每一幀圖像都要遍歷每一個(gè)像素，因此這個(gè)算法的時(shí)間復(fù)雜度是O(M)。在背景提取的時(shí)候可以把每個(gè)像素的方差計(jì)算出來(lái)。背景提取出來(lái)后，并不是不變的。非背景部分就是運(yùn)動(dòng)前景，但這里不稱其為前景是因?yàn)檫@一步處理的是第二章所說(shuō)的點(diǎn)團(tuán)層，我們?cè)邳c(diǎn)團(tuán)層上面還有一層運(yùn)動(dòng)物體層，這是為了提高運(yùn)動(dòng)跟蹤的效果，詳見(jiàn)第七章。這樣，對(duì)每一個(gè)彩色像素，都考慮了整個(gè)彩色像素矢量，也就是同時(shí)考慮了每個(gè)像素的三個(gè)顏色分量。它們都是的矩陣[12]。圖二十三 灰度圖像序列的基于均值的背景圖像圖二十四 灰度圖像序列的改進(jìn)的基于均值的背景圖像圖二十五 灰度圖像序列的基于中值濾波的背景圖像圖二十六 灰度圖像序列的基于共同區(qū)域的背景圖像 邊緣圖像的背景提取背景提取的目的是為了去除背景，取得每一幀圖像的運(yùn)動(dòng)前景。但是這種方法和人眼視覺(jué)感知不符?；谥兄禐V波的背景提取算法，只是取排序中位于中間的元素作輸出，舍棄掉了其他元素，沒(méi)有充分利用其他元素的信息，并且排序比較耗時(shí)，因此基于中值濾波的背景提取算法不是很好的算法。圖二十二 實(shí)驗(yàn)數(shù)據(jù)二不同提取背景的算法PSNR與處理時(shí)間關(guān)系圖（局部）從圖二十和圖二十二這兩組實(shí)驗(yàn)數(shù)據(jù)的結(jié)果中，我們可以得到以下結(jié)論：并不是采樣率越高（處理時(shí)間越長(zhǎng)），PSNR就越高。采樣率(f/s)12525基于均值 改進(jìn)的基于均值 基于中值濾波 基于共同區(qū)域 表二 實(shí)驗(yàn)數(shù)據(jù)一不同方法得到的背景與標(biāo)準(zhǔn)背景圖像比較的PSNR比較同一采樣率下不同方法的PSNR不能說(shuō)明問(wèn)題，因?yàn)橥徊蓸勇氏虏煌椒ㄐ枰膶?shí)際處理時(shí)間不相同。圖十七 實(shí)驗(yàn)數(shù)據(jù)一的標(biāo)準(zhǔn)背景圖像圖十八 實(shí)驗(yàn)數(shù)據(jù)二的標(biāo)準(zhǔn)背景圖像確定了標(biāo)準(zhǔn)圖像后，考慮比較標(biāo)準(zhǔn)。采樣率越高，處理的時(shí)間越長(zhǎng)，見(jiàn)表一。設(shè)圖像的總像素?cái)?shù)為M，則對(duì)每一個(gè)像素都要遍歷2次N個(gè)圖像幀——產(chǎn)生集合A的點(diǎn)一次，求平均值一次，因此這個(gè)算法的時(shí)間復(fù)雜度是O(2MN)=O(MN)。這時(shí)還要考慮某些像素不在任何背景區(qū)域中的情況——如果前景運(yùn)動(dòng)變化過(guò)于頻繁，某像素在任何圖像對(duì)中都有很大差別，這種情況將出現(xiàn)。設(shè)圖像的像素?cái)?shù)是M，對(duì)每個(gè)像素都要對(duì)采樣的N個(gè)樣本進(jìn)行排序，因此此算法的時(shí)間復(fù)雜度是O(MNlogN)或者O(MN2)，是比較耗時(shí)的算法。將中值濾波擴(kuò)展到彩色圖像的算法如下：將彩色圖像轉(zhuǎn)換成灰度圖像，遍歷灰度圖像的每一個(gè)像素，將它和與它相鄰的八個(gè)像素的灰度排序，取排在中間的像素對(duì)應(yīng)的原始彩色圖像的像素矢量作為輸出圖像的這個(gè)像素。我們將這個(gè)像素和它相鄰的像素排序，噪聲點(diǎn)將被排到兩邊，排在中間的像素就是沒(méi)被噪聲污染的像素，把它作為濾波結(jié)果。因此，可以對(duì)基于均值的彩色圖像背景提取算法做改進(jìn)：在求平均值之后求標(biāo)準(zhǔn)差，然后把與均值大于標(biāo)準(zhǔn)差的采樣點(diǎn)去除，最后再求余下的點(diǎn)的平均值，把此值作為背景值。具體算法如下：1)在某時(shí)間段采樣得到N個(gè)圖像幀F(xiàn)i, i=1,2…N；2)對(duì)每一個(gè)像素點(diǎn)(x,y)，背景設(shè)圖像的總像素?cái)?shù)為M，對(duì)每一個(gè)像素都要遍歷N個(gè)圖像幀，因此這個(gè)算法的時(shí)間復(fù)雜度是O(MN)。這是因?yàn)?，?duì)于固定場(chǎng)景，運(yùn)動(dòng)物體在運(yùn)動(dòng)，其轉(zhuǎn)瞬即逝，大多數(shù)時(shí)間我們看到的都是靜止背景，因此圖像上某個(gè)像素點(diǎn)作為前景的時(shí)間相對(duì)作為背景的時(shí)間短得多；而且，運(yùn)動(dòng)物體和靜止背景在色彩上有明顯區(qū)別，人能輕易分辨出前景物體，即使在一張靜止圖像上。這是下一步運(yùn)動(dòng)點(diǎn)團(tuán)提取的基礎(chǔ)。圖二中虛線框的步驟，是物體運(yùn)動(dòng)跟蹤之后可以繼續(xù)進(jìn)行的后續(xù)步驟，本文把精力集中放在運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤的研究上，沒(méi)有對(duì)這些后續(xù)步驟做更多研究，在這里做簡(jiǎn)單說(shuō)明：運(yùn)動(dòng)物體真實(shí)速度獲取的目的是把運(yùn)動(dòng)跟蹤得到的物體在圖像二維坐標(biāo)下的速度轉(zhuǎn)換成真實(shí)空間三維坐標(biāo)下的速度，其涉及到攝像頭標(biāo)定；車型車牌識(shí)別、道路事件檢測(cè)是將運(yùn)動(dòng)跟蹤得到的車輛和道路數(shù)據(jù)作進(jìn)一步的處理，以得到諸如車型、車牌、車輛是否闖紅燈、車輛是否超速等等，其涉及到很多研究方向，如模式識(shí)別等。提取運(yùn)動(dòng)點(diǎn)團(tuán)的位置和大小有多種算法，第六章比較了不同的算法，并且提出了改進(jìn)算法，改進(jìn)算法更適合運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤。并不是圖像的每一個(gè)像素都會(huì)出現(xiàn)運(yùn)動(dòng)物體，關(guān)注區(qū)是圖像中可能會(huì)出現(xiàn)運(yùn)動(dòng)物體的部分。除了直接將視頻圖像序列做處理外，還可以先將視頻圖像序列轉(zhuǎn)換成灰度圖像序列，然后在灰度圖像序列上做運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤；或者，因?yàn)榍熬?、背景分離的最重要的信息是邊緣信息，可先將視頻圖像序列轉(zhuǎn)換成邊緣圖像序列，然后在邊緣圖像序列上做運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤[5]。首先，它需要人工標(biāo)定虛擬檢測(cè)線，攝像頭一旦換位置，就需要重新設(shè)定一次虛擬檢測(cè)線，很不方便；其次，它只能檢測(cè)通過(guò)虛擬檢測(cè)線的車輛，而對(duì)圖像其他區(qū)域的車輛一無(wú)所知，圖像的大量信息丟失掉了。從視頻圖像序列中獲得運(yùn)動(dòng)物體的數(shù)據(jù)的方法除了能運(yùn)用在道路交通外，也能運(yùn)用于各種監(jiān)控領(lǐng)域，例如小區(qū)防盜、銀行監(jiān)控等等，用以檢測(cè)和跟蹤進(jìn)入場(chǎng)景的人或物體，應(yīng)用范圍非常廣泛。關(guān)鍵詞：背景提取、陰影處理、運(yùn)動(dòng)目標(biāo)檢測(cè)、運(yùn)動(dòng)跟蹤、彩色圖像、灰度圖像、彩色邊緣檢測(cè)AbstractIn a traffic control system, in order to achieve the data of moving vehicles, hardware is installed to directly measure them in the early days. If we use puter software to calculate the data from traffic video, we can gain more convenience and flexibility. This thesis is focused on the research of the methods of achieving the data of moving vehicles from traffic video by puter.Moving object detection and tracking can be divided into these steps: background extraction, moving blob extraction, moving blob’s position achieving and moving object tracking. This thesis shows our experiments and analysis on many algorithms in each of the steps. It also shows the improvement of the algorithms made by us. The experiments and analysis demonstrate that the improved algorithms are better then the original ones.Experiments and analysis also demonstrate that moving object detection and tracking based on color images is better than based on the gray images or edge images.In the end we obtain a whole method of moving object detection and tracking. The robustness and realtime property of the method can reach the acquirement of the real application. Keywords:Background Extraction, Shadow Elimination, Moving Object Detection, Moving Object Tracking, Color Image, Gray Image, Color Edge Detector目 錄摘 要 IAbstract II目 錄 III第一章 引言 1第二章 運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤的流程 2第三章 背景提取 7 彩色圖像的背景提取 7 基于均值的彩色圖像背景提取 8 改進(jìn)的基于均值的彩色圖像背景提取 9 基于中值濾波的彩色背景圖像提取 11 基于共同區(qū)域的彩色圖像背景提取 13 彩色圖像背景提取的實(shí)驗(yàn)分析 16 灰度圖像的背景提取 24 彩色圖像轉(zhuǎn)換成灰度圖像 24 灰度圖像的背景提取 25 邊緣圖像的背景提取 26 彩色圖像的邊緣提取 27 邊緣圖像的背景提取 28第四章 運(yùn)動(dòng)點(diǎn)團(tuán)提取和背景更新 31 彩色圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取 31 基于馬氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取 32 基于歐氏距離的運(yùn)動(dòng)點(diǎn)團(tuán)提取 35 陰影處理 38 基于RGB空間的陰影處理 39 改進(jìn)的基于RGB空間的陰影處理 40 基于HSI空間的陰影處理 42 灰度圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取 44 邊緣圖像的運(yùn)動(dòng)點(diǎn)團(tuán)提取 47 基于幀間差的運(yùn)動(dòng)點(diǎn)團(tuán)提取及其與背景差法比較 49 背景更新 50第五章 興趣區(qū)提取 51 興趣區(qū)的提取和實(shí)驗(yàn) 51 道路繁忙度獲取 53第六章 運(yùn)動(dòng)點(diǎn)團(tuán)的位置提取 54 數(shù)學(xué)形態(tài)學(xué)處理 54 輪廓追蹤 56 線段編碼 57 改進(jìn)的線段編碼 58 運(yùn)動(dòng)點(diǎn)團(tuán)層運(yùn)動(dòng)跟蹤 59第七章 運(yùn)動(dòng)跟蹤 62 卡爾曼濾波 62 基于預(yù)測(cè)的運(yùn)動(dòng)跟蹤 64 運(yùn)動(dòng)跟蹤算法的計(jì)算復(fù)雜性分析與改進(jìn) 68 基于邊緣圖像的運(yùn)動(dòng)跟蹤結(jié)果 69 基于預(yù)測(cè)的運(yùn)動(dòng)跟蹤算法在不同