【正文】 碩 士 學(xué) 位 論 文論文題目 運動目標(biāo)檢測與跟蹤的研究與實現(xiàn) 作者姓名 鄭志洵 指導(dǎo)教師 楊建剛教授 學(xué)科(專業(yè)) 計算機應(yīng)用技術(shù) 所在學(xué)院 計算機學(xué)院 提交日期 2006年5月15日 78 / 84摘 要在道路交通管理中，為了獲得車輛的運動數(shù)據(jù)，早期經(jīng)常采用的是感應(yīng)線圈等硬件測量的方法。而如果采用攝像頭拍攝的道路視頻，再用計算機軟件處理的方法，則可以極大的增加方便性和靈活性。本文運動目標(biāo)檢測與跟蹤研究如何讓計算機從視頻圖像序列中獲得物體運動數(shù)據(jù)。運動目標(biāo)檢測與跟蹤分為背景提取、運動點團提取、運動點團位置提取、運動物體跟蹤這幾個步驟，本文對每一個步驟的各種算法做了實驗分析比較研究，并提出了改進(jìn)算法。在背景提取步驟提出了改進(jìn)的基于均值的背景提取算法以及減少圖像像素的興趣區(qū)提取算法。在運動點團提取的陰影處理步驟提出了改進(jìn)的基于RGB空間的陰影處理算法。在運動點團位置提取步驟提出了改進(jìn)的線段編碼算法。在運動物體跟蹤步驟提出了基于預(yù)測的運動跟蹤算法。實驗與分析說明本文提出的算法優(yōu)于原算法。本文還通過實驗分析比較了基于灰度圖像序列的運動目標(biāo)檢測與跟蹤、基于邊緣圖像序列的運動目標(biāo)檢測與跟蹤，它們都沒有基于彩色圖像序列的運動目標(biāo)檢測與跟蹤效果好。最后，本文得到了一整套運動目標(biāo)檢測與跟蹤的方法，它們的健壯性和實時性都符合實際運用的要求。關(guān)鍵詞：背景提取、陰影處理、運動目標(biāo)檢測、運動跟蹤、彩色圖像、灰度圖像、彩色邊緣檢測AbstractIn a traffic control system, in order to achieve the data of moving vehicles, hardware is installed to directly measure them in the early days. If we use puter software to calculate the data from traffic video, we can gain more convenience and flexibility. This thesis is focused on the research of the methods of achieving the data of moving vehicles from traffic video by puter.Moving object detection and tracking can be divided into these steps: background extraction, moving blob extraction, moving blob’s position achieving and moving object tracking. This thesis shows our experiments and analysis on many algorithms in each of the steps. It also shows the improvement of the algorithms made by us. The experiments and analysis demonstrate that the improved algorithms are better then the original ones.Experiments and analysis also demonstrate that moving object detection and tracking based on color images is better than based on the gray images or edge images.In the end we obtain a whole method of moving object detection and tracking. The robustness and realtime property of the method can reach the acquirement of the real application. Keywords:Background Extraction, Shadow Elimination, Moving Object Detection, Moving Object Tracking, Color Image, Gray Image, Color Edge Detector目 錄摘 要 IAbstract II目 錄 III第一章 引言 1第二章 運動目標(biāo)檢測和跟蹤的流程 2第三章 背景提取 7 彩色圖像的背景提取 7 基于均值的彩色圖像背景提取 8 改進(jìn)的基于均值的彩色圖像背景提取 9 基于中值濾波的彩色背景圖像提取 11 基于共同區(qū)域的彩色圖像背景提取 13 彩色圖像背景提取的實驗分析 16 灰度圖像的背景提取 24 彩色圖像轉(zhuǎn)換成灰度圖像 24 灰度圖像的背景提取 25 邊緣圖像的背景提取 26 彩色圖像的邊緣提取 27 邊緣圖像的背景提取 28第四章 運動點團提取和背景更新 31 彩色圖像的運動點團提取 31 基于馬氏距離的運動點團提取 32 基于歐氏距離的運動點團提取 35 陰影處理 38 基于RGB空間的陰影處理 39 改進(jìn)的基于RGB空間的陰影處理 40 基于HSI空間的陰影處理 42 灰度圖像的運動點團提取 44 邊緣圖像的運動點團提取 47 基于幀間差的運動點團提取及其與背景差法比較 49 背景更新 50第五章 興趣區(qū)提取 51 興趣區(qū)的提取和實驗 51 道路繁忙度獲取 53第六章 運動點團的位置提取 54 數(shù)學(xué)形態(tài)學(xué)處理 54 輪廓追蹤 56 線段編碼 57 改進(jìn)的線段編碼 58 運動點團層運動跟蹤 59第七章 運動跟蹤 62 卡爾曼濾波 62 基于預(yù)測的運動跟蹤 64 運動跟蹤算法的計算復(fù)雜性分析與改進(jìn) 68 基于邊緣圖像的運動跟蹤結(jié)果 69 基于預(yù)測的運動跟蹤算法在不同采樣率下的健壯性 70 運動跟蹤的最終結(jié)果 74第八章 總結(jié)與展望 75參考文獻(xiàn) 76致 謝 78第一章 引言在道路交通控制管理領(lǐng)域，管理部門需要掌握道路上車輛的速度、車輛的數(shù)量等等數(shù)據(jù)以控制紅綠燈平衡道路車流量、對超速和闖紅燈的車輛進(jìn)行處罰。早期，人們一般采用感應(yīng)線圈的方式獲得車輛的速度、車輛的數(shù)量等數(shù)據(jù)。這種方法，需要在檢測路段埋入感應(yīng)線圈，這需要對道路施工，會影響交通，嚴(yán)重影響道路壽命，并且感應(yīng)線圈設(shè)備容易被重型車輛壓壞，維護起來又要對道路施工，非常麻煩[1]。隨著計算機技術(shù)的發(fā)展，道路交通數(shù)據(jù)獲取不再需要復(fù)雜的線圈設(shè)備了。只需在檢測路段固定攝像頭，攝像頭拍攝的道路數(shù)字化視頻壓縮后通過傳輸線路（如光纖）傳輸?shù)奖O(jiān)控中心，監(jiān)控中心的計算機采用數(shù)字圖像處理的方法將道路交通的數(shù)據(jù)計算出來[2]。與早期的方法相比，這種方法利用了軟件算法通過計算機的強大計算能力得到我們需要的數(shù)據(jù)，而不是復(fù)雜的硬件設(shè)備（如感應(yīng)線圈）對數(shù)據(jù)直接測量。這極大的增加了方便性和靈活性。如何讓計算機從視頻圖像序列中獲得道路交通數(shù)據(jù)，例如車輛的速度等，近年來很多人對此展開了研究。從視頻圖像序列中獲得運動物體的數(shù)據(jù)的方法除了能運用在道路交通外，也能運用于各種監(jiān)控領(lǐng)域，例如小區(qū)防盜、銀行監(jiān)控等等，用以檢測和跟蹤進(jìn)入場景的人或物體，應(yīng)用范圍非常廣泛。本文就是研究如何讓計算機從視頻圖像序列中獲得物體運動數(shù)據(jù)——視頻圖像序列中運動物體的檢測和跟蹤。研究以道路交通作為實驗場景，單攝像頭且攝像頭固定的情況。輸入是RGB色彩空間的視頻圖像序列，目標(biāo)是實現(xiàn)對視頻圖像序列中運動物體的跟蹤，獲得其在圖像坐標(biāo)下的速度。而多攝像頭的情況和攝像頭跟隨物體運動的情況，比單攝像頭且攝像頭固定的情況復(fù)雜，例如多攝像頭的多個二維圖像序列中如何重構(gòu)三維場景等。單攝像頭且攝像頭固定的情況是最基本的情況，因此本文集中精力研究單攝像頭且攝像頭固定情況下的運動目標(biāo)檢測和跟蹤。第二章 運動目標(biāo)檢測和跟蹤的流程在道路視頻圖像序列中獲得車輛的速度，可以使用簡單的方法，就是在圖像中的道路位置設(shè)置虛擬檢測線，模擬感應(yīng)線圈，根據(jù)虛擬檢測線上的像素顏色的變化得到經(jīng)過虛擬檢測線的車輛的速度，同時也可以對經(jīng)過虛擬檢測線的車輛計數(shù)[3]。這種方法有很大的局限性。首先，它需要人工標(biāo)定虛擬檢測線，攝像頭一旦換位置，就需要重新設(shè)定一次虛擬檢測線，很不方便；其次，它只能檢測通過虛擬檢測線的車輛，而對圖像其他區(qū)域的車輛一無所知，圖像的大量信息丟失掉了。因此，本文不采取虛擬檢測線的方法，而以運動物體（車輛）為目標(biāo)，跟蹤每個運動物體在視頻圖像序列中的位置，進(jìn)而得到每個物體的運動速度和運動物體總數(shù)。運動目標(biāo)檢測與跟蹤的流程有三個層次，如圖一[4]。每個層次再細(xì)分，可以得到圖二的幾個步驟。圖像像素層運動點團層運動物體層圖一 運動目標(biāo)檢測與跟蹤的層次 視頻圖像序列 邊緣檢測 背景提取 運動點團提取 運動點團位置提取 數(shù)學(xué)形態(tài)學(xué)處理 物體運動跟蹤 興趣區(qū)獲取 灰度轉(zhuǎn)換 道路繁忙度 車型車牌識別 道路事件檢測 攝像頭標(biāo)定物體真實速度獲取 背景更新 圖二 運動目標(biāo)檢測和跟蹤的步驟系統(tǒng)的輸入是彩色視頻圖像序列。檢測運動物體需要無運動物體的背景圖像，而視頻圖像序列中的每幀圖像一般都有運動物體，因此需要提取背景。背景圖像提取出來后，將每一幀圖像與背景圖像作差，然后二值化，得到前景像素構(gòu)成的運動點團圖像，這就是背景差法。背景提取有很多種算法，第三章將詳述與比較各種背景提取算法，并提出一種改進(jìn)的算法，實驗證明改進(jìn)的算法有更好的效果。除了直接將視頻圖像序列做處理外，還可以先將視頻圖像序列轉(zhuǎn)換成灰度圖像序列，然后在灰度圖像序列上做運動目標(biāo)檢測和跟蹤；或者，因為前景、背景分離的最重要的信息是邊緣信息，可先將視頻圖像序列轉(zhuǎn)換成邊緣圖像序列，然后在邊緣圖像序列上做運動目標(biāo)檢測和跟蹤[5]。第三章也講述了彩色圖像轉(zhuǎn)變成灰度圖像的方法以及提取彩色圖像的邊緣圖像的方法。第四章講述并比較了每一幀圖像與背景圖像作差的不同方法。由于陰影的存在，背景差法會把陰影作為運動物體的一部分，而陰影會把不同的運動物體連成一片，影響之后的處理，因此需要對陰影做特別處理。第四章講述和比較了陰影處理的不同方法，并提出一種改進(jìn)的算法，實驗分析其優(yōu)于其他算法。第四章也指出了基于灰度圖像的運動點團提取無法解決陰影的問題，因此基于灰度圖像的運動目標(biāo)檢測與跟蹤方法沒有基于彩色圖像的方法好。提取運動前景像素除了上面所述背景差法外，還可以采用相鄰兩幀圖像作差的幀間差法[6]，第四章接著講述幀間差法，并將其與背景差法比較。圖像會隨時間而變化，得到前景和背景像素后，就可以對背景圖像做更新，第四章最后講述背景更新的策略。并不是圖像的每一個像素都會出現(xiàn)運動物體，關(guān)注區(qū)是圖像中可能會出現(xiàn)運動物體的部分。在背景提取的時候可以同時獲取關(guān)注區(qū)，之后的處理就集中在關(guān)注區(qū)中，這是減少圖像像素數(shù)，減少處理時間的好方法。第五章講述了關(guān)注區(qū)的提取方法和利用關(guān)注區(qū)數(shù)據(jù)計算道路繁忙度的方法。前面講述的處理方法都是基于圖像像素的，屬于圖一中的圖像像素層，這一層處理的結(jié)果是運動點團二值圖像，1代表運動前景像素，0代表背景像素。接下來到了運動點團層處理。第六章講述運動點團層的處理。首先是對運動點團二值圖像做數(shù)學(xué)形態(tài)學(xué)處理，去除微小的噪聲物體。然后提取運動點團的位置和大小。提取運動點團的位置和大小有多種算法，第六章比較了不同的算法，并且提出了改進(jìn)算法，改進(jìn)算法更適合運動目標(biāo)檢測和跟蹤。第六章還講述了運動點團層的運動跟蹤，并指出了其存在的幾個問題，為解決這些問題，必須在運動點團層上增加運動物體層（見圖一），從而引出了第七章。另外，在運動跟蹤時，我們是先確定一幀圖像中所有運動點團的位置，然后和前一幀圖像中的運動點團位置關(guān)系判斷是否為同一運動物體。還有一種運動跟蹤的方法[7]：在當(dāng)前運動點團鄰域搜索匹配下一幀中的運動點團，這種方法不需要提取運動點團的位置和大小，可以稱之為基于像素的運動跟蹤，然而圖像的像素數(shù)量是很大的，這種像素點搜索匹配的方法所需的時間遠(yuǎn)遠(yuǎn)多于我們的方法，因此我們沒有采用這種像素點搜索匹配的方法。第七章講述運動物體層的運動跟蹤。首先，介紹了卡爾曼濾波器，其可以用于運動跟蹤[4]，但其存在一些問題，由卡爾曼濾波器啟發(fā)，本文提出了一種基于預(yù)測的運動跟蹤方法，其實質(zhì)是一種簡化的卡爾曼濾波器，很好的解決了卡爾曼濾波器存在的問題。我們做了很多實驗驗證了此算法的健壯性。這一章還比較了基于邊緣圖像的運動跟蹤與基于原始的彩色圖像的運動跟蹤的效果，指出了基于邊緣圖像的運動跟蹤差于基于原始彩色圖像的運動跟蹤的原因。圖二中虛線框的步驟，是物體運動跟蹤之后可以繼續(xù)進(jìn)行的后續(xù)步驟，本文把精力集中放在運動目標(biāo)檢測和跟蹤的研究上，沒有對這些后續(xù)步驟做更多研究，在這里做簡單說明：運動物體真實速度獲取的目的是把運動跟蹤得到的物體在圖像二維坐標(biāo)下的速度轉(zhuǎn)換成真實空間三維坐標(biāo)下的速度，其涉及到攝像頭標(biāo)定；車型車牌識別、道路事件檢測是將運動跟蹤得到的車輛和道路數(shù)據(jù)作進(jìn)一步的處理，以得到諸如車型、車牌、車輛是否闖紅燈、車輛是否超速等等，其涉及到很多研究方向，如模式識別等。我們研究運動目標(biāo)檢測和跟蹤使用道路交通作為實驗場景。我們對多組實驗數(shù)據(jù)進(jìn)行實驗，每組實驗數(shù)據(jù)是一段彩色的視頻圖像序列，所有實驗視頻數(shù)據(jù)的分辨率都?xì)w一到720352像素。下文所說的“實驗數(shù)據(jù)一”是交通管理部門攝制的15秒道路視頻，圖三是其中