【正文】 稱之為基于像素的運(yùn)動跟蹤，然而圖像的像素數(shù)量是很大的，這種像素點(diǎn)搜索匹配的方法所需的時間遠(yuǎn)遠(yuǎn)多于我們的方法，因此我們沒有采用這種像素點(diǎn)搜索匹配的方法。第六章還講述了運(yùn)動點(diǎn)團(tuán)層的運(yùn)動跟蹤，并指出了其存在的幾個問題，為解決這些問題，必須在運(yùn)動點(diǎn)團(tuán)層上增加運(yùn)動物體層（見圖一），從而引出了第七章。然后提取運(yùn)動點(diǎn)團(tuán)的位置和大小。第六章講述運(yùn)動點(diǎn)團(tuán)層的處理。前面講述的處理方法都是基于圖像像素的，屬于圖一中的圖像像素層，這一層處理的結(jié)果是運(yùn)動點(diǎn)團(tuán)二值圖像，1代表運(yùn)動前景像素，0代表背景像素。在背景提取的時候可以同時獲取關(guān)注區(qū)，之后的處理就集中在關(guān)注區(qū)中，這是減少圖像像素數(shù)，減少處理時間的好方法。圖像會隨時間而變化，得到前景和背景像素后，就可以對背景圖像做更新，第四章最后講述背景更新的策略。第四章也指出了基于灰度圖像的運(yùn)動點(diǎn)團(tuán)提取無法解決陰影的問題，因此基于灰度圖像的運(yùn)動目標(biāo)檢測與跟蹤方法沒有基于彩色圖像的方法好。由于陰影的存在，背景差法會把陰影作為運(yùn)動物體的一部分，而陰影會把不同的運(yùn)動物體連成一片，影響之后的處理，因此需要對陰影做特別處理。第三章也講述了彩色圖像轉(zhuǎn)變成灰度圖像的方法以及提取彩色圖像的邊緣圖像的方法。背景提取有很多種算法，第三章將詳述與比較各種背景提取算法，并提出一種改進(jìn)的算法，實驗證明改進(jìn)的算法有更好的效果。檢測運(yùn)動物體需要無運(yùn)動物體的背景圖像，而視頻圖像序列中的每幀圖像一般都有運(yùn)動物體，因此需要提取背景。每個層次再細(xì)分，可以得到圖二的幾個步驟。因此，本文不采取虛擬檢測線的方法，而以運(yùn)動物體（車輛）為目標(biāo)，跟蹤每個運(yùn)動物體在視頻圖像序列中的位置，進(jìn)而得到每個物體的運(yùn)動速度和運(yùn)動物體總數(shù)。這種方法有很大的局限性。單攝像頭且攝像頭固定的情況是最基本的情況，因此本文集中精力研究單攝像頭且攝像頭固定情況下的運(yùn)動目標(biāo)檢測和跟蹤。輸入是RGB色彩空間的視頻圖像序列，目標(biāo)是實現(xiàn)對視頻圖像序列中運(yùn)動物體的跟蹤，獲得其在圖像坐標(biāo)下的速度。本文就是研究如何讓計算機(jī)從視頻圖像序列中獲得物體運(yùn)動數(shù)據(jù)——視頻圖像序列中運(yùn)動物體的檢測和跟蹤。如何讓計算機(jī)從視頻圖像序列中獲得道路交通數(shù)據(jù)，例如車輛的速度等，近年來很多人對此展開了研究。與早期的方法相比，這種方法利用了軟件算法通過計算機(jī)的強(qiáng)大計算能力得到我們需要的數(shù)據(jù)，而不是復(fù)雜的硬件設(shè)備（如感應(yīng)線圈）對數(shù)據(jù)直接測量。隨著計算機(jī)技術(shù)的發(fā)展，道路交通數(shù)據(jù)獲取不再需要復(fù)雜的線圈設(shè)備了。早期，人們一般采用感應(yīng)線圈的方式獲得車輛的速度、車輛的數(shù)量等數(shù)據(jù)。最后，本文得到了一整套運(yùn)動目標(biāo)檢測與跟蹤的方法，它們的健壯性和實時性都符合實際運(yùn)用的要求。實驗與分析說明本文提出的算法優(yōu)于原算法。在運(yùn)動點(diǎn)團(tuán)位置提取步驟提出了改進(jìn)的線段編碼算法。在背景提取步驟提出了改進(jìn)的基于均值的背景提取算法以及減少圖像像素的興趣區(qū)提取算法。本文運(yùn)動目標(biāo)檢測與跟蹤研究如何讓計算機(jī)從視頻圖像序列中獲得物體運(yùn)動數(shù)據(jù)。碩 士 學(xué) 位 論 文論文題目 運(yùn)動目標(biāo)檢測與跟蹤的研究與實現(xiàn) 作者姓名 鄭志洵 指導(dǎo)教師 楊建剛教授 學(xué)科(專業(yè)) 計算機(jī)應(yīng)用技術(shù) 所在學(xué)院 計算機(jī)學(xué)院 提交日期 2006年5月15日 78 / 84摘 要在道路交通管理中，為了獲得車輛的運(yùn)動數(shù)據(jù)，早期經(jīng)常采用的是感應(yīng)線圈等硬件測量的方法。而如果采用攝像頭拍攝的道路視頻，再用計算機(jī)軟件處理的方法，則可以極大的增加方便性和靈活性。運(yùn)動目標(biāo)檢測與跟蹤分為背景提取、運(yùn)動點(diǎn)團(tuán)提取、運(yùn)動點(diǎn)團(tuán)位置提取、運(yùn)動物體跟蹤這幾個步驟，本文對每一個步驟的各種算法做了實驗分析比較研究，并提出了改進(jìn)算法。在運(yùn)動點(diǎn)團(tuán)提取的陰影處理步驟提出了改進(jìn)的基于RGB空間的陰影處理算法。在運(yùn)動物體跟蹤步驟提出了基于預(yù)測的運(yùn)動跟蹤算法。本文還通過實驗分析比較了基于灰度圖像序列的運(yùn)動目標(biāo)檢測與跟蹤、基于邊緣圖像序列的運(yùn)動目標(biāo)檢測與跟蹤，它們都沒有基于彩色圖像序列的運(yùn)動目標(biāo)檢測與跟蹤效果好。關(guān)鍵詞：背景提取、陰影處理、運(yùn)動目標(biāo)檢測、運(yùn)動跟蹤、彩色圖像、灰度圖像、彩色邊緣檢測AbstractIn a traffic control system, in order to achieve the data of moving vehicles, hardware is installed to directly measure them in the early days. If we use puter software to calculate the data from traffic video, we can gain more convenience and flexibility. This thesis is focused on the research of the methods of achieving the data of moving vehicles from traffic video by puter.Moving object detection and tracking can be divided into these steps: background extraction, moving blob extraction, moving blob’s position achieving and moving object tracking. This thesis shows our experiments and analysis on many algorithms in each of the steps. It also shows the improvement of the algorithms made by us. The experiments and analysis demonstrate that the improved algorithms are better then the original ones.Experiments and analysis also demonstrate that moving object detection and tracking based on color images is better than based on the gray images or edge images.In the end we obtain a whole method of moving object detection and tracking. The robustness and realtime property of the method can reach the acquirement of the real application. Keywords:Background Extraction, Shadow Elimination, Moving Object Detection, Moving Object Tracking, Color Image, Gray Image, Color Edge Detector目 錄摘 要 IAbstract II目 錄 III第一章 引言 1第二章 運(yùn)動目標(biāo)檢測和跟蹤的流程 2第三章 背景提取 7 彩色圖像的背景提取 7 基于均值的彩色圖像背景提取 8 改進(jìn)的基于均值的彩色圖像背景提取 9 基于中值濾波的彩色背景圖像提取 11 基于共同區(qū)域的彩色圖像背景提取 13 彩色圖像背景提取的實驗分析 16 灰度圖像的背景提取 24 彩色圖像轉(zhuǎn)換成灰度圖像 24 灰度圖像的背景提取 25 邊緣圖像的背景提取 26 彩色圖像的邊緣提取 27 邊緣圖像的背景提取 28第四章 運(yùn)動點(diǎn)團(tuán)提取和背景更新 31 彩色圖像的運(yùn)動點(diǎn)團(tuán)提取 31 基于馬氏距離的運(yùn)動點(diǎn)團(tuán)提取 32 基于歐氏距離的運(yùn)動點(diǎn)團(tuán)提取 35 陰影處理 38 基于RGB空間的陰影處理 39 改進(jìn)的基于RGB空間的陰影處理 40 基于HSI空間的陰影處理 42 灰度圖像的運(yùn)動點(diǎn)團(tuán)提取 44 邊緣圖像的運(yùn)動點(diǎn)團(tuán)提取 47 基于幀間差的運(yùn)動點(diǎn)團(tuán)提取及其與背景差法比較 49 背景更新 50第五章 興趣區(qū)提取 51 興趣區(qū)的提取和實驗 51 道路繁忙度獲取 53第六章 運(yùn)動點(diǎn)團(tuán)的位置提取 54 數(shù)學(xué)形態(tài)學(xué)處理 54 輪廓追蹤 56 線段編碼 57 改進(jìn)的線段編碼 58 運(yùn)動點(diǎn)團(tuán)層運(yùn)動跟蹤 59第七章 運(yùn)動跟蹤 62 卡爾曼濾波 62 基于預(yù)測的運(yùn)動跟蹤 64 運(yùn)動跟蹤算法的計算復(fù)雜性分析與改進(jìn) 68 基于邊緣圖像的運(yùn)動跟蹤結(jié)果 69 基于預(yù)測的運(yùn)動跟蹤算法在不同采樣率下的健壯性 70 運(yùn)動跟蹤的最終結(jié)果 74第八章 總結(jié)與展望 75參考文獻(xiàn) 76致 謝 78第一章 引言在道路交通控制管理領(lǐng)域，管理部門需要掌握道路上車輛的速度、車輛的數(shù)量等等數(shù)據(jù)以控制紅綠燈平衡道路車流量、對超速和闖紅燈的車輛進(jìn)行處罰。這種方法，需要在檢測路段埋入感應(yīng)線圈，這需要對道路施工，會影響交通，嚴(yán)重影響道路壽命，并且感應(yīng)線圈設(shè)備容易被重型車輛壓壞，維護(hù)起來又要對道路施工，非常麻煩[1]。只需在檢測路段固定攝像頭，攝像頭拍攝的道路數(shù)字化視頻壓縮后通過傳輸線路（如光纖）傳輸?shù)奖O(jiān)控中心，監(jiān)控中心的計算機(jī)采用數(shù)字圖像處理的方法將道路交通的數(shù)據(jù)計算出來[2]。這極大的增加了方便性和靈活性。從視頻圖像序列中獲得運(yùn)動物體的數(shù)據(jù)的方法除了能運(yùn)用在道路交通外，也能運(yùn)用于各種監(jiān)控領(lǐng)域，例如小區(qū)防盜、銀行監(jiān)控等等，用以檢測和跟蹤進(jìn)入場景的人或物體，應(yīng)用范圍非常廣泛。研究以道路交通作為實驗場景，單攝像頭且攝像頭固定的情況。而多攝像頭的情況和攝像頭跟隨物體運(yùn)動的情況，比單攝像頭且攝像頭固定的情況復(fù)雜，例如多攝像頭的多個二維圖像序列中如何重構(gòu)三維場景等。第二章 運(yùn)動目標(biāo)檢測和跟蹤的流程在道路視頻圖像序列中獲得車輛的速度，可以使用簡單的方法，就是在圖像中的道路位置設(shè)置虛擬檢測線，模擬感應(yīng)線圈，根據(jù)虛擬檢測線上的像素顏色的變化得到經(jīng)過虛擬檢測線的車輛的速度，同時也可以對經(jīng)過虛擬檢測線的車輛計數(shù)[3]。首先，它需要人工標(biāo)定虛擬檢測線，攝像頭一旦換位置，就需要重新設(shè)定一次虛擬檢測線，很不方便；其次，它只能檢測通過虛擬檢測線的車輛，而對圖像其他區(qū)域的車輛一無所知，圖像的大量信息丟失掉了。運(yùn)動目標(biāo)檢測與跟蹤的流程有三個層次，如圖一[4]。圖像像素層運(yùn)動點(diǎn)團(tuán)層運(yùn)動物體層圖一 運(yùn)動目標(biāo)檢測與跟蹤的層次 視頻圖像序列 邊緣檢測 背景提取 運(yùn)動點(diǎn)團(tuán)提取 運(yùn)動點(diǎn)團(tuán)位置提取 數(shù)學(xué)形態(tài)學(xué)處理 物體運(yùn)動跟蹤 興趣區(qū)獲取 灰度轉(zhuǎn)換 道路繁忙度 車型車牌識別 道路事件檢測 攝像頭標(biāo)定物體真實速度獲取 背景更新 圖二 運(yùn)動目標(biāo)檢測和跟蹤的步驟系統(tǒng)的輸入是彩色視頻圖像序列。背景圖像提取出來后，將每一幀圖像與背景圖像作差，然后二值化，得到前景像素構(gòu)成的運(yùn)動點(diǎn)團(tuán)圖像，這就是背景差法。除了直接將視頻圖像序列做處理外，還可以先將視頻圖像序列轉(zhuǎn)換成灰度圖像序列，然后在灰度圖像序列上做運(yùn)動目標(biāo)檢測和跟蹤；或者，因為前景、背景分離的最重要的信息是邊緣信息，可先將視頻圖像序列轉(zhuǎn)換成邊緣圖像序列，然后在邊緣圖像序列上做運(yùn)動目標(biāo)檢測和跟蹤[5]。第四章講述并比較了每一幀圖像與背景圖像作差的不同方法。第四章講述和比較了陰影處理的不同方法，并提出一種改進(jìn)的算法，實驗分析其優(yōu)于其他算法。提取運(yùn)動前景像素除了上面所述背景差法外，還可以采用相鄰兩幀圖像作差的幀間差法[6]，第四章接著講述幀間差法，并將其與背景差法比較。并不是圖像的每一個像素都會出現(xiàn)運(yùn)動物體，關(guān)注區(qū)是圖像中可能會出現(xiàn)運(yùn)動物體的部分。第五章講述了關(guān)注區(qū)的提取方法和利用關(guān)注區(qū)數(shù)據(jù)計算道路繁忙度的方法。接下來到了運(yùn)動點(diǎn)團(tuán)層處理。首先是對運(yùn)動點(diǎn)團(tuán)二值圖像做數(shù)學(xué)形態(tài)學(xué)處理，去除微小的噪聲物體。提取運(yùn)動點(diǎn)團(tuán)的位置和大小有多種算法，第六章比較了不同的算法，并且提出了改進(jìn)算法，改進(jìn)算法更適合運(yùn)動目標(biāo)檢測和跟蹤。另外，在運(yùn)動跟蹤時，我們是先確定一幀圖像中所有運(yùn)動點(diǎn)團(tuán)的位置，然后和前一幀圖像中的運(yùn)動點(diǎn)團(tuán)位置關(guān)系判斷是否為同一運(yùn)動物體。第七章講述運(yùn)動物體層的運(yùn)動跟蹤。我們做了很多實驗驗證了此算法的健壯性。圖二中虛線框的步驟，是物體運(yùn)動跟蹤之后可以繼續(xù)進(jìn)行的后續(xù)步驟，本文把精力集中放在運(yùn)動目標(biāo)檢測和跟蹤的研究上，沒有對這些后續(xù)步驟做更多研究，在這里做簡單說明：運(yùn)動物體真實速度獲取的目的是把運(yùn)動跟蹤得到的物體在圖像二維坐標(biāo)下的速度轉(zhuǎn)換成真實空間三維坐標(biāo)下的速度，其涉及到攝像頭標(biāo)定；車型車牌識別、道路事件檢測是將運(yùn)動跟蹤得到的車輛和道路數(shù)據(jù)作進(jìn)一步的處理，以得到諸如車型、車牌、車輛是否闖紅燈、車輛是否超速等等，其涉及到很多研究方向，如模式識別等。我們對多組實驗數(shù)據(jù)進(jìn)行實驗，每組實驗數(shù)據(jù)是一段彩色的視頻圖像序列，所有實驗視頻數(shù)據(jù)的分辨率都?xì)w一到720352像素。圖三 實驗數(shù)據(jù)一的一幀圖像圖四 實驗數(shù)據(jù)二的一幀圖像第三章 背景提取背景提取是在視頻圖像序列中提取出背景。因為攝像機(jī)不動，因此圖像中的每個像素點(diǎn)都有一個對應(yīng)的背景值，在一段時間內(nèi)這個值比較固定。這是下一步運(yùn)動點(diǎn)團(tuán)提取的基礎(chǔ)。因此，這一步提取出的背景圖像的好壞將直接影響到之后每一幀的運(yùn)動點(diǎn)團(tuán)提取的質(zhì)量。因此背景需要不斷更新，而背景的更新一般需要運(yùn)動前景的信息，所以背景的更新將在第四章講述。處理對象是彩色圖像序列；——先把彩色圖像序列轉(zhuǎn)換成灰度圖像序列，再對灰度圖像序列提取背景；——先對彩色圖像提取邊緣，再對邊緣圖像序列提取背