【正文】 template image update. Since the goal of movement must be the law of the forecast track could take to improve the tracking precision, this article uses the square of the linear prediction method and prediction method. Analysis of the relevant matching algorithm to track the tracking accuracy and 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 3 speed。 contrast do not use templates and template updates with the new tracking the progress and differences in the experiment proved that the tracking algo rithm with trajectory prediction and templates to a large extent with the new frame to improve tracking,Improved tracking accuracy, which has strong antinoise performance. Key words: Target tracking ， Target Detection ， Trajectory Prediction， Template Update 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 4 第一章 緒 論 本章首先討論了目標(biāo)跟蹤的研究背景和意義；介紹了目標(biāo)跟蹤在國內(nèi)外的研究現(xiàn)狀；接著討論了目標(biāo)跟蹤研究中面臨的困難和待解決的問題；最后介紹了本文的主要工作和總體結(jié)構(gòu)。 課題研究背景和意義 運(yùn)動(dòng)目標(biāo)跟蹤在軍事、智能監(jiān)控、人機(jī)界面、虛擬現(xiàn)實(shí)、運(yùn)動(dòng)分析等許多領(lǐng)域有著廣泛的應(yīng)用前景，在科學(xué)和工程中有著重要的研究價(jià)值，吸引了國內(nèi)外越來越多研究者的興趣。 圖像序列中的運(yùn)動(dòng)目標(biāo)跟蹤，就是在各幀圖像中 檢測(cè)出各個(gè)獨(dú)立運(yùn)動(dòng)的目標(biāo)，或是用戶感興趣的運(yùn)動(dòng)區(qū)域（如人體、車輛等），并且提取目標(biāo)的位置信息，得到各個(gè)目標(biāo)的運(yùn)動(dòng)軌跡。其實(shí)質(zhì)是通過對(duì)傳感器獲取的圖像序列進(jìn)行分析，得到目標(biāo)在每幀圖像中的位置、速度及加速度等特征參數(shù)。 圖 11 目標(biāo)跟蹤原理圖 國內(nèi)外學(xué)者對(duì)目標(biāo)跟蹤算法進(jìn)行了大量深入的研究，取得了令人矚目的研究成果。但是，現(xiàn)有的目標(biāo)跟蹤算法大多受限于特定的應(yīng)用背景，跟蹤算法還有待于進(jìn)一步研究和深化，研究一種具有魯棒性和實(shí)時(shí)性、適用性強(qiáng)的目標(biāo)跟蹤方法依然面臨著巨大挑戰(zhàn)。 目前， 運(yùn)動(dòng)目標(biāo)跟蹤算法的主要難點(diǎn)有：復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)提取、目標(biāo)之間的相互遮擋以及目標(biāo)與背景之間的遮擋、陰影處理、多攝像機(jī)的數(shù)據(jù)融合等。尤其是遮擋和陰影問題，它們普遍存在于現(xiàn)實(shí)環(huán)境中，嚴(yán)重影響跟蹤算法的可靠性和適用性。本文重點(diǎn)研究了序列圖像的幾種常用跟蹤方法。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 5 國內(nèi)外研究現(xiàn)狀 目標(biāo)跟蹤就是通過對(duì)攝像機(jī)獲得的圖像序列進(jìn)行分析，計(jì)算出目標(biāo)在每幀圖像上的二維位置坐標(biāo)，并根據(jù)不同的特征值，將圖像序列中不同幀之間同一運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)起來，得到各個(gè)運(yùn)動(dòng)目標(biāo)完整的運(yùn)動(dòng)軌跡，即在連續(xù)的圖像序列中建立運(yùn)動(dòng)目標(biāo)的對(duì)應(yīng) 關(guān)系。 目前，國內(nèi)外學(xué)者提出了許多不同的跟蹤算法和跟蹤系統(tǒng)，可以按照不同的劃分依據(jù)對(duì)跟蹤算法進(jìn)行不同的分類：就跟蹤對(duì)象而言，可以分為車輛跟蹤、人體跟蹤或人體部分跟蹤（如跟蹤手、臉、頭和腳等身體部分）等；就跟蹤目標(biāo)個(gè)數(shù)而言，可以分為單目標(biāo)跟蹤和多目標(biāo)跟蹤；就跟蹤視角而言，可以分為單攝像機(jī)的單一視角、多攝像機(jī)的多視角和全方位視角；還可以通過攝像機(jī)類型（紅外攝像機(jī)、可見光攝像機(jī)）、攝像機(jī)狀態(tài)（運(yùn)動(dòng)、固定）、跟蹤空間（二維、三維）和跟蹤環(huán)境（室內(nèi)、室外）等方面來進(jìn)行分類。 [2] 針對(duì)不同的研究對(duì)象 有不同的跟蹤算法，主要有以下幾種跟蹤算法： 1) 基于特征的跟蹤 為了實(shí)現(xiàn)目標(biāo)跟蹤，沒有必要跟蹤整個(gè)目標(biāo)區(qū)域，只要跟蹤目標(biāo)的某些顯著特征，就可以實(shí)現(xiàn)對(duì)整個(gè)運(yùn)動(dòng)目標(biāo)的跟蹤。這些顯著特征可以是目標(biāo)的質(zhì)心，也可以是目標(biāo)上的任意一點(diǎn)，只要這些特征具有高度的穩(wěn)定性，不易受外界因素如光照強(qiáng)度變化、噪聲等因素的干擾，對(duì)目標(biāo)大小、位置、方位不敏感即可。為了提高跟蹤的魯棒性，往往不只選一個(gè)特征，而是選一組特征，在一般情況下，可利用的特征有：角點(diǎn)、直邊緣等局部特征和質(zhì)心、表面積和慣量矩等全局特征，在實(shí)際應(yīng)用中 ，采用什么特征主要取決于目標(biāo)具有哪些特征以及算法實(shí)現(xiàn)的具體要求。 基于特征的目標(biāo)跟蹤方法利用跟蹤特征點(diǎn)位置的變化來跟蹤目標(biāo)，首先，從圖像序列中提取目標(biāo)的顯著特征，如拐點(diǎn)、質(zhì)心或有明顯標(biāo)記區(qū)域?qū)?yīng)的點(diǎn)、線、曲線等；然后在連續(xù)圖像幀之間尋找特征的對(duì)應(yīng)關(guān)系，即進(jìn)行特征匹配，最后計(jì)算運(yùn)動(dòng)信息，從而通過對(duì)特征的跟蹤來完成對(duì)整個(gè)目標(biāo)的跟蹤。 Polana 將每個(gè)行人用一個(gè)矩形框封閉起來，封閉框的質(zhì)心被選作跟蹤的特征，在跟蹤過程中，如果兩人出現(xiàn)相互遮擋的情況，只要能區(qū)分質(zhì)心的速度，就能成功地完成人體跟蹤。 這種方法的 優(yōu)點(diǎn)是：即使場(chǎng)景中出現(xiàn)部分遮擋情況，只要目標(biāo)的一些特征可西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 6 見，仍可以保持對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤。由于只跟蹤已選擇的顯著特征，上一幀目標(biāo)的特征在下一幀圖像中的可能匹配數(shù)目大大小于相關(guān)跟蹤算法，處理的數(shù)據(jù)量小，并且由于特征的精心選取，使得在光照和目標(biāo)幾何形狀發(fā)生變化時(shí)，也能進(jìn)行目標(biāo)跟蹤，具有一定的魯棒性。特征的選取對(duì)整個(gè)跟蹤算法十分重要，關(guān)系到整個(gè)跟蹤系統(tǒng)的可靠性和跟蹤精度，它應(yīng)具有對(duì)目標(biāo)大小、位置、方向和照度變化不敏感的特點(diǎn)，如灰度局部極大值點(diǎn)、跟蹤。其不足是要求獨(dú)立而準(zhǔn)確地初始化邊界，而這在實(shí)際應(yīng)用中往往很難實(shí)現(xiàn)。 2) 基于相關(guān)的跟蹤 相關(guān)跟蹤法，又叫模板匹配法，其主要思想是：將目標(biāo)的基準(zhǔn)圖像（模板）在實(shí)時(shí)圖像中以不同的偏移值進(jìn)行位移，然后根據(jù)一定的相似性度量準(zhǔn)則對(duì)每一個(gè)偏移值下重疊的兩個(gè)圖像進(jìn)行處理，計(jì)算兩者的相關(guān)值，根據(jù)最大相關(guān)值確定實(shí)時(shí)圖像中目標(biāo)的位置。簡(jiǎn)單地說，就是在當(dāng)前幀中尋找與上一幀目標(biāo)相關(guān)性最大的區(qū)域。 相關(guān)跟蹤法具有很強(qiáng)的噪聲抑制能力，可以在很小的信噪比條件下工作，它具有對(duì)有關(guān)目標(biāo)的知識(shí)要求甚少、定位精度高、跟蹤距離遠(yuǎn)、可靠性高和較強(qiáng)的局部抗干擾能力等優(yōu)點(diǎn)，而且計(jì)算簡(jiǎn)單，易于編程和硬化。由于它只利用 圖像間的灰度相關(guān)性作為區(qū)域相似性的判斷依據(jù)，對(duì)幾何和灰度畸變十分敏感，光照強(qiáng)度變化或目標(biāo)運(yùn)動(dòng)姿態(tài)發(fā)生變化等都將對(duì)算法產(chǎn)生較大的影響，計(jì)算量偏大。而且往往不能充分利用目標(biāo)的幾何特性，易產(chǎn)生積累誤差，它適用于實(shí)時(shí)圖像與參考圖的產(chǎn)生條件較為一致，目標(biāo)尺寸變化很小，景物與目標(biāo)的相關(guān)性不強(qiáng)的場(chǎng)合。 3) 基于運(yùn)動(dòng)估計(jì)的跟蹤 基于運(yùn)動(dòng)估計(jì)的跟蹤方法是利用圖像序列中目標(biāo)的運(yùn)動(dòng)信息來對(duì)目標(biāo)進(jìn)行跟蹤的一種方法。運(yùn)動(dòng)信息又稱為光流，基于光流估計(jì)的方法，利用了灰度的變化信息，首先，從圖像序列的灰度變化中計(jì)算速度場(chǎng) ，一般需要計(jì)算灰度的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)；然后利用一些約束條件從速度場(chǎng)中估計(jì)運(yùn)動(dòng)參數(shù)和物體結(jié)構(gòu)。光流方法又分局部光流法和全局光流法，局部光流法能夠準(zhǔn)確的反映出運(yùn)動(dòng)邊緣處的運(yùn)動(dòng)信息，但是對(duì)于圖像中的弱紋理區(qū)域不敏感；全局光流法能夠得到每個(gè)像素處的光流，但是對(duì)于運(yùn)動(dòng)邊界處的光流變化不敏感。由于噪聲、多光源、陰影和遮擋等原因，使得計(jì)算出的光流分布不是十分可靠和準(zhǔn)確，實(shí)際景物中的速 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 7 度場(chǎng)不一定總是與圖像中的直觀速度場(chǎng)有唯一對(duì)應(yīng)關(guān)系，且偏導(dǎo)數(shù)計(jì)算會(huì)加重噪聲水平，計(jì)算復(fù)雜，使得基于光流的方法在實(shí)際應(yīng)用中常常不穩(wěn)定。 盡管目標(biāo)跟蹤算法可以大致分為上述幾類，但是這些方法并不是孤立的，在進(jìn)行目標(biāo)跟蹤時(shí)，為了保證跟蹤的可靠性和準(zhǔn)確性，常?；旌鲜褂脦追N算法以得到更好的跟蹤效果。 本文的具體結(jié)構(gòu)安排 第一章 緒論，詳細(xì)闡述了目標(biāo)跟蹤的研究背景和意義，總結(jié)了國內(nèi)外研究 的發(fā)展現(xiàn)狀，討論了目前目標(biāo)跟蹤存在的困難和不足，指出了本文重點(diǎn)解決的問題。 第二章 主要研究了幀間差分法、時(shí)間差分法和背景去除法及算法和各自的適用范圍。 第三章 匹配方法和目標(biāo)搜索算法 ，重點(diǎn)用最小平均絕對(duì)差值函數(shù) (MAD)做了跟蹤算法實(shí)現(xiàn)跟蹤。 第四章 模板更新，由于目標(biāo)的大小在變化及拍攝設(shè)備姿態(tài)的變化等導(dǎo)致目標(biāo)變化，因此必須采取模板更新，已保證跟蹤精度。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 8 第二章 運(yùn)動(dòng)目標(biāo)檢測(cè) 目前，已經(jīng)有許多標(biāo)準(zhǔn)的算法用于運(yùn)動(dòng)目標(biāo)檢測(cè)，它們具有不同的效果和復(fù)雜度。在實(shí)際應(yīng)用中，運(yùn)動(dòng)目標(biāo)的提取通常不是采用單一的檢測(cè)算法，而是對(duì)某一算法進(jìn)行改進(jìn)或是綜合運(yùn)用幾種算法以求達(dá)到更好的效果。無論采用哪種目標(biāo)檢測(cè)算法，都應(yīng)該滿足以下幾個(gè)條件：能夠準(zhǔn)確地從圖像序列中檢測(cè)出運(yùn)動(dòng)目標(biāo)；操作簡(jiǎn)便、快捷以及適應(yīng)實(shí)時(shí)系統(tǒng)的要求； 對(duì)天氣、光照等環(huán)境變化不敏感，且對(duì)于攝像機(jī)振動(dòng)或由其它情況引起的噪聲有很好的魯棒性；所需要的先驗(yàn)信息越少越好。 運(yùn)動(dòng)檢測(cè)主要有三種方法：光流法、時(shí)間差分法和背景去除法。光流法在攝像機(jī)運(yùn)動(dòng)的條件下也能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo)，然而大多數(shù)的光流計(jì)算相當(dāng)復(fù)雜，不能夠用于實(shí)時(shí)處理。時(shí)間差分檢測(cè)法對(duì)于運(yùn)動(dòng)環(huán)境具有較強(qiáng)的自適應(yīng)性，但一般不能完全提取出所有相關(guān)區(qū)域的像素點(diǎn)，在運(yùn)動(dòng)實(shí)體中容易產(chǎn)生空洞現(xiàn)象。背景去除法適用于固定攝像機(jī)的情形，它先為背景建立背景模型，通過將當(dāng)前圖像幀和背景模型進(jìn)行比較，確定出亮度變化較大的區(qū) 域，即認(rèn)為是前景區(qū)域。這種方法計(jì)算速度很快，可以獲得完整的運(yùn)動(dòng)區(qū)域，但對(duì)于場(chǎng)景中光照條件和噪聲比較敏感，在實(shí)際應(yīng)用中需要采用一定的算法維護(hù)和更新背景模型，以適應(yīng)環(huán)境的變化。 [10] 本章首先簡(jiǎn)單概述了目標(biāo)檢測(cè)算法，然后詳細(xì)介紹了本文使用的自適應(yīng)背景去除算法，接著針對(duì)陰影對(duì)目標(biāo)檢測(cè)的影響，本文從色彩和光照不變性的角度，分析和討論了陰影的特性，提出了一個(gè)新的可用于陰影去除的算法，提高了陰影去除率，最后介紹了噪聲處理和區(qū)域標(biāo)記方法。 檢測(cè)算法及概述 運(yùn)動(dòng)目標(biāo)檢測(cè)就是對(duì)包含運(yùn)動(dòng)信息的圖像序 列進(jìn)行適當(dāng)?shù)靥幚?，從而去除靜止的背景，檢測(cè)出運(yùn)動(dòng)目標(biāo)及其攜帶的運(yùn)動(dòng)信息，并對(duì)這些運(yùn)動(dòng)信息進(jìn)行整合，得到關(guān)鍵參數(shù)，為視覺系統(tǒng)的后續(xù)階段提供可靠的數(shù)據(jù)源。運(yùn)動(dòng)目標(biāo)的檢測(cè)原則西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 9 是要盡可能保留那些對(duì)視覺檢測(cè)有重要意義的特征信息，同時(shí)最大限度地摒棄那些對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)無用的冗余信息。 人們總是希望有一個(gè)通用的運(yùn)動(dòng)檢測(cè)算法，能適用于各種環(huán)境，在各種場(chǎng)景中都能很好地工作。但是，在實(shí)際應(yīng)用中，由于動(dòng)態(tài)場(chǎng)景的光照變化、陰影、目標(biāo)之間的遮擋現(xiàn)象以及攝像機(jī)的抖動(dòng)等問題的存在，要得到一個(gè)通用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法是十分困難的，研究 者不得不在算法的復(fù)雜度、可靠性以及實(shí)時(shí)性等方面綜合考慮。目前，研究人員已經(jīng)在這方面做了大量的研究，提出了許多方法。 下面簡(jiǎn)單介紹目前常用的幾種方法： 連續(xù)幀間差分法是將連續(xù)兩幀進(jìn)行比較，從中提取出運(yùn)動(dòng)目標(biāo)的信息，基本運(yùn)算過程如圖 21 所示， 圖 21 連續(xù)幀間差分法的示意圖 首先，利用公式 21 計(jì)算第 k 幀圖像與第 k1 幀圖像之間的差別，得到差分后的圖像 Dk 。 ),(),(),(1 yxyxyx ffD kkk ??? （ 21） 其中： ),( yxfk， ),(1 yxfk?為連續(xù)兩幀圖像， ),( yxDk 為幀間圖像。 然后對(duì)差分后圖像 Dk 使用圖像分割算法 (公式 22)進(jìn)行二值化處理，即認(rèn)為當(dāng)差分圖像中某 一像素的差大于設(shè)定的閉值時(shí)，則認(rèn)為該像素是前景像素 (檢測(cè)到的目標(biāo) )，反之則認(rèn)為是背景像素 。 ????????TyxF or e g r oundTyxB ac k gr ou ndyx DDRkkk ),(1 ),(0),(39。 (22) 按照上面介紹的連續(xù)幀間差分方法，我們對(duì)室外的運(yùn)動(dòng)目標(biāo)進(jìn)行了檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下圖所示。由于本圖幀之間的變化很小，因此選取相鄰幾幀來做 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 10 (a) (b) (c) 圖 22 采用 連續(xù)幀間差分法的效果圖 連續(xù)幀間差分方法在動(dòng)態(tài)環(huán)境下的自適應(yīng)性是很強(qiáng)的，但是這樣分割出來的區(qū)域?qū)嶋H上是物體前后兩個(gè)位置的“或”區(qū)域，比物體實(shí)際所在的區(qū)域要大。采用連續(xù)幀間差分方法檢測(cè)目標(biāo)