【正文】 ............................................................... 31 致 謝 ............................................................................................................................ 36 參考文獻(xiàn) ...................................................................................................................... 37 畢業(yè)設(shè)計(jì)小結(jié) .............................................................................................................. 38 西北工業(yè)大學(xué)明德學(xué)院 本科畢業(yè)設(shè)計(jì)論文 1 摘 要 圖像序列目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)中的經(jīng)典問(wèn)題，它是指在一組圖像序列中，根據(jù)所需目標(biāo)模型，實(shí)時(shí)確定圖像中目標(biāo)所在位置的過(guò)程。它最初吸引了軍 方的關(guān)注，逐漸被應(yīng)用于電視制導(dǎo)炸彈、火控系統(tǒng)等軍用備中。它是計(jì)算機(jī)視覺(jué)系統(tǒng)的核心，是一項(xiàng)融合了圖像處理、模式識(shí)別、人工只能和自動(dòng)控制等領(lǐng)域先進(jìn)成果的高技術(shù)課題，在航天、監(jiān)控、生物醫(yī)學(xué)和機(jī)器人技術(shù)等多種領(lǐng)域都有廣泛應(yīng)用。 本論文就圖像的單目標(biāo)跟蹤問(wèn)題，本文重點(diǎn)研究了幀間差分法和背景去除法等目標(biāo)檢測(cè)方法，研究了模板相關(guān)匹配跟蹤算法主要是：最小均方誤差函數(shù)(MES)，最小平均絕對(duì)差 值函數(shù) (MAD)和最大匹配像素統(tǒng)計(jì) (MPC)的跟蹤算法。為了保證跟蹤的穩(wěn)定性和正確性 , 需要對(duì)模板圖像進(jìn)行自適應(yīng)更新。 對(duì)比分析了相關(guān)匹配算法的跟蹤精度和跟蹤速度；對(duì)比不采用模板更新和模板跟新的跟蹤進(jìn)度和差別，實(shí)驗(yàn)表明，跟蹤算法加上軌跡 預(yù)測(cè)及模板跟新在很大程度上提高了跟蹤幀數(shù)，提高了跟蹤精度，具有一定的抗噪聲性能。 contrast do not use templates and template updates with the new tracking the progress and differences in the experiment proved that the tracking algo rithm with trajectory prediction and templates to a large extent with the new frame to improve tracking,Improved tracking accuracy, which has strong antinoise performance. Key words: Target tracking ， Target Detection ， Trajectory Prediction， Template Update 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 4 第一章 緒 論 本章首先討論了目標(biāo)跟蹤的研究背景和意義；介紹了目標(biāo)跟蹤在國(guó)內(nèi)外的研究現(xiàn)狀；接著討論了目標(biāo)跟蹤研究中面臨的困難和待解決的問(wèn)題；最后介紹了本文的主要工作和總體結(jié)構(gòu)。 圖像序列中的運(yùn)動(dòng)目標(biāo)跟蹤，就是在各幀圖像中 檢測(cè)出各個(gè)獨(dú)立運(yùn)動(dòng)的目標(biāo)，或是用戶感興趣的運(yùn)動(dòng)區(qū)域（如人體、車輛等），并且提取目標(biāo)的位置信息，得到各個(gè)目標(biāo)的運(yùn)動(dòng)軌跡。 圖 11 目標(biāo)跟蹤原理圖 國(guó)內(nèi)外學(xué)者對(duì)目標(biāo)跟蹤算法進(jìn)行了大量深入的研究，取得了令人矚目的研究成果。 目前， 運(yùn)動(dòng)目標(biāo)跟蹤算法的主要難點(diǎn)有：復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)提取、目標(biāo)之間的相互遮擋以及目標(biāo)與背景之間的遮擋、陰影處理、多攝像機(jī)的數(shù)據(jù)融合等。本文重點(diǎn)研究了序列圖像的幾種常用跟蹤方法。 目前，國(guó)內(nèi)外學(xué)者提出了許多不同的跟蹤算法和跟蹤系統(tǒng)，可以按照不同的劃分依據(jù)對(duì)跟蹤算法進(jìn)行不同的分類：就跟蹤對(duì)象而言，可以分為車輛跟蹤、人體跟蹤或人體部分跟蹤（如跟蹤手、臉、頭和腳等身體部分）等；就跟蹤目標(biāo)個(gè)數(shù)而言，可以分為單目標(biāo)跟蹤和多目標(biāo)跟蹤；就跟蹤視角而言，可以分為單攝像機(jī)的單一視角、多攝像機(jī)的多視角和全方位視角；還可以通過(guò)攝像機(jī)類型（紅外攝像機(jī)、可見(jiàn)光攝像機(jī)）、攝像機(jī)狀態(tài)（運(yùn)動(dòng)、固定）、跟蹤空間（二維、三維）和跟蹤環(huán)境（室內(nèi)、室外）等方面來(lái)進(jìn)行分類。這些顯著特征可以是目標(biāo)的質(zhì)心，也可以是目標(biāo)上的任意一點(diǎn)，只要這些特征具有高度的穩(wěn)定性，不易受外界因素如光照強(qiáng)度變化、噪聲等因素的干擾，對(duì)目標(biāo)大小、位置、方位不敏感即可。 基于特征的目標(biāo)跟蹤方法利用跟蹤特征點(diǎn)位置的變化來(lái)跟蹤目標(biāo)，首先，從圖像序列中提取目標(biāo)的顯著特征，如拐點(diǎn)、質(zhì)心或有明顯標(biāo)記區(qū)域?qū)?yīng)的點(diǎn)、線、曲線等；然后在連續(xù)圖像幀之間尋找特征的對(duì)應(yīng)關(guān)系，即進(jìn)行特征匹配，最后計(jì)算運(yùn)動(dòng)信息，從而通過(guò)對(duì)特征的跟蹤來(lái)完成對(duì)整個(gè)目標(biāo)的跟蹤。 這種方法的 優(yōu)點(diǎn)是：即使場(chǎng)景中出現(xiàn)部分遮擋情況，只要目標(biāo)的一些特征可西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 6 見(jiàn)，仍可以保持對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤。特征的選取對(duì)整個(gè)跟蹤算法十分重要，關(guān)系到整個(gè)跟蹤系統(tǒng)的可靠性和跟蹤精度，它應(yīng)具有對(duì)目標(biāo)大小、位置、方向和照度變化不敏感的特點(diǎn)，如灰度局部極大值點(diǎn)、跟蹤。 2) 基于相關(guān)的跟蹤 相關(guān)跟蹤法，又叫模板匹配法，其主要思想是：將目標(biāo)的基準(zhǔn)圖像（模板）在實(shí)時(shí)圖像中以不同的偏移值進(jìn)行位移，然后根據(jù)一定的相似性度量準(zhǔn)則對(duì)每一個(gè)偏移值下重疊的兩個(gè)圖像進(jìn)行處理，計(jì)算兩者的相關(guān)值，根據(jù)最大相關(guān)值確定實(shí)時(shí)圖像中目標(biāo)的位置。 相關(guān)跟蹤法具有很強(qiáng)的噪聲抑制能力，可以在很小的信噪比條件下工作，它具有對(duì)有關(guān)目標(biāo)的知識(shí)要求甚少、定位精度高、跟蹤距離遠(yuǎn)、可靠性高和較強(qiáng)的局部抗干擾能力等優(yōu)點(diǎn)，而且計(jì)算簡(jiǎn)單，易于編程和硬化。而且往往不能充分利用目標(biāo)的幾何特性，易產(chǎn)生積累誤差，它適用于實(shí)時(shí)圖像與參考圖的產(chǎn)生條件較為一致，目標(biāo)尺寸變化很小，景物與目標(biāo)的相關(guān)性不強(qiáng)的場(chǎng)合。運(yùn)動(dòng)信息又稱為光流，基于光流估計(jì)的方法，利用了灰度的變化信息，首先，從圖像序列的灰度變化中計(jì)算速度場(chǎng) ，一般需要計(jì)算灰度的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)；然后利用一些約束條件從速度場(chǎng)中估計(jì)運(yùn)動(dòng)參數(shù)和物體結(jié)構(gòu)。由于噪聲、多光源、陰影和遮擋等原因，使得計(jì)算出的光流分布不是十分可靠和準(zhǔn)確，實(shí)際景物中的速 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 7 度場(chǎng)不一定總是與圖像中的直觀速度場(chǎng)有唯一對(duì)應(yīng)關(guān)系，且偏導(dǎo)數(shù)計(jì)算會(huì)加重噪聲水平，計(jì)算復(fù)雜，使得基于光流的方法在實(shí)際應(yīng)用中常常不穩(wěn)定。 本文的具體結(jié)構(gòu)安排 第一章 緒論，詳細(xì)闡述了目標(biāo)跟蹤的研究背景和意義，總結(jié)了國(guó)內(nèi)外研究 的發(fā)展現(xiàn)狀，討論了目前目標(biāo)跟蹤存在的困難和不足，指出了本文重點(diǎn)解決的問(wèn)題。 第三章 匹配方法和目標(biāo)搜索算法 ，重點(diǎn)用最小平均絕對(duì)差值函數(shù) (MAD)做了跟蹤算法實(shí)現(xiàn)跟蹤。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 8 第二章 運(yùn)動(dòng)目標(biāo)檢測(cè) 目前，已經(jīng)有許多標(biāo)準(zhǔn)的算法用于運(yùn)動(dòng)目標(biāo)檢測(cè)，它們具有不同的效果和復(fù)雜度。無(wú)論采用哪種目標(biāo)檢測(cè)算法，都應(yīng)該滿足以下幾個(gè)條件：能夠準(zhǔn)確地從圖像序列中檢測(cè)出運(yùn)動(dòng)目標(biāo)；操作簡(jiǎn)便、快捷以及適應(yīng)實(shí)時(shí)系統(tǒng)的要求； 對(duì)天氣、光照等環(huán)境變化不敏感，且對(duì)于攝像機(jī)振動(dòng)或由其它情況引起的噪聲有很好的魯棒性；所需要的先驗(yàn)信息越少越好。光流法在攝像機(jī)運(yùn)動(dòng)的條件下也能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo)，然而大多數(shù)的光流計(jì)算相當(dāng)復(fù)雜，不能夠用于實(shí)時(shí)處理。背景去除法適用于固定攝像機(jī)的情形，它先為背景建立背景模型，通過(guò)將當(dāng)前圖像幀和背景模型進(jìn)行比較，確定出亮度變化較大的區(qū) 域，即認(rèn)為是前景區(qū)域。 [10] 本章首先簡(jiǎn)單概述了目標(biāo)檢測(cè)算法，然后詳細(xì)介紹了本文使用的自適應(yīng)背景去除算法，接著針對(duì)陰影對(duì)目標(biāo)檢測(cè)的影響，本文從色彩和光照不變性的角度，分析和討論了陰影的特性，提出了一個(gè)新的可用于陰影去除的算法，提高了陰影去除率，最后介紹了噪聲處理和區(qū)域標(biāo)記方法。運(yùn)動(dòng)目標(biāo)的檢測(cè)原則西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計(jì)論文 9 是要盡可能保留那些對(duì)視覺(jué)檢測(cè)有重要意義的特征信息，同時(shí)最大限度地摒棄那些對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)無(wú)用的冗余信息。但是，在實(shí)際應(yīng)用中，由于動(dòng)態(tài)場(chǎng)景的光照變化、陰影、目標(biāo)之間的遮擋現(xiàn)象以及攝像機(jī)的抖動(dòng)等問(wèn)題的存在，要得到一個(gè)通用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法是十分困難的，研究 者不得不在算法的復(fù)雜度、可靠性以及實(shí)時(shí)性等方面綜合考慮。 下面簡(jiǎn)單介紹目前常用的幾種方法： 連續(xù)幀間差分法是將連續(xù)兩幀進(jìn)行比較，從中提取出運(yùn)動(dòng)目標(biāo)的信息，基本運(yùn)算過(guò)程如圖 21 所示， 圖 21 連續(xù)幀間差分法的示意圖 首先，利用公式 21 計(jì)算第 k 幀圖像與第 k1 幀圖像之間的差別，得到差分后的圖像 Dk 。 然后對(duì)差分后圖像 Dk 使用圖像分割算法 (公式 22)進(jìn)行二值化處理，即認(rèn)為當(dāng)差分圖像中某 一像素的差大于設(shè)定的閉值時(shí)，則認(rèn)為該像素是前景像素 (檢測(cè)到的目標(biāo) )，反之則認(rèn)為是背景像素 。 (22) 按照上面介紹的連續(xù)幀間差分方法，我們對(duì)室外的運(yùn)動(dòng)目標(biāo)進(jìn)行了檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下圖所示。采用連續(xù)幀間差分方法檢測(cè)目標(biāo)時(shí)，需要考慮如何選擇合適的時(shí)間間隔。對(duì)快速運(yùn)動(dòng)的物體，需要選擇較小的時(shí)間差，如果選擇得不合適，最壞情況下目標(biāo)在前后兩幀圖像中沒(méi)有重疊，造成被檢測(cè)為兩個(gè)分開(kāi)的物體 。針對(duì)這些問(wèn)題有許多的改進(jìn)方法，例如提出三幀差圖像法，利用三幀圖像計(jì)算出兩個(gè)差分圖像，再令對(duì)應(yīng)像素相乘。 [1] 然而，在實(shí)際應(yīng)用中目標(biāo)檢測(cè)的結(jié)果往往不太令人滿意，其主要問(wèn)題是：當(dāng)目標(biāo)表面存在像素均勻的大區(qū)域時(shí)，時(shí)間差分法將在目標(biāo)的上述區(qū)域產(chǎn)生“空洞”而使目標(biāo)被過(guò)度分割成多個(gè)區(qū)域，只能檢測(cè)出運(yùn)動(dòng)目標(biāo)的一部分；另外由于目標(biāo)的運(yùn)動(dòng)，前一幀中被目標(biāo)遮擋的背景部分在當(dāng)前幀中將暴露出來(lái)，使得這部分背景也被認(rèn)為是運(yùn)動(dòng)區(qū)域；同時(shí)這種方法所檢測(cè)到的運(yùn)動(dòng)區(qū)域的大小與目標(biāo)的運(yùn)動(dòng)速度有關(guān)，目標(biāo)運(yùn)動(dòng)速度越大，檢測(cè)出的區(qū)域就比實(shí)際的區(qū)域越大，而當(dāng)目標(biāo)運(yùn)動(dòng)很緩慢時(shí)，往往檢測(cè)到的區(qū) 域很小，甚至無(wú)法檢測(cè)到目標(biāo)的運(yùn)動(dòng)。 [4] 在背景去除法中，背景圖像的選取直接關(guān)系到最終檢測(cè)結(jié)果的準(zhǔn)確性。背景去除法可以簡(jiǎn)單地表示為 ： (, )kijD = ( ) ( 1 )( , ) ( , )KKi j i jII?? （ 23） ( , ) ( , )0 ( , )kkk ki j i j Ti j TIDM D???? ???? （ 24） 式中 Dk (i,j)表示背景圖像。但隨著時(shí)間的推移，對(duì)光照和外部條件造成的場(chǎng)景變化比較敏感，會(huì)出現(xiàn)許多噪聲點(diǎn)，影響目標(biāo)檢測(cè)結(jié)果。一般來(lái)說(shuō)，背景模型需滿足以下要求： 1) 能適應(yīng)背景隨時(shí)間的緩慢變化，如一天當(dāng)中不同時(shí)間里的光照變化； 2) 能適應(yīng)背景物體的變化，如場(chǎng)景中移入新的物體，背景中的物體移出場(chǎng) 景等變化； 3) 背景模型能描述背景中的一些較大擾動(dòng)，如樹(shù)葉晃動(dòng)、日光燈閃爍等； 4) 能適應(yīng)光照亮度的突變； 5) 能夠消除前景物體的陰影； 6) 能夠處理前景物體與背景相似的情況，如人體衣服的顏色與背景中某個(gè)物體的顏色相似。 目前許多研究人員致力于背景模型的研究，希望能夠減少動(dòng)態(tài)場(chǎng)景對(duì)于準(zhǔn)確檢測(cè)的影響。如 Haritaoglu 等利用最大、最小強(qiáng)度值和最大時(shí)間差分值為場(chǎng)景中的每個(gè)像素進(jìn)行統(tǒng)計(jì)建模，并且進(jìn)行周期性的背景更新； McKenna 等利用像素色彩和梯度信息相結(jié)合方法來(lái)建立自適應(yīng)背景模型。一般情況下，光流由相機(jī)運(yùn)動(dòng)、場(chǎng)景中目標(biāo)的運(yùn)動(dòng)或兩者的同時(shí)運(yùn)動(dòng)產(chǎn)生的。光流研究已經(jīng)在環(huán)境建模、目標(biāo)檢測(cè)與跟蹤以及視頻事 件分析中得到了廣泛的應(yīng)用。 [9] 光流法的基本原理是：給圖像中的每一個(gè)像素點(diǎn)賦予一個(gè)速度矢量，形成一個(gè)圖像運(yùn)動(dòng)場(chǎng)，在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上的一點(diǎn)對(duì)應(yīng)三維物體上的某一點(diǎn)，這種對(duì)應(yīng)關(guān)系可由投影關(guān)系得到，根據(jù)各個(gè)像素點(diǎn)的速度矢量特征，可以對(duì)圖像進(jìn)行動(dòng)態(tài)分析。 設(shè)圖像上 的點(diǎn) (x, y)在時(shí)刻 t 的亮度為 f (x,y,t)，經(jīng)過(guò)時(shí)間Δ t 后對(duì)應(yīng)點(diǎn)的亮度 值為 f(x+Δ x,y+Δ y,t+Δ t)，當(dāng)Δ t→ 0 時(shí)，可以認(rèn)為亮度不變，于是有： f(x,y,t)=f(x+Δx,y+Δy,t+Δt) （ 25） 上式用泰勒公式展開(kāi)得： ( , , ) ( , , )f dx f dy ff x x y y t t f x y tx dt y dt t?? ? ?? ? ? ? ? ? ? ?? ? ? （ 26） 由于Δ t→ 0，因此忽略二階無(wú)窮小項(xiàng)，得： ( , ,