【正文】 ........................................................................................................... 38 西北工業(yè)大學(xué)明德學(xué)院 本科畢業(yè)設(shè)計論文 1 摘 要 圖像序列目標(biāo)跟蹤是計算機(jī)視覺中的經(jīng)典問題，它是指在一組圖像序列中，根據(jù)所需目標(biāo)模型，實時確定圖像中目標(biāo)所在位置的過程。它是計算機(jī)視覺系統(tǒng)的核心，是一項融合了圖像處理、模式識別、人工只能和自動控制等領(lǐng)域先進(jìn)成果的高技術(shù)課題，在航天、監(jiān)控、生物醫(yī)學(xué)和機(jī)器人技術(shù)等多種領(lǐng)域都有廣泛應(yīng)用。為了保證跟蹤的穩(wěn)定性和正確性 , 需要對模板圖像進(jìn)行自適應(yīng)更新。 contrast do not use templates and template updates with the new tracking the progress and differences in the experiment proved that the tracking algo rithm with trajectory prediction and templates to a large extent with the new frame to improve tracking,Improved tracking accuracy, which has strong antinoise performance. Key words: Target tracking ， Target Detection ， Trajectory Prediction， Template Update 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 4 第一章 緒 論 本章首先討論了目標(biāo)跟蹤的研究背景和意義；介紹了目標(biāo)跟蹤在國內(nèi)外的研究現(xiàn)狀；接著討論了目標(biāo)跟蹤研究中面臨的困難和待解決的問題；最后介紹了本文的主要工作和總體結(jié)構(gòu)。 圖 11 目標(biāo)跟蹤原理圖 國內(nèi)外學(xué)者對目標(biāo)跟蹤算法進(jìn)行了大量深入的研究，取得了令人矚目的研究成果。本文重點研究了序列圖像的幾種常用跟蹤方法。這些顯著特征可以是目標(biāo)的質(zhì)心，也可以是目標(biāo)上的任意一點，只要這些特征具有高度的穩(wěn)定性，不易受外界因素如光照強(qiáng)度變化、噪聲等因素的干擾，對目標(biāo)大小、位置、方位不敏感即可。 這種方法的 優(yōu)點是：即使場景中出現(xiàn)部分遮擋情況，只要目標(biāo)的一些特征可西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 6 見，仍可以保持對運動目標(biāo)的跟蹤。 2) 基于相關(guān)的跟蹤 相關(guān)跟蹤法，又叫模板匹配法，其主要思想是：將目標(biāo)的基準(zhǔn)圖像（模板）在實時圖像中以不同的偏移值進(jìn)行位移，然后根據(jù)一定的相似性度量準(zhǔn)則對每一個偏移值下重疊的兩個圖像進(jìn)行處理，計算兩者的相關(guān)值，根據(jù)最大相關(guān)值確定實時圖像中目標(biāo)的位置。而且往往不能充分利用目標(biāo)的幾何特性，易產(chǎn)生積累誤差，它適用于實時圖像與參考圖的產(chǎn)生條件較為一致，目標(biāo)尺寸變化很小，景物與目標(biāo)的相關(guān)性不強(qiáng)的場合。由于噪聲、多光源、陰影和遮擋等原因，使得計算出的光流分布不是十分可靠和準(zhǔn)確，實際景物中的速 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 7 度場不一定總是與圖像中的直觀速度場有唯一對應(yīng)關(guān)系，且偏導(dǎo)數(shù)計算會加重噪聲水平，計算復(fù)雜，使得基于光流的方法在實際應(yīng)用中常常不穩(wěn)定。 第三章 匹配方法和目標(biāo)搜索算法 ，重點用最小平均絕對差值函數(shù) (MAD)做了跟蹤算法實現(xiàn)跟蹤。無論采用哪種目標(biāo)檢測算法，都應(yīng)該滿足以下幾個條件：能夠準(zhǔn)確地從圖像序列中檢測出運動目標(biāo)；操作簡便、快捷以及適應(yīng)實時系統(tǒng)的要求； 對天氣、光照等環(huán)境變化不敏感，且對于攝像機(jī)振動或由其它情況引起的噪聲有很好的魯棒性；所需要的先驗信息越少越好。背景去除法適用于固定攝像機(jī)的情形，它先為背景建立背景模型，通過將當(dāng)前圖像幀和背景模型進(jìn)行比較，確定出亮度變化較大的區(qū) 域，即認(rèn)為是前景區(qū)域。運動目標(biāo)的檢測原則西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 9 是要盡可能保留那些對視覺檢測有重要意義的特征信息，同時最大限度地摒棄那些對運動目標(biāo)檢測無用的冗余信息。 下面簡單介紹目前常用的幾種方法： 連續(xù)幀間差分法是將連續(xù)兩幀進(jìn)行比較，從中提取出運動目標(biāo)的信息，基本運算過程如圖 21 所示， 圖 21 連續(xù)幀間差分法的示意圖 首先，利用公式 21 計算第 k 幀圖像與第 k1 幀圖像之間的差別，得到差分后的圖像 Dk 。 (22) 按照上面介紹的連續(xù)幀間差分方法，我們對室外的運動目標(biāo)進(jìn)行了檢測實驗，實驗結(jié)果如下圖所示。對快速運動的物體，需要選擇較小的時間差，如果選擇得不合適，最壞情況下目標(biāo)在前后兩幀圖像中沒有重疊，造成被檢測為兩個分開的物體 。 [1] 然而，在實際應(yīng)用中目標(biāo)檢測的結(jié)果往往不太令人滿意，其主要問題是：當(dāng)目標(biāo)表面存在像素均勻的大區(qū)域時，時間差分法將在目標(biāo)的上述區(qū)域產(chǎn)生“空洞”而使目標(biāo)被過度分割成多個區(qū)域，只能檢測出運動目標(biāo)的一部分；另外由于目標(biāo)的運動，前一幀中被目標(biāo)遮擋的背景部分在當(dāng)前幀中將暴露出來，使得這部分背景也被認(rèn)為是運動區(qū)域；同時這種方法所檢測到的運動區(qū)域的大小與目標(biāo)的運動速度有關(guān)，目標(biāo)運動速度越大，檢測出的區(qū)域就比實際的區(qū)域越大，而當(dāng)目標(biāo)運動很緩慢時，往往檢測到的區(qū) 域很小，甚至無法檢測到目標(biāo)的運動。背景去除法可以簡單地表示為 ： (, )kijD = ( ) ( 1 )( , ) ( , )KKi j i jII?? （ 23） ( , ) ( , )0 ( , )kkk ki j i j Ti j TIDM D???? ???? （ 24） 式中 Dk (i,j)表示背景圖像。一般來說，背景模型需滿足以下要求： 1) 能適應(yīng)背景隨時間的緩慢變化，如一天當(dāng)中不同時間里的光照變化； 2) 能適應(yīng)背景物體的變化，如場景中移入新的物體，背景中的物體移出場 景等變化； 3) 背景模型能描述背景中的一些較大擾動，如樹葉晃動、日光燈閃爍等； 4) 能適應(yīng)光照亮度的突變； 5) 能夠消除前景物體的陰影； 6) 能夠處理前景物體與背景相似的情況，如人體衣服的顏色與背景中某個物體的顏色相似。如 Haritaoglu 等利用最大、最小強(qiáng)度值和最大時間差分值為場景中的每個像素進(jìn)行統(tǒng)計建模，并且進(jìn)行周期性的背景更新； McKenna 等利用像素色彩和梯度信息相結(jié)合方法來建立自適應(yīng)背景模型。光流研究已經(jīng)在環(huán)境建模、目標(biāo)檢測與跟蹤以及視頻事 件分析中得到了廣泛的應(yīng)用。 設(shè)圖像上 的點 (x, y)在時刻 t 的亮度為 f (x,y,t)，經(jīng)過時間Δ t 后對應(yīng)點的亮度 值為 f(x+Δ x,y+Δ y,t+Δ t)，當(dāng)Δ t→ 0 時，可以認(rèn)為亮度不變，于是有： f(x,y,t)=f(x+Δx,y+Δy,t+Δt) （ 25） 上式用泰勒公式展開得： ( , , ) ( , , )f dx f dy ff x x y y t t f x y tx dt y dt t?? ? ?? ? ? ? ? ? ? ?? ? ? （ 26） 由于Δ t→ 0，因此忽略二階無窮小項，得： ( , , ) ( , , )f x x y y t t f x y t? ? ? ? （ 27） 所以： 0f dx f dy fx dt y dt t?? ? ?? ? ? ?? ? ? （ 28） 即： 0x y tuvf f f? ? ? （ 29） 其中， dxu dt? , fvy???分別為 x 和 y 方向的光流分量。從不同的角度出發(fā)，可以引入不同的光流分析方 法，如：使用光流全局平滑性假設(shè)來求解光流的 HornSchunck 方法；使用一個模型通過最小二乘法來擬合像素點領(lǐng)域內(nèi)的光流值的 LucasKanade 局部調(diào)整法；利用二階導(dǎo)數(shù)求光流的 Nagel 方法和利用魯棒回歸算法來計算光流克服遮擋時運動邊界的信息不可靠問題的魯棒計算法等。同時大多數(shù)的光流計算方法相當(dāng)復(fù)雜，計算量巨大，除非有特別硬件支持，否則不能滿足實時要求。運動目標(biāo)的跟蹤在工業(yè)控制、軍事設(shè)備、醫(yī)學(xué)研究、視頻監(jiān)控、交通流量觀測監(jiān)控等很多領(lǐng)域都有重要的實用價值。在 本文 中介紹運動目標(biāo)的主要特征，具體對基于目標(biāo)區(qū)域特征進(jìn)行分析 ，及 常見的運動目標(biāo)搜索算法，重點分析了 跟蹤 原理和搜索 算法 。而使用運動目 標(biāo)檢測的方法來發(fā)現(xiàn)并確定運動目標(biāo)的位置進(jìn)行跟蹤，這種方法不考慮目標(biāo)的形狀、尺寸，可以檢測任何物體。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 17 基于特征匹配的跟蹤方法不考慮運動目標(biāo)的整體特征，即不關(guān)心目標(biāo)是什么，只通過目標(biāo)物體的一些特征來進(jìn)行跟蹤。在特征匹配中將提取的當(dāng)前幀圖像中目標(biāo)的特征與特征模板相比較，根據(jù)比較的結(jié)果來確定目標(biāo)，從而實現(xiàn)目標(biāo)的跟蹤。利用多個目標(biāo)特征聯(lián)合進(jìn)行跟蹤的算法，如 StnaBicrhfield 提出了將目標(biāo)的顏色直方圖模型和灰度梯度模型聯(lián)合的方法，實現(xiàn)對人頭部的實時跟蹤 ； 和 .TLiu 聯(lián)合目標(biāo)的顏色概率分布和邊緣密度信息完成對非剛體目標(biāo)的跟蹤 。這種方法不需要在視頻序列的圖像中找到完全相同的特征信息，通過計算區(qū)域的原始目標(biāo)之間的相關(guān)性來確定跟蹤目標(biāo)的位置。 基于區(qū)域的跟蹤 與基于區(qū)域的分割過程聯(lián)系較為緊密，所以也可以利用分割同跟蹤相結(jié)合的方法來進(jìn)行跟蹤。 [4] 基于模型匹配的跟蹤方法是用模型來表示目標(biāo)物體，也就是建模，然后在圖像序列中跟蹤這個建好的模型來實現(xiàn)目標(biāo)的跟蹤。另一種是參數(shù)可變的模型。圖像目標(biāo)的特征大致分為 ： (1) 圖像的視覺特征，如圖像的輪廓、邊緣、形狀、紋理和區(qū)域等特征 。 運動目標(biāo)搜索算法 運動目標(biāo)跟蹤算法中，目標(biāo)的特征提取之后，就是要選擇合適的搜索匹配算法來實現(xiàn)目標(biāo)在每幀圖 像中的定位。 絕對平衡搜索法 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 19 絕對平衡搜索法就是直接使用模板圖像和待匹配圖像上的搜索窗口之間的像素灰度值的差別來表示二者之間的相關(guān)性，并且利用閡值來界定相關(guān)性，進(jìn)而決定匹配效果。并且跟蹤時間很長，跟蹤 100 張序列圖像，用時 秒即 秒每張。歸一化互相關(guān)匹配算法的另一個缺點是計算耗時很大，所以可以考慮使用加速算法對其改進(jìn)，如使用序貫相似度檢測算法 (SSAD)和金字塔層次算法等，本質(zhì)上 這些算法是通過預(yù)測一個能在一幀的大致位置來減小搜索次數(shù)和時間。 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 26 第四章 模板更新與軌跡預(yù)測 由于照相機(jī)與目標(biāo)的相對運動 , 視野中的目標(biāo)可能出現(xiàn)大小、形狀、姿態(tài)等變化 , 加上外界環(huán)境中的各種干擾 , 以及隨著時間推移 , 所要跟蹤的目標(biāo)和目標(biāo)所在的場景都發(fā)生了變化 , 這時我們所要跟蹤的目標(biāo)點會發(fā)生誤差 , 嚴(yán)重情況下 , 有可能丟失跟蹤目標(biāo)。 由于模板圖像是從前一幀圖像中抽取的 , 而對應(yīng)像素距離計算卻是用模板圖像與下一幀圖像進(jìn)行對應(yīng)像素距離運算 , 這樣得到的最大相關(guān)曲面峰值位置即為最佳的匹配位置。因此正確的模板圖像的更新和修正方法是維持長時間穩(wěn)定跟蹤的關(guān)鍵。選擇合適的模板圖像更新和修正策略 , 可以在一定程度上克服上述變化對圖像匹配跟蹤結(jié)果的影響。這就是基于濾波與預(yù)測的模板圖像更新和修正方法 , 亦即基于匹配跟蹤置信度的加權(quán)自適應(yīng)模板圖像更新算法。 加權(quán)生成新模板 按照一個固定的權(quán)值對當(dāng)前新位置和舊模板加權(quán)生成新模板的方法是不夠合理的，由于沒有考慮到匹配效果的好壞，因而可能會使目標(biāo)跟蹤的精度降低。在實際實現(xiàn)中，當(dāng)前幀的目標(biāo)識別模板可用前面幀的目標(biāo)識別模板的線性組合得到，如下所示 1212( , ) ( , ) ( , ) . . . ( , )k k k k mmx y x y x y x yw w wT T T T? ? ?? ? ? (42) 西北工業(yè)大學(xué) 本科畢業(yè)設(shè)計論文 28 其中 1w + 2w +...mw =1， 1 mk??。通過調(diào)整幀間間隔數(shù)也能比較好的調(diào)整跟蹤系統(tǒng)的靈活性和穩(wěn)定性。在跟蹤系中，通常采用記憶外推跟蹤技術(shù)，本章我們將深入探討該技術(shù)的有關(guān)問題。式 ()和式 ()是 f(t)在最小方差意義下的 N點最佳平方逼近得通解，用與前面類似的方法可求得平方預(yù)測器表達(dá)式 。跟蹤 100 張序列圖像，用時 秒，即 秒每張。在學(xué)習(xí)、科研方面王老師給了我們精心的指導(dǎo)和熱情的幫助，并提出了很多寶