【正文】 2020 年 03 期 . [28] 何斌 ,馬天予 ,王運(yùn)堅(jiān) ,朱紅蓮 .Visual C++數(shù)字圖像處理 (第二版 ).北京人民郵電出版社 ,2020. 智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用 24 24 。2020 年 . [27] 王亮 ,胡衛(wèi)明 ,譚鐵牛 .人運(yùn)動的視覺分析綜述 [J]。2020 年 04 期 . [25] . Montera, . Rogers, . Ruck, W. Dennis, . Oxley. Object trackingthrough adaptive correlation[J]. Optical Engineering,1994,33(1)： 294302. 淮南師范學(xué)院本科畢業(yè)論文 23 [26] 郝士新 .基于視頻的運(yùn)動車輛檢測和跟蹤算法研究 [D]。2020 年 10 期 . [24] 徐瑞鑫 ,劉偉寧 .基于自適應(yīng)模板的實(shí)時(shí)跟蹤算法 [J]。2020 年 02 期 . [19] 萬文靜 .基于光流的圖像目標(biāo)跟蹤方法研究 [D]. 西北工業(yè)大學(xué) ,2020,(07). [20] Zhang, tracking in a cluttered scene[J].Image and Vision Computing,1994(2)： 110120. [21] 左鳳艷 ,高勝法 ,韓建宇 .基于加權(quán)累積差分的運(yùn)動目標(biāo)檢測與跟蹤 [D].山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 2020, 35(22) 159161. [22] 著，崔之鈷，江春等譯 .數(shù)字視頻處理 [[M].北京：電子工業(yè)出版社， 1998. [23] 高峰 ,雷志勇 ,易娟 .基于模板匹配的圖像跟蹤技術(shù) [J]。 黃宇峰 .基于卡爾曼濾波的 動目標(biāo)預(yù)測 [J].應(yīng)用科技 2020 年 第 10 期 . [16] 李軍科 ,張串 ,吳建軍 .基于蒙特卡洛方法的粒子濾波算法研究 [J]. 電腦與信息技術(shù) 2020 年 01期 . [17] Doucet A. Monte Carlo methods for Bayesian estimation of hidden Markov models[D],application to radiation signals. . Thesis, Univ. ParisSud, Orsay,1997. [18] 楊楊 。 特別感謝我最敬愛的父母和兄弟姐妹，感謝你們對我無私的付出和無盡的關(guān)心，謝謝你們多年來對我的理解、支持和幫助，祝愿你們永遠(yuǎn)幸福健康。感謝所有和我一起奮斗和努力過的同學(xué)，感謝你們在生活和工作中給予我的幫助，在我的人生中留下一段美好 的回憶。 感謝物電系的所有老師，感謝你們在學(xué)習(xí)和工作中給予我的諸多幫助。值此之際，要對曾經(jīng)給予我支持和幫助的所有老師、同學(xué)、朋友和家人表示最誠摯的謝意！ 首先要感謝我的導(dǎo)師王健老師，向他致以最崇高的敬意。針對上述兩種算法在跟蹤中存在的問題，文中將金字塔圖像的 Lucas Kanade 光流法跟蹤算法和模板匹配法結(jié)合起來，可以避免這兩種算法存在的問題，結(jié)果表明，改進(jìn)的目標(biāo)跟蹤算法能較好地實(shí)現(xiàn)目標(biāo)跟蹤、獲得目標(biāo)運(yùn)動軌跡，且具有良好的實(shí)時(shí)性和魯棒性。這兩個(gè)實(shí)驗(yàn)更好的證明了本文改進(jìn)的目標(biāo)跟蹤算法合理性及可行性。圖中，紅色的方框?yàn)楦櫩?，?shù)字 “1”和 “2”為目標(biāo)的標(biāo)號，紅色的 “+”為改進(jìn)的目標(biāo)跟蹤算法更正的目標(biāo)質(zhì)心，綠色的曲線為目標(biāo) 1 的運(yùn)動軌跡，藍(lán)色的曲線為目標(biāo) 2 的運(yùn)動軌跡；可以看出，改進(jìn)的目標(biāo)跟蹤算法能較好的跟蹤目標(biāo)和繪制目標(biāo)運(yùn)動軌跡，并且 1S 至少可以處理 15 幀圖像，基本滿足了實(shí)時(shí)跟蹤的要求?？梢钥闯?，提取的目標(biāo)模板精確、可靠。 圖 為目標(biāo)模板。二值圖像中紅色十字架為目標(biāo)質(zhì)心。實(shí)驗(yàn)中，我們采用的參數(shù)是：積分窗口為 1111（即公式 431 中的 x? 和 y? 均采用 5 個(gè)像素），金字塔層數(shù) L為 3，迭代次數(shù) K 為 20 次，目標(biāo)模板更新時(shí)間 T 為 1S，設(shè)定的搜索區(qū)域?yàn)?0? 80（實(shí)驗(yàn)中最大的目標(biāo)模板為： 26? 66）。 綜合上述三點(diǎn)，光流法和模板匹配法相結(jié)合的跟蹤方法 , 即改進(jìn)的目標(biāo)跟蹤算法概括為： 在第 k 幀，將目標(biāo)質(zhì)心（圖 （ a）中的紅色十字架）做為特征點(diǎn)，利用金字塔圖像的 Lucas Kanade 特征點(diǎn)跟蹤算法對其進(jìn)行跟蹤；經(jīng) Lucas Kanade 光流跟蹤后，在第 k+1 幀，可以得到目標(biāo)質(zhì)心的新位置（圖 （ b）、（ c）中的紅色十字架），在新位置的領(lǐng)域（圖 （ c）中黃色虛線矩形框，這是搜索區(qū)域）內(nèi)，利用 MAD 算法搜索目標(biāo)模板（圖 （ e） ）；搜索結(jié)果如圖 （ d）所示，藍(lán)色矩形框?yàn)楦櫩颍梢姼櫧Y(jié)果準(zhǔn)確；紅色十字架為光流法和模板匹配法相結(jié)合后更正的目標(biāo)質(zhì)心，將這一目標(biāo)質(zhì)心做為下一幀光流法跟蹤的特征點(diǎn)，以此類推，從而實(shí)現(xiàn)穩(wěn)定、可靠的目標(biāo)跟蹤。 淮南師范學(xué)院本科畢業(yè)論文 19 在目標(biāo)匹配時(shí)，第 i 個(gè)（ i 為目標(biāo)的 ID）目標(biāo)搜索的起始點(diǎn)設(shè)置為光流法預(yù)測的第 i 個(gè)目標(biāo) 的目標(biāo)質(zhì)心位置，用公式 (411)表示；第 i 個(gè)（ i 為目標(biāo)的 ID）目標(biāo)的搜索區(qū)域比第 i 個(gè)目標(biāo)的大小略大，用公式 (412)表示，其中 w? 和 h? 為設(shè)定的閾值。 基于最小絕對方差累加和的模板匹配法由于全圖搜索目標(biāo)模板對圖像利用率高，其計(jì)算量大，處理一幀圖像耗時(shí)約 1S，實(shí)時(shí)性差，不能單獨(dú)用于目標(biāo)跟蹤。 光流法和模板匹配法所存在的問題及本文改進(jìn)之處： 光流法之所以跟蹤目標(biāo)容易丟失且魯棒性不高缺點(diǎn)，是因?yàn)楣饬鞣A(yù)測的目標(biāo)質(zhì)心與實(shí)際的目標(biāo)質(zhì)心出現(xiàn)偏差，故跟蹤框偏離目標(biāo)（見圖 （ b）），并且將第 k+1幀光流法預(yù)測的目標(biāo)質(zhì)心做為下一幀光流法跟蹤的特征點(diǎn)，顯然，在第 k+n（ n大于等于 2）幀時(shí)，跟蹤框偏離目標(biāo)必定會加大并停止跟蹤。 下面以圖形的形式加予說明。故改進(jìn)的目標(biāo)跟蹤算法簡述為：通過目標(biāo)檢測模塊和新目標(biāo)檢測模塊，可以得到目標(biāo)個(gè)數(shù)、目標(biāo)質(zhì)心位置、目標(biāo)大小及目標(biāo) ID（最先出現(xiàn)的目標(biāo)為 其次為 再次為 3，以此類推）。在本節(jié)中，重點(diǎn)介紹系統(tǒng)框圖中的目標(biāo)跟蹤模塊，即改進(jìn)的目標(biāo)跟蹤算法。因此，如何減少匹配算法的運(yùn)算量和提高目標(biāo)定位精度是關(guān)鍵。 圖 為 MAD 算法的跟蹤結(jié)果。 （ a） (b) (c) 第 120 幀 第 150 幀 第 180 幀 圖 目標(biāo)模板 圖 MAD 算法跟蹤結(jié)果 圖 為目標(biāo)模板；其中，圖（ a）、（ b）和 (c)分別表示第 1 150 和 180 幀目標(biāo)模板。實(shí)驗(yàn)中，采用每隔 1S 提取一次目標(biāo)模板，并對目標(biāo)模板進(jìn)行更新?？紤]到系統(tǒng)的實(shí)時(shí)性問題，本文沒有采用基于跟蹤置信度的自適應(yīng)模板更新算法來更新和修正模板 [27]，而是采用了較為簡單的模板更新方法，即每隔 1S 提取一次目標(biāo)模板，并對目標(biāo)模板進(jìn)行更新。而且由于實(shí)際環(huán)境中的光照、天氣變化等因素的影響，相關(guān)跟蹤得不到絕對最佳的匹配位置，存在匹配誤差。 本文目標(biāo)模板選取的原則為：使用目標(biāo)的最小外接矩形框來做為目標(biāo)模板。如果模板過小，所包含的信息少，得出的最佳匹配位置容易不可靠；反之，如果模板過大，模板中將包含有更多的背景信息，背景信息的變化將給相關(guān)運(yùn)算帶來誤差，而智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用 16 16 這些誤差會隨著相關(guān)處理逐幀累積，如果累積到足夠幀數(shù)，模板會完全偏離目標(biāo)。另外， DS 搜索時(shí)各步驟之間有很強(qiáng)的相關(guān)性，模板移動時(shí)只需在幾個(gè)新的檢測點(diǎn)處進(jìn)行匹配計(jì)算，可以進(jìn)一步提高搜索速度。 圖 DS 的搜索路徑舉例 DS 算法的特點(diǎn)在于它分析了視頻圖像中運(yùn)動矢量的基木規(guī)律，選用了大小兩種形狀的搜索模板 LDSP 和 SDSP。 ③ 以上一次找到的 MBD 點(diǎn)為中心點(diǎn)，將 LDSP 換為 SDSP，在 5 個(gè)點(diǎn)處計(jì)算，找出 MBD 點(diǎn)，該點(diǎn)所在的位置即對應(yīng)最佳運(yùn)動矢量。 ② 中心點(diǎn)移到上一步的 MBD 點(diǎn)處，繼續(xù)用 LDSP 來計(jì)算。搜索時(shí)先用大模板計(jì)算，當(dāng)最小塊誤差 MBD (Minimum Block Distortion)點(diǎn) (即 MAD值最小的點(diǎn) )出現(xiàn)在中心點(diǎn)處時(shí)，將大模板 LDSP換為 SDSP，再進(jìn)行匹配計(jì)算，這時(shí) 5 個(gè)點(diǎn)中的 MBD 點(diǎn)即為最優(yōu)匹配點(diǎn)。另外，統(tǒng)計(jì)數(shù)據(jù)表明，視頻圖像中進(jìn)行運(yùn)動估值時(shí)，最優(yōu)點(diǎn)通常在零矢量周圍 (以搜索窗口中心為圓心，兩像素為半徑的圓內(nèi)，如圖 (a)所示 )，即具有中心傾向。 搜索模板的形狀和大小小但影響整個(gè)算法的運(yùn)行速度，而目也影響也搜索的準(zhǔn)確性。其中，性能最優(yōu)的是菱形搜索法，下面簡單介紹之。所以在使用 MAD 算法之前 ，一般都需要對搜索區(qū)及目標(biāo)模板圖像進(jìn)行灰度歸一化預(yù)處理。即： ,11( , ) ( , ) ( , )ijMMmnD i j S m n T m n?????? (31) 在圖像匹配跟蹤過程中，參考模板圖像在當(dāng)前幀搜索區(qū)內(nèi)滑動，與實(shí)時(shí)子區(qū)圖像作相關(guān)運(yùn)算，尋找最佳匹配點(diǎn)，當(dāng)使 D(i,j)取得最小值 minD 時(shí)的 (i,j)即為所求的最佳匹配點(diǎn)。比較 T 和 ,ijS 的內(nèi)容，若兩者一致，或極其相似，則點(diǎn) (, )ij 為所尋 找的最佳匹配點(diǎn)。設(shè)目標(biāo)模板 T 為一個(gè) MM? 的參考圖像，搜索圖 S 為一個(gè) NN? 圖像。但仍然存在跟蹤目標(biāo)容易丟失且魯棒性不高的缺點(diǎn)。 通過大量實(shí)驗(yàn)發(fā)現(xiàn)， Lucas Kanade 光流跟蹤要求圖像質(zhì)量比較高，圖像紋理豐富，對質(zhì)量較差的圖像跟蹤效果并不理想，主要表現(xiàn)在以下幾點(diǎn)： 1)不容易選定 一個(gè)固定的鄰域大小，使其適合不同的視頻段和不同的特征點(diǎn)； 2)容易出現(xiàn)特征點(diǎn)跟蹤不穩(wěn)定的情況； 3)某些點(diǎn)處的矩陣 G 病態(tài)或者不可逆，此時(shí)方程的解不可靠從而發(fā)生跟蹤漂移現(xiàn)象； 4)光流跟蹤依靠的是特征點(diǎn)的局部信息，每個(gè)點(diǎn)都是獨(dú)立跟蹤的結(jié)果，其跟蹤結(jié)果并不穩(wěn)定。圖中綠色的 “1”和藍(lán)色的 “2”為目標(biāo)的 ID，同一個(gè)目標(biāo)標(biāo)注了同一 ID，紅色的方框?yàn)楦櫩颍t色 “+”為光流預(yù)測的目標(biāo)質(zhì)心。實(shí)驗(yàn)中采用的參數(shù)是：積分窗口為 1111（即公式（ 21）中的 x? 、 y? 均采用 5 個(gè)像素），金字塔層數(shù) L 為 3，迭代次數(shù) K 為 20 次。 實(shí)驗(yàn)結(jié)果與分析 實(shí)驗(yàn)過程分三個(gè)模塊 ：視頻讀入、目標(biāo)檢測模塊和光流跟蹤模塊；首先，讀入視頻圖像；然后，采用目標(biāo)檢測模塊來進(jìn)行目標(biāo)檢測，通過目標(biāo)檢測得到目標(biāo)的質(zhì)心位置；最后，將目標(biāo)質(zhì)心當(dāng)作光流跟蹤的特征點(diǎn)，采用 LucasKanade 光流跟蹤算法，進(jìn)行目標(biāo)跟蹤。 因此，特征點(diǎn)的選取過程如下所示： 1） 在圖像 I 中的每個(gè)像素點(diǎn)計(jì)算矩陣 G 的最小特征值 m? ； 2） 在整個(gè)圖像 I 中，求出 m? 的最大值 max? ； 3） 保留圖像中特 征值 m? 大于最大特征值 max? 的 10%或 5%的像素點(diǎn)； 4） 從這些像素點(diǎn)中保留局部特征值最大的像素點(diǎn)（如果一個(gè)像素點(diǎn)的特征值 m?大于 33 領(lǐng)域內(nèi)的其他像素點(diǎn)的特征值，則這個(gè)像素點(diǎn)被保留）； 5） 保留下來的這些像素子集中的任何兩個(gè)像素點(diǎn)之間的距離必須大于給定的閾值（比如 5 或 10 個(gè)像素）。實(shí)際上，跟智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用 12 12 蹤的關(guān)鍵步驟是如何求取光流向量 k? （詳見上述的跟蹤流程），在這一步中， G 矩陣必須是可逆的，或換句話說， G 的最小特征值必須夠大（大于某一閾值）。 K + 1 第 L 層 的 光 流第 L 1 層 假 設(shè)12 ( )L L Lg g d???L 223。 LucasKanade 光流跟蹤的目標(biāo)是：已