【正文】 化的問題。此類跟蹤方法大體上可以分為兩類：逐幀更新法和有選擇的更新法。逐幀更新法 [4951]以當前時刻目標的最佳跟蹤結果更新目標模型。在跟蹤精度較高的情況下，這種方法能很好的解決目標外表變化的問題。但是，如果跟蹤精度不高，這種方法也可能會加速跟蹤的失敗。有選擇的更新法考慮到跟蹤結果不總是正確的，因此只在跟蹤所得目標與目標模型接近 [52]或者新的未標簽的數(shù)據(jù)能通過半監(jiān)督學習的方式被融入到目標模型中時才對模型進行更新。TLD [53]是當前新興起的一種高效視覺目標跟蹤方法 ，相比其他傳統(tǒng)算法具有長期、在線、最少先驗信息的特點。長期是指處理的圖像序列可以是無限長并且可能含有幀修剪、快速的攝像機運動以及目標短暫消失等情況。在線是指只利用當前和之前時刻所能獲得的信息來跟蹤目標。最少先驗信息是指事先沒有任何關于目標的信息，關于目標的唯一信息來自于在初始幀人為選定的目標區(qū)域。該方法只需要較少的先驗信息就可以實現(xiàn)對任意目標的長期在線跟蹤，運算速度快，實時性高，并且能有效的適用于目標被遮擋或者消失的場合和目標外表在跟蹤過程中發(fā)生變化的情況，因此具有較高的研究實用價值。 TLD 算法框架結構TLD 主要由三個部分組成：跟蹤器、學習模塊、檢測器。跟蹤器部分由一個短期自適應跟蹤器構成，在幀間運動有限、目標可見的情況下，用來預測目標在連續(xù)幀間的運動。檢測器部分為一個高效的級聯(lián)分類器，創(chuàng)建使用了簡單有效圖像特征，可以對目標進行實時的檢測，同時在必要的情況下糾正跟蹤器。學習模塊評估跟蹤器和檢測器的性能，通過生成有效的訓練樣本完成檢測器的更新，消除檢測器誤差。TLD 算法的框架結構如圖 所示。在跟蹤目標的起始幀，通過給出目標的位置和大小，完成對 TLD 算法的初始化。在隨后的跟蹤過程中，對每一幀圖像用跟蹤器和檢測器共同進行處理。跟蹤器根據(jù)前一幀中目標的位置和大小信息來估計當前幀中目標所在的區(qū)域。檢測器對當前幀窗口全局掃描，檢測出一個或者多個可能的目標區(qū)域。檢測結果和跟蹤結果輸入到融合處理模塊，該模塊給出當前幀是否存在目標、目標區(qū)域以及當前幀的跟蹤軌跡是否有效等信息。這些融合處理結果、聯(lián)合檢測結果和跟蹤結果一起輸入到學習模塊，學習模塊完成對跟蹤器和檢測器的更新。跟蹤學習檢測融合處理視頻幀更新更新目標位置圖 TLD 算法框架結構圖 TLD 算法主要模塊本節(jié)對 TLD 算法各個模塊進行詳細的介紹。 節(jié)為跟蹤模塊的介紹， 節(jié)為檢測模塊的介紹， 節(jié)為學習模塊的介紹， 節(jié)為融合處理模塊的介紹。 跟蹤模塊TLD 中的跟蹤模塊為采用 Median Flow 方法 [54]所設計的短期自適應跟蹤器。它采用了金11 / 79字塔的 LucasKanade 方法作為基本跟蹤方法并融入了 ForwardBackward Error[54]作為跟蹤結果是否優(yōu)良的評測手段。1. 金字塔的 LucasKanade 方法和 ForwardBackward Error 方法介紹（1）金字塔的 LucasKanade 方法LucasKanade 方法 [41]是最常用的光流估計技術，它只需要每個感興趣點周圍小窗口的局部信息即可，計算速度快、應用簡單。LucasKanade 方法 的基本原理是對圖像中的每一像素點賦予一個速度矢量，從而形成一個圖像運動場?？紤]光流矢量運動的連續(xù)性，若圖像中目標與背景發(fā)生相對運動，表征目標的速度矢量將不同于鄰域背景速度矢量，從而檢測出運動的目標及位置。由于 LucasKanade 方法只用到每個感興趣點周圍小窗口的局部信息，如果存在較大的運動這些點將會移出這個小窗口，從而造成后續(xù)幀中無法再找到這些點。金字塔的 LucasKanade方法可以很好的解決這個問題，即從圖像金字塔的最高層（細節(jié)最少）開始向金字塔的底層（細節(jié)最豐富）進行跟蹤。這樣金字塔的 LucasKanade 方法允許用小窗口捕獲較大的運動。（2）ForwardBackward Error金字塔的 LucasKanade 方法是一個點跟蹤問題，其實質是在時刻 跟蹤一個點，要求預測t時刻該點的位置。但實際所跟蹤的點中，會有一些點在跟蹤過程中發(fā)生很大的變化或者1t?突然的消失，這種情況經常會導致跟蹤的失敗。ForwardBackward Error 能夠很好地解決目標遮擋或者目標消失而導致點跟蹤失敗的情況。ForwardBackward Error 的基本思想：跟蹤器從初始幀到最后一幀跟蹤每一幀圖像上的一系列點，形成一個軌跡。接著，選擇最后一幀上的點坐標作為校驗軌跡的起始點。跟蹤器從最后一幀向初始幀進行點跟蹤，形成一個校驗軌跡。最后，對這兩個軌跡進行比較，計算兩者之間的差異用于評測跟蹤的效果。ForwardBackward Error 介紹如下。定義 ForwardBackward Error 的兩個特征點軌跡，如圖 所示。定義 為一圖像序列， 為時刻 的一點坐標。對點 進行向1(,.,)ttkSII??txttx前 幀的跟蹤，得到一個軌跡 ，其中 代表向前跟蹤， 代表軌跡的長k 1(,.)fttkTx?fk度。由于此處的目的是評估 的誤差，所以需要創(chuàng)建一個校驗軌跡。對點 向后進行跟蹤，kf t?得到校驗軌跡 ，其中 。最后，通過計算兩軌跡間的歐式距離1(,.,)kttbTx????tktx???得到 ForwardBackward Error 值，其計算公式為： 。()ktfFBTSx??ForwardBackward Error 的一個主要優(yōu)勢在于可以應用于多種點跟蹤器中，并且實現(xiàn)簡單方便。tx?1tx??tkx?tkI?tI1tI?f o r w a r d b a c k w a r d e r r o r向后軌道向前軌道1tx?tx圖 ForwardBackward 示意圖2. 采用 Median Flow 方法的短期自適應跟蹤器的實現(xiàn)在實際的目標跟蹤中，所跟蹤的點往往是相互有關聯(lián)的，比如說表征目標的點集往往是一起運動的?？紤]到這些情況，TLD 的跟蹤器采用了一種新型魯棒性強的 Median Flow 方法，將金字塔 LucasKanade 方法作為基本跟蹤方法，引入 ForwardBackward Error 作為跟蹤效果在線評估手段，實現(xiàn)性能優(yōu)良的短期目標跟蹤。Median Flow 短期自適應跟蹤器的整體流程包括 5 個部分：初始化目標邊界框點集、跟蹤點集、計算評估跟蹤誤差、去除錯誤點、更新目標邊界框。如圖 所示，整個流程的任務是要求通過在圖片 中獲得目標初始化點集和目標邊界框 ，跟蹤得到在圖片 中表征目標的tI t?1tI?點集和目標邊界框 。具體講，對邊界框 初始化一個 1010 的格子，生成 100 個點集。1??t接著，這些點通過金字塔的 LucasKanade 方法進行跟蹤，得到一個從 到 的稀疏運動場。t1t然后，兩幅圖像中的每對對應點通過 ForwardBackward Error 方法進行誤差的評估，同時還引入常用的 NCC（normalized crosscorrelation）作為誤差評估的一個補充。接著，所跟蹤的點集中誤差值最大的 50%點被認為跟蹤效果不佳而被去除。最后，剩余的 50%點將被用來預估目標邊界框從 到 的位移和大小的變化。tI1t?通過剩余的被認為跟蹤準確的點來求取目標邊界框的變化包括有兩個任務，分別是二維空間的位移和邊界框大小的變化。其中位移的變化是：首先計算所有剩余對應點的位移，然后求它們的中位值，該值即為邊界框的空間位移變化。邊界框大小變化的計算是：首先對每對點計算在當前圖像中距離與在下一幀圖像中的距離之間的比例變化，然后求取所有比例變化的中位值，該值即為邊界框大小的變化。每一次跟蹤，跟蹤器都會在目標的邊界框中重新初始化新的跟蹤點集，從而使跟蹤器具有了較好的自適應能力。Median Flow 方法所設計的短期自適應跟蹤器實現(xiàn)方便、簡單，同時，可靠性和魯棒性強，能夠很好地適用于跟蹤目標部分被遮擋的場合。13 / 79圖 基于 Median Flow 思想設計的短期自適應跟蹤器的效果圖 檢測模塊檢測模塊是一套完整的跟蹤系統(tǒng)中不可缺少的部分。一旦被跟蹤的目標突然被遮擋或者消失而導致跟蹤失敗的時候，檢測模塊的檢測器能夠檢測出再次出現(xiàn)的目標，使跟蹤系統(tǒng)能夠繼續(xù)跟蹤該目標。檢測器要求快速、可靠，能夠有效的調整決策域，處理在線模型中的特征數(shù)據(jù)。目前高效的實時目標檢測器通常是基于 AdaBoost 算法 [46]的檢測器，這類檢測器不僅需要大量的訓練序列，而且數(shù)據(jù)訓練的計算量大。而其他的一些檢測器 [55]盡管訓練快速高效，但是檢測器在逐漸適合于新的樣本數(shù)據(jù)的同時會逐漸拋棄原先的樣本數(shù)據(jù)。而我們需要一種檢測器，它能夠將新的樣本數(shù)據(jù)存放于在線模型，并一直保存在模型中，除非通過學習判斷將其主動從模型中移去。TLD 檢測模塊中的檢測器是基于掃描窗口策略 [46]，在初始幀圖像上，根據(jù)初始目標的位置和大小，以子窗口的形式給出所有可能的具有不同位置及大小的目標邊界框（子窗口） ，在接下來的每一幀圖像中， 以窗口掃描的形式通過一個級聯(lián)分類器對每個子窗口內的圖像內容進行判斷，決定是否為目標。1. 先決條件（1）目標模型通常情況下，目標可以由它的狀態(tài)表征。狀態(tài)可以是目標的邊界框，也可以是一個表示目標可見與否的標識值。邊界框有固定的長寬比，長寬比通常由初始的邊界框給出，表征邊界框的參數(shù)通常是它的位置和大小。任意兩邊界框的相似度由兩者之間的交疊程度度量。目標由圖像區(qū)域 表示，圖像區(qū)域為一個從目標邊界框采樣并且歸一化的大小為 1515p的灰度圖像區(qū)域。圖像序列中，每幀圖像中的圖像區(qū)域共同組成目標所有可能的外表特征軌跡，決定目標的可見與否。定義目標模型 ，用來表示目標以及周圍的背景。它由一系列 positive 和 negative 圖像M區(qū)域組成， ，其中 和 分別代表目標和背景圖像區(qū)域，1212{,}mnpp?????? ? p??（ ）為加入模型的第一個 positive（negative）圖像區(qū)域， （ ）為加入的最后一個1p?? m?np?positive（negative）圖像區(qū)域。伴隨著跟蹤的進行，目標模型是時刻變化的。（2）特征檢測器選取的特征是一種新型的基于 2bit Binary Patterns (2bitBP)[56]的特征。2bitBP 是由局部二值模式（LBP） [57]引申過來的。相比較局部二值模式，2bitBP 只需一個編碼即可對某一特定區(qū)域進行整體編碼；另外，2bitBP 只輸出 4 種可能的編碼，相比較 LBP 的 256 種可能編碼輸出，可以很好地防止過擬合。2bitBP 是通過測量一定范圍內的圖像灰度的梯度方向，然后對其進行量化，最終輸出四種可能的編碼，其示意圖如圖 所示。2bitBP 利用積分圖像即可實現(xiàn)圖像的多尺度測量編碼，且該特征不受光照變化的影響，通用性強。水平方向豎直方向3a41a2 34()Ia?34()Ia?12()Ia?12()Ia?2 b i t B P 的輸出編碼格式為 （ b ）( a ) ( b )( c ) ( d )圖 2bit Binary Patterns 在目標跟蹤中應用的示意圖2. 掃描窗口策略15 / 79掃描窗口策略的基本思想：在每幀圖像上，通過一定的方法對每個圖像子窗口判斷，決定該窗口上是否存在目標。掃描窗口通過以下方法生成。根據(jù)給出的初始的目標邊界框，TLD 以一定的參數(shù)在圖像中產生所有可能的具有不同大小和位置的目標邊界框，其所用的參數(shù)是：變化大小的步長為、水平方向的位移步長為邊界框寬度的 10%、豎直方向的位移步長為邊界框高度的 10%。產生得到的目標邊界框在后續(xù)處理過程中保持不變，對不同大小的圖像或者初始目標邊界框，劃分得到的目標邊界框數(shù)量各不相同，如圖 所示。在產生所有可能的目標邊界框后，TLD即以窗口掃描的形式對每個目標邊界框內的圖像內容進行檢測以判斷是否為目標。圖 掃描窗口示意圖3. 級聯(lián)分類器檢測器中，級聯(lián)分類器用來對每個圖像子窗口判斷決定當前子窗口上目標存在與否。一個性能優(yōu)良的分類器可以提高分類效率和精度，降低決策代價。TLD 中的級聯(lián)分類器由三部分組成，如圖 所示，分別為圖像區(qū)域方差分類器、集成分類器、最近鄰域分類器。圖像區(qū)域方差分類器認為目標所在圖像區(qū)域的像素方差值大于背景圖像區(qū)域的像素方差值，通過設定一定閾值，刪除部分表征背景的圖像區(qū)域。集成分類器由隨機森林構成，對滿足圖像區(qū)域方差分類標準后的圖像區(qū)域，通過隨機森林再分類，記錄每個圖像區(qū)域的后驗概率，認為后驗概率值大于 50%的圖像區(qū)域為可能的目標區(qū)域。滿足集成分類器分類標準的圖像區(qū)域最后再通過最近鄰域分類器來計算與在線目標模型的相似度，認為相似度大于設定閾值的圖像區(qū)域為目標區(qū)域并作為級聯(lián)分類器的最終分類結果輸出。對于每一個圖像區(qū)域，分別依次在三個分類器中進行判別分類，滿足所有分類標準的圖像區(qū)域被認為是可能存在目標的區(qū)域。下面分別對三種分類器進行簡單的介紹。圖像區(qū)域方差分類器1 N N 分類器集成分類器Y Y YNN N被接受的圖像區(qū)域被拒絕的圖像區(qū)域所有圖像區(qū)域( 圖像子窗口 )圖 級聯(lián)分類器結構圖（1）圖像區(qū)域方差分類器圖像區(qū)域方差分類器的思想：在跟蹤過程中，目標所在圖像區(qū)域的像素方差值相對較大。也就是說，通常情況下背景圖像區(qū)域的像素方差值比目標所在的圖像區(qū)域的像素方差值的一半還小。對任意一個圖像區(qū)域 ，在其積分圖像 [46](該圖像上每個點的像素值為