【正文】 化的問題。此類跟蹤方法大體上可以分為兩類：逐幀更新法和有選擇的更新法。逐幀更新法 [4951]以當(dāng)前時(shí)刻目標(biāo)的最佳跟蹤結(jié)果更新目標(biāo)模型。在跟蹤精度較高的情況下，這種方法能很好的解決目標(biāo)外表變化的問題。但是，如果跟蹤精度不高，這種方法也可能會(huì)加速跟蹤的失敗。有選擇的更新法考慮到跟蹤結(jié)果不總是正確的，因此只在跟蹤所得目標(biāo)與目標(biāo)模型接近 [52]或者新的未標(biāo)簽的數(shù)據(jù)能通過半監(jiān)督學(xué)習(xí)的方式被融入到目標(biāo)模型中時(shí)才對模型進(jìn)行更新。TLD [53]是當(dāng)前新興起的一種高效視覺目標(biāo)跟蹤方法 ，相比其他傳統(tǒng)算法具有長期、在線、最少先驗(yàn)信息的特點(diǎn)。長期是指處理的圖像序列可以是無限長并且可能含有幀修剪、快速的攝像機(jī)運(yùn)動(dòng)以及目標(biāo)短暫消失等情況。在線是指只利用當(dāng)前和之前時(shí)刻所能獲得的信息來跟蹤目標(biāo)。最少先驗(yàn)信息是指事先沒有任何關(guān)于目標(biāo)的信息，關(guān)于目標(biāo)的唯一信息來自于在初始幀人為選定的目標(biāo)區(qū)域。該方法只需要較少的先驗(yàn)信息就可以實(shí)現(xiàn)對任意目標(biāo)的長期在線跟蹤，運(yùn)算速度快，實(shí)時(shí)性高，并且能有效的適用于目標(biāo)被遮擋或者消失的場合和目標(biāo)外表在跟蹤過程中發(fā)生變化的情況，因此具有較高的研究實(shí)用價(jià)值。 TLD 算法框架結(jié)構(gòu)TLD 主要由三個(gè)部分組成：跟蹤器、學(xué)習(xí)模塊、檢測器。跟蹤器部分由一個(gè)短期自適應(yīng)跟蹤器構(gòu)成，在幀間運(yùn)動(dòng)有限、目標(biāo)可見的情況下，用來預(yù)測目標(biāo)在連續(xù)幀間的運(yùn)動(dòng)。檢測器部分為一個(gè)高效的級聯(lián)分類器，創(chuàng)建使用了簡單有效圖像特征，可以對目標(biāo)進(jìn)行實(shí)時(shí)的檢測，同時(shí)在必要的情況下糾正跟蹤器。學(xué)習(xí)模塊評估跟蹤器和檢測器的性能，通過生成有效的訓(xùn)練樣本完成檢測器的更新，消除檢測器誤差。TLD 算法的框架結(jié)構(gòu)如圖 所示。在跟蹤目標(biāo)的起始幀，通過給出目標(biāo)的位置和大小，完成對 TLD 算法的初始化。在隨后的跟蹤過程中，對每一幀圖像用跟蹤器和檢測器共同進(jìn)行處理。跟蹤器根據(jù)前一幀中目標(biāo)的位置和大小信息來估計(jì)當(dāng)前幀中目標(biāo)所在的區(qū)域。檢測器對當(dāng)前幀窗口全局掃描，檢測出一個(gè)或者多個(gè)可能的目標(biāo)區(qū)域。檢測結(jié)果和跟蹤結(jié)果輸入到融合處理模塊，該模塊給出當(dāng)前幀是否存在目標(biāo)、目標(biāo)區(qū)域以及當(dāng)前幀的跟蹤軌跡是否有效等信息。這些融合處理結(jié)果、聯(lián)合檢測結(jié)果和跟蹤結(jié)果一起輸入到學(xué)習(xí)模塊，學(xué)習(xí)模塊完成對跟蹤器和檢測器的更新。跟蹤學(xué)習(xí)檢測融合處理視頻幀更新更新目標(biāo)位置圖 TLD 算法框架結(jié)構(gòu)圖 TLD 算法主要模塊本節(jié)對 TLD 算法各個(gè)模塊進(jìn)行詳細(xì)的介紹。 節(jié)為跟蹤模塊的介紹， 節(jié)為檢測模塊的介紹， 節(jié)為學(xué)習(xí)模塊的介紹， 節(jié)為融合處理模塊的介紹。 跟蹤模塊TLD 中的跟蹤模塊為采用 Median Flow 方法 [54]所設(shè)計(jì)的短期自適應(yīng)跟蹤器。它采用了金11 / 79字塔的 LucasKanade 方法作為基本跟蹤方法并融入了 ForwardBackward Error[54]作為跟蹤結(jié)果是否優(yōu)良的評測手段。1. 金字塔的 LucasKanade 方法和 ForwardBackward Error 方法介紹（1）金字塔的 LucasKanade 方法LucasKanade 方法 [41]是最常用的光流估計(jì)技術(shù)，它只需要每個(gè)感興趣點(diǎn)周圍小窗口的局部信息即可，計(jì)算速度快、應(yīng)用簡單。LucasKanade 方法 的基本原理是對圖像中的每一像素點(diǎn)賦予一個(gè)速度矢量，從而形成一個(gè)圖像運(yùn)動(dòng)場?？紤]光流矢量運(yùn)動(dòng)的連續(xù)性，若圖像中目標(biāo)與背景發(fā)生相對運(yùn)動(dòng)，表征目標(biāo)的速度矢量將不同于鄰域背景速度矢量，從而檢測出運(yùn)動(dòng)的目標(biāo)及位置。由于 LucasKanade 方法只用到每個(gè)感興趣點(diǎn)周圍小窗口的局部信息，如果存在較大的運(yùn)動(dòng)這些點(diǎn)將會(huì)移出這個(gè)小窗口，從而造成后續(xù)幀中無法再找到這些點(diǎn)。金字塔的 LucasKanade方法可以很好的解決這個(gè)問題，即從圖像金字塔的最高層（細(xì)節(jié)最少）開始向金字塔的底層（細(xì)節(jié)最豐富）進(jìn)行跟蹤。這樣金字塔的 LucasKanade 方法允許用小窗口捕獲較大的運(yùn)動(dòng)。（2）ForwardBackward Error金字塔的 LucasKanade 方法是一個(gè)點(diǎn)跟蹤問題，其實(shí)質(zhì)是在時(shí)刻 跟蹤一個(gè)點(diǎn)，要求預(yù)測t時(shí)刻該點(diǎn)的位置。但實(shí)際所跟蹤的點(diǎn)中，會(huì)有一些點(diǎn)在跟蹤過程中發(fā)生很大的變化或者1t?突然的消失，這種情況經(jīng)常會(huì)導(dǎo)致跟蹤的失敗。ForwardBackward Error 能夠很好地解決目標(biāo)遮擋或者目標(biāo)消失而導(dǎo)致點(diǎn)跟蹤失敗的情況。ForwardBackward Error 的基本思想：跟蹤器從初始幀到最后一幀跟蹤每一幀圖像上的一系列點(diǎn)，形成一個(gè)軌跡。接著，選擇最后一幀上的點(diǎn)坐標(biāo)作為校驗(yàn)軌跡的起始點(diǎn)。跟蹤器從最后一幀向初始幀進(jìn)行點(diǎn)跟蹤，形成一個(gè)校驗(yàn)軌跡。最后，對這兩個(gè)軌跡進(jìn)行比較，計(jì)算兩者之間的差異用于評測跟蹤的效果。ForwardBackward Error 介紹如下。定義 ForwardBackward Error 的兩個(gè)特征點(diǎn)軌跡，如圖 所示。定義 為一圖像序列， 為時(shí)刻 的一點(diǎn)坐標(biāo)。對點(diǎn) 進(jìn)行向1(,.,)ttkSII??txttx前 幀的跟蹤，得到一個(gè)軌跡 ，其中 代表向前跟蹤， 代表軌跡的長k 1(,.)fttkTx?fk度。由于此處的目的是評估 的誤差，所以需要?jiǎng)?chuàng)建一個(gè)校驗(yàn)軌跡。對點(diǎn) 向后進(jìn)行跟蹤，kf t?得到校驗(yàn)軌跡 ，其中 。最后，通過計(jì)算兩軌跡間的歐式距離1(,.,)kttbTx????tktx???得到 ForwardBackward Error 值，其計(jì)算公式為： 。()ktfFBTSx??ForwardBackward Error 的一個(gè)主要優(yōu)勢在于可以應(yīng)用于多種點(diǎn)跟蹤器中，并且實(shí)現(xiàn)簡單方便。tx?1tx??tkx?tkI?tI1tI?f o r w a r d b a c k w a r d e r r o r向后軌道向前軌道1tx?tx圖 ForwardBackward 示意圖2. 采用 Median Flow 方法的短期自適應(yīng)跟蹤器的實(shí)現(xiàn)在實(shí)際的目標(biāo)跟蹤中，所跟蹤的點(diǎn)往往是相互有關(guān)聯(lián)的，比如說表征目標(biāo)的點(diǎn)集往往是一起運(yùn)動(dòng)的?？紤]到這些情況，TLD 的跟蹤器采用了一種新型魯棒性強(qiáng)的 Median Flow 方法，將金字塔 LucasKanade 方法作為基本跟蹤方法，引入 ForwardBackward Error 作為跟蹤效果在線評估手段，實(shí)現(xiàn)性能優(yōu)良的短期目標(biāo)跟蹤。Median Flow 短期自適應(yīng)跟蹤器的整體流程包括 5 個(gè)部分：初始化目標(biāo)邊界框點(diǎn)集、跟蹤點(diǎn)集、計(jì)算評估跟蹤誤差、去除錯(cuò)誤點(diǎn)、更新目標(biāo)邊界框。如圖 所示，整個(gè)流程的任務(wù)是要求通過在圖片 中獲得目標(biāo)初始化點(diǎn)集和目標(biāo)邊界框 ，跟蹤得到在圖片 中表征目標(biāo)的tI t?1tI?點(diǎn)集和目標(biāo)邊界框 。具體講，對邊界框 初始化一個(gè) 1010 的格子，生成 100 個(gè)點(diǎn)集。1??t接著，這些點(diǎn)通過金字塔的 LucasKanade 方法進(jìn)行跟蹤，得到一個(gè)從 到 的稀疏運(yùn)動(dòng)場。t1t然后，兩幅圖像中的每對對應(yīng)點(diǎn)通過 ForwardBackward Error 方法進(jìn)行誤差的評估，同時(shí)還引入常用的 NCC（normalized crosscorrelation）作為誤差評估的一個(gè)補(bǔ)充。接著，所跟蹤的點(diǎn)集中誤差值最大的 50%點(diǎn)被認(rèn)為跟蹤效果不佳而被去除。最后，剩余的 50%點(diǎn)將被用來預(yù)估目標(biāo)邊界框從 到 的位移和大小的變化。tI1t?通過剩余的被認(rèn)為跟蹤準(zhǔn)確的點(diǎn)來求取目標(biāo)邊界框的變化包括有兩個(gè)任務(wù)，分別是二維空間的位移和邊界框大小的變化。其中位移的變化是：首先計(jì)算所有剩余對應(yīng)點(diǎn)的位移，然后求它們的中位值，該值即為邊界框的空間位移變化。邊界框大小變化的計(jì)算是：首先對每對點(diǎn)計(jì)算在當(dāng)前圖像中距離與在下一幀圖像中的距離之間的比例變化，然后求取所有比例變化的中位值，該值即為邊界框大小的變化。每一次跟蹤，跟蹤器都會(huì)在目標(biāo)的邊界框中重新初始化新的跟蹤點(diǎn)集，從而使跟蹤器具有了較好的自適應(yīng)能力。Median Flow 方法所設(shè)計(jì)的短期自適應(yīng)跟蹤器實(shí)現(xiàn)方便、簡單，同時(shí)，可靠性和魯棒性強(qiáng)，能夠很好地適用于跟蹤目標(biāo)部分被遮擋的場合。13 / 79圖 基于 Median Flow 思想設(shè)計(jì)的短期自適應(yīng)跟蹤器的效果圖 檢測模塊檢測模塊是一套完整的跟蹤系統(tǒng)中不可缺少的部分。一旦被跟蹤的目標(biāo)突然被遮擋或者消失而導(dǎo)致跟蹤失敗的時(shí)候，檢測模塊的檢測器能夠檢測出再次出現(xiàn)的目標(biāo)，使跟蹤系統(tǒng)能夠繼續(xù)跟蹤該目標(biāo)。檢測器要求快速、可靠，能夠有效的調(diào)整決策域，處理在線模型中的特征數(shù)據(jù)。目前高效的實(shí)時(shí)目標(biāo)檢測器通常是基于 AdaBoost 算法 [46]的檢測器，這類檢測器不僅需要大量的訓(xùn)練序列，而且數(shù)據(jù)訓(xùn)練的計(jì)算量大。而其他的一些檢測器 [55]盡管訓(xùn)練快速高效，但是檢測器在逐漸適合于新的樣本數(shù)據(jù)的同時(shí)會(huì)逐漸拋棄原先的樣本數(shù)據(jù)。而我們需要一種檢測器，它能夠?qū)⑿碌臉颖緮?shù)據(jù)存放于在線模型，并一直保存在模型中，除非通過學(xué)習(xí)判斷將其主動(dòng)從模型中移去。TLD 檢測模塊中的檢測器是基于掃描窗口策略 [46]，在初始幀圖像上，根據(jù)初始目標(biāo)的位置和大小，以子窗口的形式給出所有可能的具有不同位置及大小的目標(biāo)邊界框（子窗口） ，在接下來的每一幀圖像中， 以窗口掃描的形式通過一個(gè)級聯(lián)分類器對每個(gè)子窗口內(nèi)的圖像內(nèi)容進(jìn)行判斷，決定是否為目標(biāo)。1. 先決條件（1）目標(biāo)模型通常情況下，目標(biāo)可以由它的狀態(tài)表征。狀態(tài)可以是目標(biāo)的邊界框，也可以是一個(gè)表示目標(biāo)可見與否的標(biāo)識(shí)值。邊界框有固定的長寬比，長寬比通常由初始的邊界框給出，表征邊界框的參數(shù)通常是它的位置和大小。任意兩邊界框的相似度由兩者之間的交疊程度度量。目標(biāo)由圖像區(qū)域 表示，圖像區(qū)域?yàn)橐粋€(gè)從目標(biāo)邊界框采樣并且歸一化的大小為 1515p的灰度圖像區(qū)域。圖像序列中，每幀圖像中的圖像區(qū)域共同組成目標(biāo)所有可能的外表特征軌跡，決定目標(biāo)的可見與否。定義目標(biāo)模型 ，用來表示目標(biāo)以及周圍的背景。它由一系列 positive 和 negative 圖像M區(qū)域組成， ，其中 和 分別代表目標(biāo)和背景圖像區(qū)域，1212{,}mnpp?????? ? p??（ ）為加入模型的第一個(gè) positive（negative）圖像區(qū)域， （ ）為加入的最后一個(gè)1p?? m?np?positive（negative）圖像區(qū)域。伴隨著跟蹤的進(jìn)行，目標(biāo)模型是時(shí)刻變化的。（2）特征檢測器選取的特征是一種新型的基于 2bit Binary Patterns (2bitBP)[56]的特征。2bitBP 是由局部二值模式（LBP） [57]引申過來的。相比較局部二值模式，2bitBP 只需一個(gè)編碼即可對某一特定區(qū)域進(jìn)行整體編碼；另外，2bitBP 只輸出 4 種可能的編碼，相比較 LBP 的 256 種可能編碼輸出，可以很好地防止過擬合。2bitBP 是通過測量一定范圍內(nèi)的圖像灰度的梯度方向，然后對其進(jìn)行量化，最終輸出四種可能的編碼，其示意圖如圖 所示。2bitBP 利用積分圖像即可實(shí)現(xiàn)圖像的多尺度測量編碼，且該特征不受光照變化的影響，通用性強(qiáng)。水平方向豎直方向3a41a2 34()Ia?34()Ia?12()Ia?12()Ia?2 b i t B P 的輸出編碼格式為 （ b ）( a ) ( b )( c ) ( d )圖 2bit Binary Patterns 在目標(biāo)跟蹤中應(yīng)用的示意圖2. 掃描窗口策略15 / 79掃描窗口策略的基本思想：在每幀圖像上，通過一定的方法對每個(gè)圖像子窗口判斷，決定該窗口上是否存在目標(biāo)。掃描窗口通過以下方法生成。根據(jù)給出的初始的目標(biāo)邊界框，TLD 以一定的參數(shù)在圖像中產(chǎn)生所有可能的具有不同大小和位置的目標(biāo)邊界框，其所用的參數(shù)是：變化大小的步長為、水平方向的位移步長為邊界框?qū)挾鹊?10%、豎直方向的位移步長為邊界框高度的 10%。產(chǎn)生得到的目標(biāo)邊界框在后續(xù)處理過程中保持不變，對不同大小的圖像或者初始目標(biāo)邊界框，劃分得到的目標(biāo)邊界框數(shù)量各不相同，如圖 所示。在產(chǎn)生所有可能的目標(biāo)邊界框后，TLD即以窗口掃描的形式對每個(gè)目標(biāo)邊界框內(nèi)的圖像內(nèi)容進(jìn)行檢測以判斷是否為目標(biāo)。圖 掃描窗口示意圖3. 級聯(lián)分類器檢測器中，級聯(lián)分類器用來對每個(gè)圖像子窗口判斷決定當(dāng)前子窗口上目標(biāo)存在與否。一個(gè)性能優(yōu)良的分類器可以提高分類效率和精度，降低決策代價(jià)。TLD 中的級聯(lián)分類器由三部分組成，如圖 所示，分別為圖像區(qū)域方差分類器、集成分類器、最近鄰域分類器。圖像區(qū)域方差分類器認(rèn)為目標(biāo)所在圖像區(qū)域的像素方差值大于背景圖像區(qū)域的像素方差值，通過設(shè)定一定閾值，刪除部分表征背景的圖像區(qū)域。集成分類器由隨機(jī)森林構(gòu)成，對滿足圖像區(qū)域方差分類標(biāo)準(zhǔn)后的圖像區(qū)域，通過隨機(jī)森林再分類，記錄每個(gè)圖像區(qū)域的后驗(yàn)概率，認(rèn)為后驗(yàn)概率值大于 50%的圖像區(qū)域?yàn)榭赡艿哪繕?biāo)區(qū)域。滿足集成分類器分類標(biāo)準(zhǔn)的圖像區(qū)域最后再通過最近鄰域分類器來計(jì)算與在線目標(biāo)模型的相似度，認(rèn)為相似度大于設(shè)定閾值的圖像區(qū)域?yàn)槟繕?biāo)區(qū)域并作為級聯(lián)分類器的最終分類結(jié)果輸出。對于每一個(gè)圖像區(qū)域，分別依次在三個(gè)分類器中進(jìn)行判別分類，滿足所有分類標(biāo)準(zhǔn)的圖像區(qū)域被認(rèn)為是可能存在目標(biāo)的區(qū)域。下面分別對三種分類器進(jìn)行簡單的介紹。圖像區(qū)域方差分類器1 N N 分類器集成分類器Y Y YNN N被接受的圖像區(qū)域被拒絕的圖像區(qū)域所有圖像區(qū)域( 圖像子窗口 )圖 級聯(lián)分類器結(jié)構(gòu)圖（1）圖像區(qū)域方差分類器圖像區(qū)域方差分類器的思想：在跟蹤過程中，目標(biāo)所在圖像區(qū)域的像素方差值相對較大。也就是說，通常情況下背景圖像區(qū)域的像素方差值比目標(biāo)所在的圖像區(qū)域的像素方差值的一半還小。對任意一個(gè)圖像區(qū)域 ，在其積分圖像 [46](該圖像上每個(gè)點(diǎn)的像素值為