【文章內容簡介】 對于，定義是點u在金字塔圖像中的映射。根據前面關于金字塔圖像定義的描述，則向量的計算公式如下： （22）等式（22）中的除法是對兩個坐標分別進行的。基于金字塔圖像Lucas Kanade光流法跟蹤的處理過程如下：首先在最深的一個層次Lm計算光流，然后，這個計算結果轉遞到Lm1層；根據最初的假定，在Lm1層計算出新的光流并把它轉到Lm2層，這樣一直操作直到回到第0層（原始圖像）。現在讓我們用數學公式詳細的介紹一下從第L+1層到第L層的遞歸過程。假定在第L層有對被跟蹤目標的位置有個大致估計，而從最高層Lm到第L+1層傳遞過來的運動矢量是。這樣，為了計算出在第L層的光流，需要找到一個使得下面的殘差函數：（23）達到最小的偏移向量： （24）注意到，在第L層的積分窗口的大小是保持恒定的尺寸的，即：在第二幅圖像中,用這里得到的最初估計作預平移。這樣，求得的殘余流向量就足夠小，因此能夠通過標準的光流法來求出這個運動矢量。計算殘余光流的細節(jié)將在下一節(jié)介紹?，F在，我們假定這個向量已經計算出來(為了說明算法的完整性)。然后，這個計算過程的結果就傳送到第L1層，傳遞的向量是： （25）下一層次的殘余光流，也可以通過同樣的步驟計算出來。這個通過光流法計算出來的這個向量，使得下列殘差函數達到最小值。將此計算過程一直繼續(xù)，直到算到最底層(L=0)。此算法的初始化過程是通過設定最高層()的初始運動估計為零開始的： （26）最終的光流d通過對最底層(原始圖像)作光流法計算得到偏移量，這個偏移量的大小是： （27）注意到這個偏移量也可以用下列的式子來表示： （28）使用金字塔圖像計算光流的一個明顯的好處是，對于一個有著較大的像素偏移的矢量d，可以通過計算幾個比較小的殘余光流來得到。注意到每個層次基本的光流法可以搜索得到的運動矢量達到，這樣運用金字塔圖像的方法最多能夠處理的運動矢量范圍達到。例如，如果金字塔圖像的層次有3層的話()，這意味著像素的偏移量可以達到15層。這就是我們能夠使用較小的積分窗口來計算較大的像素運動矢量的原因?，F在介紹一下光流法計算的詳細過程。在金字塔圖像的每個層次L，找到偏移向量實際上就是找到使得殘差函數最小的d。因為這個計算步驟對各個層次都是一樣的，現在我們丟掉上標L，且定義新圖像A、B如下所示：（29） （210）注意到A(x,y)和B(x,y)的定義域稍微有些差異。實際上，A(x,y)是在窗口大小為的范圍內定義的，而不是。在后面運用中心差分算子計算A(x,y)的導數時，這個差異將變得更加明顯。為了說明的清晰起見，我們改變運動向量的表示方法，新的表示方式為 ,而圖像位置新的表示方式為。依據新的表達方式，我們的目的是找到一個偏移向量，它使得下面的殘差函數取得最小值： （211）對這個式子可以采用標準的光流法處理。為了優(yōu)化這個問題，對的一階導數為零： （212）通過將這個式子展開以后，我們得到： （213）我們把用它在點的一階泰勒展開式來代替(因為采用了金字塔圖像的方法，每層的運動偏移量比較小，因而采用一階泰勒展開是一個很好的解決方案)： （214）注意到A(x,y)B(x,y)可以看作是在點的一個導數，所以： （215）矩陣僅僅是一個梯度向量，我們在這里對表示方法作一個小小的改變： （216）注意到圖像的梯度和可以不必考慮第二幅圖像B，而只需根據圖像在點P的鄰域的信息求得(在迭代法求光流的過程中，這一點的重要性是很明顯的)。如果我們使用了差分近似微分算子，這兩幅圖像的導數的形式如下所示： （217）實際上，根據上面的記號方式，我們得到： （218） （219）其中： （220） （221）這樣，計算公式可以簡寫為： （222）這樣，簡化后得到所求的光流向量為： （223） Kanade特征點跟蹤算法總結；下列各式子的詳細定義可以在前面幾節(jié)中找到。LucasKanade光流跟蹤的目標是：已知圖像I中的點u在圖像J中找到與之相對應的點v。 LucasKanade光流跟蹤流程圖 特征點選取在上面，我們已經總結了整個跟蹤流程，即通過光流法找到圖像I中的點u在圖像J中的對應點v；然而，我們還沒有給出如何求取圖像I中的特征點u。實際上，跟蹤的關鍵步驟是如何求取光流向量（詳見上述的跟蹤流程），在這一步中，G矩陣必須是可逆的，或換句話說，G的最小特征值必須夠大（大于某一閾值）。這個像素點的特征才容易被跟蹤。因此，特征點的選取過程如下所示：1） 在圖像I中的每個像素點計算矩陣G的最小特征值；2） 在整個圖像I中，求出的最大值；3） 保留圖像中特征值大于最大特征值的10%或5%的像素點；4） 從這些像素點中保留局部特征值最大的像素點（如果一個像素點的特征值大于33領域內的其他像素點的特征值，則這個像素點被保留）；5） 保留下來的這些像素子集中的任何兩個像素點之間的距離必須大于給定的閾值（比如5或10個像素）。經過上述處理過程，被保留下來的像素點是比較容易跟蹤的特征點。 實驗結果與分析實驗過程分三個模塊：視頻讀入、目標檢測模塊和光流跟蹤模塊；首先，讀入視頻圖像；然后，采用目標檢測模塊來進行目標檢測，通過目標檢測得到目標的質心位置；最后，將目標質心當作光流跟蹤的特征點，采用LucasKanade光流跟蹤算法，進行目標跟蹤。在VC++，該視頻圖像大小為3202幀率為15幀/秒、RGB24真彩色圖像。實驗中采用的參數是：積分窗口為1111（即公式（21）中的、均采用5個像素），金字塔層數L為3，迭代次數K為20次。 第11幀 第43幀 第68幀 第78幀 第93幀 第107幀 Lucas Kanade光流法跟蹤結果 Kanade光流法跟蹤結果。圖中綠色的“1”和藍色的“2”為目標的ID，同一個目標標注了同一ID，紅色的方框為跟蹤框，紅色“+”為光流預測的目標質心。從圖中可以看出：目標1和目標2在第68幀之前，跟蹤效果比較理想；目標1的跟蹤框在第78幀之后開始偏離目標，到達第93幀時，由于目標模糊不清、并且與背景較為相似，所以跟蹤框偏離加大，并停止跟蹤；但由于目標2比較清晰，故始終能穩(wěn)定跟蹤。通過大量實驗發(fā)現，Lucas Kanade光流跟蹤要求圖像質量比較高，圖像紋理豐富，對質量較差的圖像跟蹤效果并不理想，主要表現在以下幾點：1)不容易選定一個固定的鄰域大小，使其適合不同的視頻段和不同的特征點；2)容易出現特征點跟蹤不穩(wěn)定的情況；3)某些點處的矩陣G病態(tài)或者不可逆，此時方程的解不可靠從而發(fā)生跟蹤漂移現象；4)光流跟蹤依靠的是特征點的局部信息，每個點都是獨立跟蹤的結果，其跟蹤結果并不穩(wěn)定。通過計算稀疏特征點處的光流即可跟蹤目標，光流法用于目標跟蹤已基本解決了計算速度慢的缺點，而且對圖像質量比較高、圖像紋理豐富的慢速運動目標跟蹤的效果還是不錯。但仍然存在跟蹤目標容易丟失且魯棒性不高的缺點。3．模板相關匹配算法。設目標模板T為一個的參考圖像，搜索圖S為一個圖像。T在S上平移，模板覆蓋的部分叫做子圖，為子圖左上角點在S中的坐標，