【文章內容簡介】 d????。這樣我們就必須兼顧準確度和魯棒性 來選擇積分窗口。為了更好的解決這個問題，采用了基于金字塔 圖像的 光流跟蹤 方 法。這個方法對局部跟蹤的準確性提出了一個很好的解決方案。 (1)、 金字塔圖像表示 描述一個 xynn? 的圖像 I，令 0II? 表示第 0 層圖像（原始圖像），那么金字塔圖像表示是以一種回歸形式而建立的：根據(jù) 0I 計算 1I ， 1I 計算 2I ， 2I 計算 3I ，以此類推；令 L=1,2,… 表示一系列金字塔圖像層次 ，圖像 LI 的大小為： xynn?LL( /2 ) ( /2 )，圖像 LI 通過對圖像 1LI? 隔行隔列采樣得到。 采用金 字塔圖像表示方法的主要目的是處理大矢量的運動問題 (處理大于積分窗的目標運動的問題 )。因此應當用圖像中最大期望的光流來恰當?shù)拇_定金字塔圖像的高 度。在大多數(shù)的情況下，超過 4 的金字塔圖像層次沒有太大的意義 。 (2)、 基于金字塔的圖像跟蹤 回到前面說的跟蹤問題 :對于圖像 I 中的一個給定的點 u，找到它在圖像 J 中對應的位置 v=u+d，或者找到目標運動的矢量 d。 對于 0,1,..., mLL? ， 定義 [ , ]L L Lxyu u u? 是點 u 在金字塔圖像 LI 中的映射。根據(jù)前面關于金字塔圖像定義 的描述，則向量 Lu 的計算公式如下： ( 0 ,1, ..., )2L mLuu L L?? （ 22） 等式（ 22） 中的除法 是 對兩個坐標分別進行 的。 基于金字塔圖像 Lucas Kanade 光流法跟蹤的處理過程如下： 首先在最深的一個層次視頻序列中運動目標跟蹤方法的研究 8 Lm 計算光流，然后，這個計算結果轉遞到 Lm1 層；根據(jù)最初的假定，在 Lm1 層計算出新的光流并把它轉到 Lm2 層，這樣一直操作直到回到第 0 層（原始圖像）。 現(xiàn)在讓我們用數(shù)學公式詳細的介紹一下從第 L+1 層到第 L 層的遞歸過程。假定在第 L 層有對被跟蹤目標的位置有個大致估計，而從最高層 Lm 到第 L+1 層傳遞過來的運動矢量是 [ , ]L L L Txyg g g? 。這樣，為了計算出在第 L 層的光流，需要找到一個使得下面的殘差函數(shù) : 2( ) ( , ) ( ( , ) ( , ) )LL yx yxLL xyxyuuL L L L L L L L L L Lx y x x y yx u y ud d d I x y J x g d y g d?????? ??? ? ? ?? ? ? ? ? ? ???（ 23） 達到最小的偏移向量 : [ , ]L L L Txyd d d? （ 24） 注意到，在第 L 層的積分窗口的大小是保持恒定的尺寸的，即 : xy(2 +1) (2 +1)??? 在第二幅圖像中 ,用 這里得到的最初估計 Lg 作 預平移。這樣，求得的殘余流向量[ , ]L L L Txyd d d? 就足夠小，因此能夠通過標準的光流法來求出這個運動矢量。 計算殘余光流的細節(jié)將在下一節(jié)介紹?，F(xiàn)在，我們假定這個向量已經(jīng)計算 出來 (為了說明算法的完整性 )。然后，這個計算過程的結果就傳送到第 L1 層，傳遞的向量是 : 1 2( )L L Lg g d? ?? （ 25） 下一層次的殘余光流 1Ld? ， 也 可以通過同樣的步驟計算出來。這個通過光流法計算出來的 這個 向量，使得下列殘差函數(shù) 11()LLd? ??達到最小值。 將此 計算過程一直繼續(xù)，直到算到最底層 (L=0)。 此 算法的初始化過程是通過設定最高層 ( mL )的初始運動估計為零開始的 : [0,0]mL Tg ? （ 26） 最終的光流 d 通過對最底層 (原始圖像 )作光流法計算得到偏移量，這個偏移量的大小是 : 00d g d?? （ 27） 注意到這個偏移量也可以用下列的式子來表示： 0 2mL LLLdd??? （ 28） 視頻序列中運動目標跟蹤方法的研究 9 使用金字塔圖像計算光流的一個明顯的好處是，對于一個有著較大的像素偏移的矢量 d，可以通過計算幾個比較小的殘余光流來得到。注意到每個層次基本的光流法可以搜索得到的運動矢量達到 maxd ，這樣運用金字塔圖像的方 法最多能夠處理的運動矢量范圍達到 1m ax (2 1)mLfinald ???。例如，如果金字塔圖像的層次有 3 層的話 ( 3mL? )，這意味著像素的偏移量可以達到 15 層。這就是我們 能夠使用較小的積分窗口來計算較大的像素運動矢量的原因。 迭代的光流法計算過程 現(xiàn)在介紹一下光流法計算的詳細過程。在金字塔圖像的每個層次 L，找到偏移向量Ld 實際上就是找到使得殘差函數(shù) L? 最小的 d。因為這個計算步驟對各個層次都是一樣的，現(xiàn)在我們丟掉上標 L，且定義新圖像 A、 B 如下所示 : ( , ) ( , ) ( , ) [ 1 , 1 ] [ 1 , 1 ]L x x x x y y y yA x y I x y x y p p p p? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? （ 29）( , ) ( , ) ( , ) [ , ] [ , ]L L Lx y x x x x y y y yB x y J x g y g x y p p p p? ? ? ?? ? ? ? ? ? ? ? ? ? （ 210） 注意到 A(x,y)和 B(x,y)的定義域稍微有些差異。實際上， A(x,y)是在窗口大小為xy(2 +3) (2 +3)??? 的范圍內定義的，而不是 xy(2 +1) (2 +1)??? 。在后面運用中心差分算子計算 A(x,y)的導數(shù)時，這 個差異將變得更加明顯。為了說明的清晰起見，我們改變運動向量的表示方法，新的表示方式 為 _ [ , ]Txy? ? ?? ,而圖像位置新的表示方式為[ , ]Txyp p p? 。 依據(jù)新的表達方式，我們的目的是找到一個偏移向量 _ [ , ]Txy? ? ?? ，它使得下面的殘差函數(shù)取得最小值 : _ 2( ) ( , ) ( ( , ) ( , ) )yyxxx x y yppx y x yx p y p A x y B x y????? ? ? ? ? ? ???? ? ? ?? ? ? ? ??? （ 211） 對這個式子可以采用標準的光流法處理。為了優(yōu)化這個問題， ? 對 _? 的一階導數(shù)為零 : __() [0,0]???? ?? （ 212） 通過將這個式子展開以后，我們得到 : 視頻序列中運動目標跟蹤方法的研究 10 __() 2 ( ( , ) ( , ) ) [ ]yyxxx x y yppxyx p y pBBA x y B x y xy?????? ?????? ? ? ?? ? ?? ? ? ? ? ? ????? ?? （ 213） 我們把 ( , )xyB x y????用它在點 _ [0,0]T?? 的一階泰勒展開式來代替 (因為采用了金字塔圖像的方法，每層的運動偏移量比較小，因而采用一階泰勒展開是一個很好的解決方案 ): _ __() 2 ( ( , ) ( , ) [ ] ) [ ]yyxxx x y yppx p y pB B B BA x y B x y x y x y?????? ????? ? ? ?? ? ? ? ?? ? ? ? ?? ? ??? ? ? ?? ?? （ 214） 注意到 A(x,y)B(x,y)可以看作是在點 [ , ]Txy 的一個導數(shù)，所以 : ( , ) ( , ) ( , ) ( , ) [ , ] [ , ]x x x x y y y yI x y A x y B x y x y p p p p? ? ? ? ?? ? ? ? ? ? ? ? ? （ 215） 矩陣 []BBxy??????僅僅是一個梯度向量，我們在這里對表示方法作一個小小的改 變： []x TyI BBI I xy?? ??? ? ? ???? ???? （ 216） 注意到圖像的梯度 xI 和 yI 可以不必考慮第二幅圖像 B，而只需根據(jù)圖像在點 P 的鄰域 xy(2 +1) (2 +1)??? 的信息求得 (在迭代法求光流的過程中，這一點的重要性是很明 顯的 )。如果我們使用了差分近似微分算子，這兩幅圖像的導數(shù)的形式如 下所示 : ( , ) ( 1 , ) ( 1 , )( , )2( , ) ( , 1 ) ( , 1 )( , )2( , ) [ , ] [ , ]xyx x x x y y y yA x y A x y A x yI x yxA x y A x y A x yI x yyx y p p p p? ? ? ?? ? ? ?? ??? ??? ? ? ? ?? ?????? ? ? ? ? ? ? （ 217） 實際上，根據(jù)上面的記號方式，我們得到 : _ __1 ( ) ()2 yyxxx x y ypp TTx p y pI I I?????? ?????? ? ? ?? ? ? ? ?? ?? （ 218） _ 2 __ 21 ( )2yyxxx x y yT pp x x y xx p y p yx y yI I I IIIII I I??????? ?????? ? ? ??? ???? ?????? ???????????? ???????? （ 219） 其中： 視頻序列中運動目標跟蹤方法的研究 11 22yyxxx x y ypp x x yx p y p x y yI I IGI I I??????? ? ? ???? ?????? （ 220） yyxxx x y ypp xx p y p yIIb II?????????? ? ? ????? ?????? （ 221） 這樣，計算公式可以簡寫為 : _ ___1 ( )2TGb?? ???????????? （ 222） 這樣，簡化后得到所求的光流向量為 : _1opt Gb? ?? （ 223） 金字塔圖像的 Lucas Kanade 特征點跟蹤算法總結 圖 為 LucasKanade 光流跟蹤流程圖；下列各式子的詳細定義可以在前面幾節(jié)中找到。 LucasKanade 光流跟蹤的目標是：已知圖像 I 中的點 u 在圖像 J 中找到與之相對應的點 v。 視頻序列中運動目標跟蹤方法的研究 12 B e g i n圖 像 金 字 塔 表 示 初 始 化L u c a s K a n a d e 光 流空 間 梯 度 矩 陣 GL K 迭 代 初 始 化 迭 代 次 數(shù) K （ 從 1 開 始 ）下 次 迭 代 條 件圖 像 錯 配 向 量LLIJ、[ 0 , 0 ]LTg ? L0??迭 代 結 束 ？_kb_1kkGb???K 223。 K + 1 第 L 層 的 光 流第 L 1 層 假 設12 ( )L L Lg g d???L 223。 L 1v = u + dE n d00d g d??NY Y N0[ 0 , 0 ]Tv ?1k k kvv ????kLdv? 圖 LucasKanade 光流跟蹤流程