【文章內(nèi)容簡介】 淮南師范學(xué)院本科畢業(yè)論文 9 這意味著像素的偏移量可以達(dá)到 15 層。這就是我們能夠使用較小的積分窗口來計算較大的像素運動矢量的原因。 迭代的光流法計算過程 現(xiàn)在介紹一下光流法計算的詳細(xì)過程。在金字塔圖像的每個層次 L，找到偏移向量 Ld 實際上就是找到使得殘差函數(shù) L? 最小的 d。因為這個計算步驟對各個層次都是一樣的，現(xiàn)在我們丟掉上標(biāo) L，且定義新圖像 A、 B 如下所示： ( , ) ( , ) ( , ) [ 1 , 1 ] [ 1 , 1 ]L x x x x y y y yA x y I x y x y p p p p? ? ? ?? ? ? ? ? ? ? ? ? ? ? ?（ 29） ( , ) ( , ) ( , ) [ , ] [ , ]L L Lx y x x x x y y y yB x y J x g y g x y p p p p? ? ? ?? ? ? ? ? ? ? ? ? ? （ 210） 注意到 A(x,y)和 B(x,y)的定義域稍微有些差異。實際上， A(x,y)是在窗口大小為xy(2 +3) (2 +3)??? 的范圍內(nèi)定義的，而不是 xy(2 +1) (2 +1)??? 。在后面運用中心差分算子計算 A(x,y)的導(dǎo)數(shù)時，這個差異將變得更加明顯。為了說明的清晰起見，我們改變運動向量的表示方法，新的表示方式為 _ [ , ]Txy? ? ?? ,而圖像位置新的表示方式為[ , ]Txyp p p? 。 依據(jù)新的表達(dá)方式，我們的目的是找到一個偏移向量 _ [ , ]Txy? ? ?? ，它使得下面的殘差函數(shù)取得最小值 ： _ 2( ) ( , ) ( ( , ) ( , ) )yyxxx x y yppx y x yx p y p A x y B x y????? ? ? ? ? ? ???? ? ? ?? ? ? ? ??? （ 211） 對這個式子可以采用標(biāo)準(zhǔn)的 光流法處理。為了優(yōu)化這個問題， ? 對 _? 的一階導(dǎo)數(shù)為零 ： __() [0,0]???? ?? （ 212） 通過將這個式子展開以后，我們得到 ： __() 2 ( ( , ) ( , ) ) [ ]yyxxx x y yppxyx p y pBBA x y B x y xy?????? ?????? ? ? ?? ? ?? ? ? ? ? ? ????? ?? （ 213） 我們把 ( , )xyB x y????用它在點 _ [0,0]T?? 的一階泰勒展開式來代替 (因為采用了金字塔圖像的方法，每層的運動偏移量比較小，因而采用一階泰勒展開是一個很好的解決方案 )： _ __() 2 ( ( , ) ( , ) [ ] ) [ ]yyxxx x y yppx p y pB B B BA x y B x y x y x y?????? ????? ? ? ?? ? ? ? ?? ? ? ? ?? ? ??? ? ? ?? ?? （ 214） 注意到 A(x,y)B(x,y)可以看作是在點 [ , ]Txy 的一個導(dǎo)數(shù)，所以 ： 智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用 10 10 ( , ) ( , ) ( , ) ( , ) [ , ] [ , ]x x x x y y y yI x y A x y B x y x y p p p p? ? ? ? ?? ? ? ? ? ? ? ? ? （ 215） 矩陣 []BBxy??????僅僅是一個梯度向量，我們在這里對表示方法作一個小小的改 變： []x TyI BBI I xy?? ??? ? ? ???? ???? （ 216） 注意到圖像的梯度 xI 和 yI 可以不必考慮第二幅圖像 B，而只需根據(jù)圖像在點 P 的鄰域 xy(2 +1) (2 +1)??? 的信息求得 (在迭代法求光流的過程中，這一點的重要性是很明顯的 )。如果我們使用了差分近似微分算子，這兩幅圖像的導(dǎo)數(shù)的形式如下所示： ( , ) ( 1 , ) ( 1 , )( , )2( , ) ( , 1 ) ( , 1 )( , )2( , ) [ , ] [ , ]xyx x x x y y y yA x y A x y A x yI x yxA x y A x y A x yI x yyx y p p p p? ? ? ?? ? ? ?? ??? ??? ? ? ? ?? ?????? ? ? ? ? ? ? （ 217） 實際上，根據(jù)上面的記號方式，我們得到： _ __1 ( ) ()2 yyxxx x y ypp TTx p y pI I I?????? ?????? ? ? ?? ? ? ? ?? ?? （ 218） _ 2 __ 21 ( )2yyxxx x y yT pp x x y xx p y p yx y yI I I IIIII I I??????? ?????? ? ? ??? ???? ?????? ???????????? ???????? （ 219） 其中： 22yyxxx x y ypp x x yx p y p x y yI I IGI I I??????? ? ? ???? ?????? （ 220） yyxxx x y ypp xx p y p yIIb II?????????? ? ? ????? ?????? （ 221） 這樣，計算公式可以簡寫為： _ ___1 ( )2TGb?? ???????????? （ 222） 這樣，簡化后得到所求的光流向量為： _1opt Gb? ?? （ 223） 金字塔圖像的 Lucas Kanade 特征點跟蹤算法總結(jié) 淮南師范學(xué)院本科畢業(yè)論文 11 圖 為 LucasKanade 光流跟蹤流程圖；下列各式子的詳細(xì)定義可以在前面幾節(jié)中找到。 LucasKanade 光流跟蹤的目標(biāo)是：已知圖像 I 中的點 u 在圖像 J 中找到與之相對應(yīng)的點 v。 B e g i n圖 像 金 字 塔 表 示 初 始 化L u c a s K a n a d e 光 流空 間 梯 度 矩 陣 GL K 迭 代 初 始 化 迭 代 次 數(shù) K （ 從 1 開 始 ）下 次 迭 代 條 件圖 像 錯 配 向 量LLIJ、[ 0 , 0 ]LTg ? L0??迭 代 結(jié) 束 ？_kb_1kkGb???K 223。 K + 1 第 L 層 的 光 流第 L 1 層 假 設(shè)12 ( )L L Lg g d???L 223。 L 1v = u + dE n d00d g d??NY Y N0[ 0 , 0 ]Tv ?1k k kvv ????kLdv? 圖 LucasKanade 光流跟蹤流程圖 特征點選取 在上面，我們已經(jīng)總結(jié)了整個跟蹤流程，即通過光流法找到圖像 I 中的點 u 在圖像 J 中的對應(yīng)點 v；然而，我們還沒有給出如何求取圖像 I 中的特征點 u。實際上，跟智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用 12 12 蹤的關(guān)鍵步驟是如何求取光流向量 k? （詳見上述的跟蹤流程），在這一步中， G 矩陣必須是可逆的，或換句話說， G 的最小特征值必須夠大（大于某一閾值）。這個像素點的特征才容易被跟蹤。 因此，特征點的選取過程如下所示： 1） 在圖像 I 中的每個像素點計算矩陣 G 的最小特征值 m? ； 2） 在整個圖像 I 中，求出 m? 的最大值 max? ； 3） 保留圖像中特 征值 m? 大于最大特征值 max? 的 10%或 5%的像素點； 4） 從這些像素點中保留局部特征值最大的像素點（如果一個像素點的特征值 m?大于 33 領(lǐng)域內(nèi)的其他像素點的特征值，則這個像素點被保留）； 5） 保留下來的這些像素子集中的任何兩個像素點之間的距離必須大于給定的閾值（比如 5 或 10 個像素）。 經(jīng)過上述處理過程，被保留下來的像素點是比較容易跟蹤的特征點。 實驗結(jié)果與分析 實驗過程分三個模塊 ：視頻讀入、目標(biāo)檢測模塊和光流跟蹤模塊；首先，讀入視頻圖像；然后，采用目標(biāo)檢測模塊來進行目標(biāo)檢測，通過目標(biāo)檢測得到目標(biāo)的質(zhì)心位置；最后，將目標(biāo)質(zhì)心當(dāng)作光流跟蹤的特征點，采用 LucasKanade 光流跟蹤算法，進行目標(biāo)跟蹤。 在 VC++ 環(huán)境下對采集的視頻做了 LucasKanade 光流跟蹤實驗，該視頻圖像大小為 3202幀率為 15 幀 /秒、 RGB24 真彩色圖像。實驗中采用的參數(shù)是：積分窗口為 1111（即公式（ 21）中的 x? 、 y? 均采用 5 個像素），金字塔層數(shù) L 為 3，迭代次數(shù) K 為 20 次。 第 11 幀 第 43 幀 第 68 幀 第 78 幀 第 93 幀 第 107 幀 圖 Lucas Kanade 光流法跟蹤結(jié)果 淮南師范學(xué)院本科畢業(yè)論文 13 圖 為 Lucas Kanade 光流法跟蹤結(jié)果 。圖中綠色的 “1”和藍(lán)色的 “2”為目標(biāo)的 ID，同一個目標(biāo)標(biāo)注了同一 ID，紅色的方框為跟蹤框，紅色 “+”為光流預(yù)測的目標(biāo)質(zhì)心。從圖中可以看出：目標(biāo) 1 和目標(biāo) 2 在第 68 幀之前，跟蹤效果比較理想；目標(biāo) 1 的跟蹤框在第 78 幀之后開始偏離目標(biāo)，到達(dá)第 93 幀時，由于目標(biāo)模糊不清、并且與背景較為相似，所以跟蹤框偏離加大，并停止跟蹤；但由于目標(biāo) 2 比較清晰，故始終能穩(wěn)定跟蹤。 通過大量實驗發(fā)現(xiàn)， Lucas Kanade 光流跟蹤要求圖像質(zhì)量比較高，圖像紋理豐富，對質(zhì)量較差的圖像跟蹤效果并不理想，主要表現(xiàn)在以下幾點： 1)不容易選定 一個固定的鄰域大小，使其適合不同的視頻段和不同的特征點； 2)容易出現(xiàn)特征點跟蹤不穩(wěn)定的情況； 3)某些點處的矩陣 G 病態(tài)或者不可逆，此時方程的解不可靠從而發(fā)生跟蹤漂移現(xiàn)象； 4)光流跟蹤依靠的是特征點的局部信息，每個點都是獨立跟蹤的結(jié)果，其跟蹤結(jié)果并不穩(wěn)定。