【正文】 淮南師范學(xué)院本科畢業(yè)論文 7 2( ) ( , ) ( ( , ) ( , ) )yyxxx x y yuux y x yx u y ud d d I x y J x d y d????????? ? ? ?? ? ? ? ??? （ 21） 根據(jù)上面的定義，相似度的函數(shù)被在 (2 1, 2 1)xy????的區(qū)域內(nèi)定義。典型的 x? 、 y? 是 7 個(gè)像素。 準(zhǔn)確度是從直覺(jué)上來(lái)說(shuō)，為了不抹去圖像中的細(xì)節(jié)，需要小的積分窗口。特別的，為了了解大矢量運(yùn)動(dòng)的問(wèn)題需要一個(gè)大的積分窗口。這樣我們就必須兼顧準(zhǔn)確度和魯棒性來(lái)選擇積分窗口。這個(gè)方法對(duì)局部跟蹤的準(zhǔn)確性提出了一個(gè)很好的解決方案。 采用金字塔圖像表示方法的主要目的是處理大矢量的運(yùn)動(dòng)問(wèn)題 (處理大于積分窗的目標(biāo)運(yùn)動(dòng)的問(wèn)題 )。在大多數(shù)的情況下，超過(guò) 4 的金字塔圖像層次沒(méi)有太大的意義。 對(duì)于 0,1,..., mLL? ， 定義 [ , ]L L Lxyu u u? 是點(diǎn) u 在金字塔圖像 LI 中的映射。 基于金字塔圖像 Lucas Kanade 光流法跟蹤的處理過(guò)程如下：首先在最深的一個(gè)層次 Lm 計(jì)算光流，然后，這個(gè)計(jì)算結(jié)果轉(zhuǎn)遞到 Lm1 層；根據(jù)最初的假定，在 Lm1 層計(jì)算出新的光流并把它轉(zhuǎn)到 Lm2 層，這樣一直操作直到回到第 0 層（原始圖像）。假定在第 L層有對(duì)被跟蹤目標(biāo)的位置有個(gè)大致估計(jì)，而從最高層 Lm 到第 L+1 層傳遞過(guò)來(lái)的運(yùn)動(dòng)矢量是 [ , ]L L L Txyg g g? 。這樣，求得的殘余流向量[ , ]L L L Txyd d d? 就足夠小，因此能夠通過(guò)標(biāo)準(zhǔn)的光流法來(lái)求出這個(gè)運(yùn)動(dòng)矢量?，F(xiàn)在，我們假定這個(gè)向量已經(jīng)計(jì)算出來(lái) (為了說(shuō)明算法的完整性 )。這 個(gè)通過(guò)光流法計(jì)算出來(lái)的這個(gè)向量，使得下列殘差函數(shù) 11()LLd? ??達(dá)到最小值。此算法的初始化過(guò)程是通過(guò)設(shè)定最高層 ( mL )的初始運(yùn)動(dòng)估計(jì)為零開(kāi)始的： [0,0]mL Tg ? （ 26） 最終的光流 d 通過(guò)對(duì)最底層 (原始圖像 )作光流法計(jì)算得到偏移量，這個(gè)偏移量的大小 是： 00d g d?? （ 27） 注意到這個(gè)偏移量也可以用下列的式子來(lái)表示： 0 2mL LLLdd??? （ 28） 使用金字塔圖像計(jì)算光流的一個(gè)明顯的好處是，對(duì)于一個(gè)有著較大的像素偏移的矢量 d，可以通過(guò)計(jì)算幾個(gè)比較小的殘余光流來(lái)得到。例如，如果金字塔圖像的層次有 3 層的話(huà) ( 3mL? )， 淮南師范學(xué)院本科畢業(yè)論文 9 這意味著像素的偏移量可以達(dá)到 15 層。 迭代的光流法計(jì)算過(guò)程 現(xiàn)在介紹一下光流法計(jì)算的詳細(xì)過(guò)程。因?yàn)檫@個(gè)計(jì)算步驟對(duì)各個(gè)層次都是一樣的，現(xiàn)在我們丟掉上標(biāo) L，且定義新圖像 A、 B 如下所示： ( , ) ( , ) ( , ) [ 1 , 1 ] [ 1 , 1 ]L x x x x y y y yA x y I x y x y p p p p? ? ? ?? ? ? ? ? ? ? ? ? ? ? ?（ 29） ( , ) ( , ) ( , ) [ , ] [ , ]L L Lx y x x x x y y y yB x y J x g y g x y p p p p? ? ? ?? ? ? ? ? ? ? ? ? ? （ 210） 注意到 A(x,y)和 B(x,y)的定義域稍微有些差異。在后面運(yùn)用中心差分算子計(jì)算 A(x,y)的導(dǎo)數(shù)時(shí)，這個(gè)差異將變得更加明顯。 依據(jù)新的表達(dá)方式，我們的目的是找到一個(gè)偏移向量 _ [ , ]Txy? ? ?? ，它使得下面的殘差函數(shù)取得最小值 ： _ 2( ) ( , ) ( ( , ) ( , ) )yyxxx x y yppx y x yx p y p A x y B x y????? ? ? ? ? ? ???? ? ? ?? ? ? ? ??? （ 211） 對(duì)這個(gè)式子可以采用標(biāo)準(zhǔn)的 光流法處理。如果我們使用了差分近似微分算子，這兩幅圖像的導(dǎo)數(shù)的形式如下所示： ( , ) ( 1 , ) ( 1 , )( , )2( , ) ( , 1 ) ( , 1 )( , )2( , ) [ , ] [ , ]xyx x x x y y y yA x y A x y A x yI x yxA x y A x y A x yI x yyx y p p p p? ? ? ?? ? ? ?? ??? ??? ? ? ? ?? ?????? ? ? ? ? ? ? （ 217） 實(shí)際上，根據(jù)上面的記號(hào)方式，我們得到： _ __1 ( ) ()2 yyxxx x y ypp TTx p y pI I I?????? ?????? ? ? ?? ? ? ? ?? ?? （ 218） _ 2 __ 21 ( )2yyxxx x y yT pp x x y xx p y p yx y yI I I IIIII I I??????? ?????? ? ? ??? ???? ?????? ???????????? ???????? （ 219） 其中： 22yyxxx x y ypp x x yx p y p x y yI I IGI I I??????? ? ? ???? ?????? （ 220） yyxxx x y ypp xx p y p yIIb II?????????? ? ? ????? ?????? （ 221） 這樣，計(jì)算公式可以簡(jiǎn)寫(xiě)為： _ ___1 ( )2TGb?? ???????????? （ 222） 這樣，簡(jiǎn)化后得到所求的光流向量為： _1opt Gb? ?? （ 223） 金字塔圖像的 Lucas Kanade 特征點(diǎn)跟蹤算法總結(jié) 淮南師范學(xué)院本科畢業(yè)論文 11 圖 為 LucasKanade 光流跟蹤流程圖；下列各式子的詳細(xì)定義可以在前面幾節(jié)中找到。 B e g i n圖 像 金 字 塔 表 示 初 始 化L u c a s K a n a d e 光 流空 間 梯 度 矩 陣 GL K 迭 代 初 始 化 迭 代 次 數(shù) K （ 從 1 開(kāi) 始 ）下 次 迭 代 條 件圖 像 錯(cuò) 配 向 量LLIJ、[ 0 , 0 ]LTg ? L0??迭 代 結(jié) 束 ？_kb_1kkGb???K 223。 L 1v = u + dE n d00d g d??NY Y N0[ 0 , 0 ]Tv ?1k k kvv ????kLdv? 圖 LucasKanade 光流跟蹤流程圖 特征點(diǎn)選取 在上面，我們已經(jīng)總結(jié)了整個(gè)跟蹤流程，即通過(guò)光流法找到圖像 I 中的點(diǎn) u 在圖像 J 中的對(duì)應(yīng)點(diǎn) v；然而，我們還沒(méi)有給出如何求取圖像 I 中的特征點(diǎn) u。這個(gè)像素點(diǎn)的特征才容易被跟蹤。 經(jīng)過(guò)上述處理過(guò)程，被保留下來(lái)的像素點(diǎn)是比較容易跟蹤的特征點(diǎn)。 在 VC++ 環(huán)境下對(duì)采集的視頻做了 LucasKanade 光流跟蹤實(shí)驗(yàn)，該視頻圖像大小為 3202幀率為 15 幀 /秒、 RGB24 真彩色圖像。 第 11 幀 第 43 幀 第 68 幀 第 78 幀 第 93 幀 第 107 幀 圖 Lucas Kanade 光流法跟蹤結(jié)果 淮南師范學(xué)院本科畢業(yè)論文 13 圖 為 Lucas Kanade 光流法跟蹤結(jié)果 。從圖中可以看出：目標(biāo) 1 和目標(biāo) 2 在第 68 幀之前，跟蹤效果比較理想；目標(biāo) 1 的跟蹤框在第 78 幀之后開(kāi)始偏離目標(biāo)，到達(dá)第 93 幀時(shí)，由于目標(biāo)模糊不清、并且與背景較為相似，所以跟蹤框偏離加大，并停止跟蹤；但由于目標(biāo) 2 比較清晰，故始終能穩(wěn)定跟蹤。 通過(guò)計(jì)算稀疏特征點(diǎn)處的光流即可跟蹤目標(biāo)，光流法用于目標(biāo)跟蹤已基本解決了計(jì)算速度慢的缺點(diǎn)，而且對(duì)圖像質(zhì)量比較高、圖像紋理豐富的慢速運(yùn)動(dòng)目標(biāo)跟蹤的效果還是不錯(cuò)。 3．模板相關(guān)匹配算法 模板相關(guān)匹配算法基本 原理 模板相關(guān)匹配算法的基本原理如圖 所示。 T 在 S 上平移，模板覆蓋的部分叫做子圖 ,ijS ， (, )ij為子圖左上角點(diǎn)在 S 中的坐標(biāo)，叫參考點(diǎn)。 N,ijSNMMST 圖 模板相關(guān)匹配算法原理圖 二維最小絕對(duì)差累加和算法 (Minimum Absolute Difference,以下簡(jiǎn)稱(chēng)： MAD)[26][27]是一種在工程系統(tǒng)中應(yīng)用較為普遍的相關(guān)跟蹤算法，它與上述歸一化互相關(guān)的模板相關(guān)跟智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用 14 14 蹤算法相似，該相關(guān)匹配算法采用二維最小絕對(duì)差累加和作為子圖和目標(biāo)模板相似度的度量。由于 MAD 算法直接采用圖像各像素點(diǎn)的灰度值作絕對(duì)差累加和運(yùn)算，雖然計(jì)算量比歸一化互相關(guān)運(yùn)算要少，但需要做相關(guān)計(jì)算的點(diǎn)數(shù)是不變化的，即為(NM+1)(NM+1)；而且 MAD 算法對(duì)圖像灰度變化較敏感，在圖像低對(duì)比度區(qū)域或?qū)Ρ榷茸兓闆r下，目標(biāo)跟蹤性能將下降，甚至丟失目標(biāo)。 模板匹配的搜索方法 模板匹配的搜索方法眾多，常用的有二維對(duì)數(shù)搜索法 (Two Dimensional Logarithmic, 簡(jiǎn)稱(chēng) TDL)、三步搜索法 (Three Step Search, 簡(jiǎn)稱(chēng) TSS)和菱形搜索法 (Diamond Search，簡(jiǎn)稱(chēng) DS)。 DS 算法最早由 Shan Zhu 和 KaiKuang Ma 兩人提出 [28]，后經(jīng)過(guò)多次改進(jìn)，已成為目前快速塊匹配算法中性能最優(yōu)異的算法之一，該 算法已被 MPEG4 VM 標(biāo)準(zhǔn)所接受。搜索窗口太小，就容易陷入局部最優(yōu)，而搜索窗口太大，又容易產(chǎn)生錯(cuò)誤的搜索路徑。 基于這兩點(diǎn)事實(shí)， DS 算法采用了兩種搜索模板，分別是有 9 個(gè)檢測(cè)點(diǎn)的大模板LDSP(Large Diamond Search Pattern)和有 5 個(gè)檢測(cè)點(diǎn)的小模板 SDSP(Small Diamond Search Pattern)，如圖 (b)和 (c)所示。 (a