【文章內(nèi)容簡(jiǎn)介】 前提下，推導(dǎo)出灰度圖象光流場(chǎng)計(jì)算的基木等式，這是經(jīng)典光流方法[18, 19]。光流法用于目標(biāo)跟蹤常用的算法有：檢測(cè)和跟蹤特征點(diǎn)[20]、跟蹤好的特征點(diǎn)[21]、金字塔圖像的Lucas Kanade特征點(diǎn)跟蹤算法[22]。在這三種光流跟蹤方法中，跟蹤性能最優(yōu)的是金字塔圖像的Lucas Kanade特征點(diǎn)跟蹤算法，由于該算法僅跟蹤少量的特征點(diǎn)、迭代法收斂速度也很快而且算法的計(jì)算量不大，已被廣泛的應(yīng)用于運(yùn)動(dòng)車輛跟蹤和人臉特征點(diǎn)跟蹤[26,27]；下面介紹之。問題提出我們用I和J來代表兩個(gè)灰度圖像。那么I(x)=I(x,y)和J(x)=J(x,y)代表了這兩個(gè)灰度圖像在點(diǎn)的灰度值，x和y是圖像的點(diǎn)X坐標(biāo)。這里，我們稱圖像I為第一幅圖像，稱J為第二幅圖像。從實(shí)際的圖像來說，I和J是兩個(gè)離散的函數(shù)，并且左上角的像素點(diǎn)坐標(biāo)是。用和表示圖像的寬度和高度。那么右下端的圖像的坐標(biāo)是。考慮第一幅圖像上的一點(diǎn)，跟蹤的目的就是在第二幅圖像上找到與之相對(duì)應(yīng)的一點(diǎn),是在點(diǎn)X處圖像的速度，即點(diǎn)X處圖像的光流。令和表示兩個(gè)整數(shù)，我們假定圖像速度d是使得下面的殘差函數(shù)最小的函數(shù)： （21）根據(jù)上面的定義，相似度的函數(shù)被在的區(qū)域內(nèi)定義。這個(gè)區(qū)域也稱之為積分窗口。典型的、是7個(gè)像素。跟蹤算法的描述基于特征點(diǎn)的跟蹤的兩個(gè)關(guān)鍵問題是準(zhǔn)確度和魯棒性。準(zhǔn)確度是從直覺上來說，為了不抹去圖像中的細(xì)節(jié)，需要小的積分窗口。魯棒性因素需要考慮光照變化，圖像運(yùn)動(dòng)時(shí)對(duì)尺寸變化的敏感性。特別的，為了了解大矢量運(yùn)動(dòng)的問題需要一個(gè)大的積分窗口。實(shí)際上，僅僅考慮等式（21），理想的情況是。這樣我們就必須兼顧準(zhǔn)確度和魯棒性來選擇積分窗口。為了更好的解決這個(gè)問題，采用了基于金字塔圖像的光流跟蹤方法。這個(gè)方法對(duì)局部跟蹤的準(zhǔn)確性提出了一個(gè)很好的解決方案。(1)、金字塔圖像表示描述一個(gè)的圖像I，令表示第0層圖像（原始圖像），那么金字塔圖像表示是以一種回歸形式而建立的：根據(jù)計(jì)算，計(jì)算，計(jì)算，以此類推；令L=1,2,…表示一系列金字塔圖像層次，圖像的大小為：，圖像通過對(duì)圖像隔行隔列采樣得到。采用金字塔圖像表示方法的主要目的是處理大矢量的運(yùn)動(dòng)問題(處理大于積分窗的目標(biāo)運(yùn)動(dòng)的問題)。因此應(yīng)當(dāng)用圖像中最大期望的光流來恰當(dāng)?shù)拇_定金字塔圖像的高度。在大多數(shù)的情況下，超過4的金字塔圖像層次沒有太大的意義。(2)、基于金字塔的圖像跟蹤回到前面說的跟蹤問題:對(duì)于圖像I中的一個(gè)給定的點(diǎn)u，找到它在圖像J中對(duì)應(yīng)的位置v=u+d，或者找到目標(biāo)運(yùn)動(dòng)的矢量d。對(duì)于，定義是點(diǎn)u在金字塔圖像中的映射。根據(jù)前面關(guān)于金字塔圖像定義的描述，則向量的計(jì)算公式如下： （22）等式（22）中的除法是對(duì)兩個(gè)坐標(biāo)分別進(jìn)行的?；诮鹱炙D像Lucas Kanade光流法跟蹤的處理過程如下：首先在最深的一個(gè)層次Lm計(jì)算光流，然后，這個(gè)計(jì)算結(jié)果轉(zhuǎn)遞到Lm1層；根據(jù)最初的假定，在Lm1層計(jì)算出新的光流并把它轉(zhuǎn)到Lm2層，這樣一直操作直到回到第0層（原始圖像）?，F(xiàn)在讓我們用數(shù)學(xué)公式詳細(xì)的介紹一下從第L+1層到第L層的遞歸過程。假定在第L層有對(duì)被跟蹤目標(biāo)的位置有個(gè)大致估計(jì)，而從最高層Lm到第L+1層傳遞過來的運(yùn)動(dòng)矢量是。這樣，為了計(jì)算出在第L層的光流，需要找到一個(gè)使得下面的殘差函數(shù):（23）達(dá)到最小的偏移向量: （24）注意到，在第L層的積分窗口的大小是保持恒定的尺寸的，即:在第二幅圖像中,用這里得到的最初估計(jì)作預(yù)平移。這樣，求得的殘余流向量就足夠小，因此能夠通過標(biāo)準(zhǔn)的光流法來求出這個(gè)運(yùn)動(dòng)矢量。計(jì)算殘余光流的細(xì)節(jié)將在下一節(jié)介紹。現(xiàn)在，我們假定這個(gè)向量已經(jīng)計(jì)算出來(為了說明算法的完整性)。然后，這個(gè)計(jì)算過程的結(jié)果就傳送到第L1層，傳遞的向量是: （25）下一層次的殘余光流，也可以通過同樣的步驟計(jì)算出來。這個(gè)通過光流法計(jì)算出來的這個(gè)向量，使得下列殘差函數(shù)達(dá)到最小值。將此計(jì)算過程一直繼續(xù)，直到算到最底層(L=0)。此算法的初始化過程是通過設(shè)定最高層()的初始運(yùn)動(dòng)估計(jì)為零開始的: （26）最終的光流d通過對(duì)最底層(原始圖像)作光流法計(jì)算得到偏移量，這個(gè)偏移量的大小是: （27）注意到這個(gè)偏移量也可以用下列的式子來表示： （28）使用金字塔圖像計(jì)算光流的一個(gè)明顯的好處是，對(duì)于一個(gè)有著較大的像素偏移的矢量d，可以通過計(jì)算幾個(gè)比較小的殘余光流來得到。注意到每個(gè)層次基本的光流法可以搜索得到的運(yùn)動(dòng)矢量達(dá)到，這樣運(yùn)用金字塔圖像的方法最多能夠處理的運(yùn)動(dòng)矢量范圍達(dá)到。例如，如果金字塔圖像的層次有3層的話()，這意味著像素的偏移量可以達(dá)到15層。這就是我們能夠使用較小的積分窗口來計(jì)算較大的像素運(yùn)動(dòng)矢量的原因?，F(xiàn)在介紹一下光流法計(jì)算的詳細(xì)過程。在金字塔圖像的每個(gè)層次L，找到偏移向量實(shí)際上就是找到使得殘差函數(shù)最小的d。因?yàn)檫@個(gè)計(jì)算步驟對(duì)各個(gè)層次都是一樣的，現(xiàn)在我們丟掉上標(biāo)L，且定義新圖像A、B如下所示:（29）（210）注意到A(x,y)和B(x,y)的定義域稍微有些差異。實(shí)際上，A(x,y)是在窗口大小為的范圍內(nèi)定義的，而不是。在后面運(yùn)用中心差分算子計(jì)算A(x,y)的導(dǎo)數(shù)時(shí)，這個(gè)差異將變得更加明顯。為了說明的清晰起見，我們改變運(yùn)動(dòng)向量的表示方法，新的表示方式為 ,而圖像位置新的表示方式為。依據(jù)新的表達(dá)方式，我們的目的是找到一個(gè)偏移向量，它使得下面的殘差函數(shù)取得最小值: （211）對(duì)這個(gè)式子可以采用標(biāo)準(zhǔn)的光流法處理。為了優(yōu)化這個(gè)問題，對(duì)的一階導(dǎo)數(shù)為零: （212）通過將這個(gè)式子展開以后，我們得到: （213）我們把用它在點(diǎn)的一階泰勒展開式來代替(因?yàn)椴捎昧私鹱炙D像的方法，每層的運(yùn)動(dòng)偏移量比較小，因而采用一階泰勒展開是一個(gè)很好的解決方案): （214）注意到A(x,y)B(x,y)可以看作是在點(diǎn)的一個(gè)導(dǎo)數(shù)，所以: （215）矩陣僅僅是一個(gè)梯度向量，我們?cè)谶@里對(duì)表示方法作一個(gè)小小的改變： （216）注意到圖像的梯度和可以不必考慮第二幅圖像B，而只需根據(jù)圖像在點(diǎn)P的鄰域的信息求得(在迭代法求光流的過程中，這一點(diǎn)的重要性是很明顯的)。如果我們使用了差分近似微分算子，這兩幅圖像的導(dǎo)數(shù)的形式如下所示: （217）實(shí)際上，根據(jù)上面的記號(hào)方式，我們得到: （218） （219）其中： （220） （221）這樣，計(jì)算公式可以簡(jiǎn)寫為: （222）這樣，簡(jiǎn)化后得到所求的光流向量為: （223） Kanade特征點(diǎn)跟蹤算法總結(jié)；下列各式子的詳細(xì)定義可以在前面幾節(jié)中找到。LucasKanade光流跟蹤的目標(biāo)是：已知圖像I中的點(diǎn)u在圖像J中找到與之相對(duì)應(yīng)的點(diǎn)v。 LucasKanade光流跟蹤流程圖 特征點(diǎn)選取在上面，我們已經(jīng)總結(jié)了整個(gè)跟蹤流程，即通過光流法找到圖像I中的點(diǎn)u在圖像J中的對(duì)應(yīng)點(diǎn)v；然而，我們還沒有給出如何求取圖像I中的特征點(diǎn)u。實(shí)際上，跟蹤的關(guān)鍵步驟是如何求取光流向量（詳見上述的跟蹤流程），在這一步中，G矩陣必須是可逆的，或換句話說，G的最小特征值必須夠大（大于某一閾值）。這個(gè)像素點(diǎn)的特征才容易被跟蹤。因此，特征點(diǎn)的選取過程如下所示：1） 在圖像I中的每個(gè)像素點(diǎn)計(jì)算矩陣G的最小特征值；2） 在整個(gè)圖像I中，求出的最大值；3） 保留圖像中特征值大于最大特征值的10%或5%的像素點(diǎn)；4） 從這些像素點(diǎn)中保留局部特征值最大的像素點(diǎn)（如果一個(gè)像素點(diǎn)的特征值大于33領(lǐng)域內(nèi)的其他像素點(diǎn)的特征值，則這個(gè)像素點(diǎn)被保留）；5） 保留下來的這些像素子集中的任何兩個(gè)像素點(diǎn)之間的距離必須大于給定的閾值（比如5或10個(gè)像素）。經(jīng)過上述處理過程，被保留下來的像素點(diǎn)是比較容易跟蹤的特征點(diǎn)。 實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)過程分三個(gè)模塊：視頻讀入、目標(biāo)檢測(cè)模塊和光流跟蹤模塊；首先，讀入視頻圖像；然后，采用目標(biāo)檢測(cè)模塊來進(jìn)行目標(biāo)檢測(cè)，通過目標(biāo)檢測(cè)得到目標(biāo)的質(zhì)心位置；最后，將目標(biāo)質(zhì)心當(dāng)作光流跟蹤的特征點(diǎn)，采用LucasKanade光流跟蹤算法，進(jìn)行目標(biāo)跟蹤。在VC++，該視頻圖像大小為3202幀率為15幀/秒、RGB24真彩色圖像。實(shí)驗(yàn)中采用的參數(shù)是：積分窗口為1111（即公式（21）中的、均采用5個(gè)像素），金字塔層數(shù)L為3，迭代次數(shù)K為20次。 第11幀 第43幀 第68幀 第