【正文】 于改進光流法的運動目標提取方法1. 基于金字塔光流法的光流值計算基本思想是利用圖像金字塔，將相鄰兩幀降采樣到最底層，計算這兩幀間的光流值，在上一層中將前一幀圖像平移一定的值（下層計算出的光流），與后一幀利用光流法求出運動向量，最后與下層計算出的光流進行疊加。運用數(shù)學(xué)形態(tài)學(xué)的四個基本運算的組合，可以設(shè)計出非凡的實用非線性算法，從而獲得驚人的圖像處理效果。b對f的開啟定義為： ()b對f的閉合定義為： ()開啟運算能夠去除圖像上與結(jié)構(gòu)元素不相吻合的凸區(qū)域，同時保留那些相吻合的區(qū)域。從幾何上講，膨脹能擴大圖像形態(tài)，而腐蝕則能縮小圖像形態(tài)?？梢姡瑢τ谂蛎涍\算，結(jié)構(gòu)元素b的反射與輸入圖像f的交不為空(也就是說，只要有一個相交即可)。下面給出基于離散數(shù)字空間的定義。從圖2g中可知，使具有一定的形態(tài)的結(jié)構(gòu)元素度量和提取圖像中的對應(yīng)形狀信息，在形態(tài)學(xué)的操作中最重要的是結(jié)構(gòu)元素的選擇，結(jié)構(gòu)元素是一個用來定義形態(tài)學(xué)操作中所用到的鄰域的形狀和大小的矩陣，該矩陣僅由0和1組成，具有任意的大小和維數(shù)，1代表鄰域內(nèi)的像素，形態(tài)學(xué)運算都是對數(shù)值為1的區(qū)域進行運算。數(shù)學(xué)形態(tài)學(xué)作為一種用于數(shù)字圖像處理和識別的新理論和新方法，它的理論雖然很復(fù)雜，被稱為“驚人數(shù)學(xué)”，但它的基本思想?yún)s是簡單而完美的。：(a) 高斯金字塔第一層（原圖像） (b) 高斯金字塔第二層 (c) 高斯金字塔第三層2. 數(shù)學(xué)形態(tài)學(xué)的基本思想數(shù)學(xué)形態(tài)學(xué)是研究數(shù)字影像形態(tài)結(jié)構(gòu)特征與快速并行處理方法的理論，是通過對目標影像的形態(tài)變換實現(xiàn)結(jié)構(gòu)分析和特征提取的。金字塔P(I)的第n層表示為，使用這個記號，便有： ()其中，表示對圖像進行線性操作，其將圖像與高斯函數(shù)做卷積。借助一個小符號能夠?qū)懗龈咚菇鹱炙鲗拥暮唵伪磉_式。2)對每一層，從最細層的上一層到最粗層，通過對上一個最細一層使用高斯函數(shù)進行平滑，然后重采樣獲得這一層。同時，通過對低分辨率、尺寸較小的上層進行分析所得到的信息還能用來指導(dǎo)對高分辨率、尺寸較大的下層進行分析，從而大大簡化了分析和計算。 基于改進光流法的運動目標提取方法 基本原理1. 圖像的金字塔表示圖像的金字塔表示法[19]是計算機視覺中常用的一種多分辨率表示法。如果遞歸過程中v收斂，假設(shè)圖像大小為NN，搜索相應(yīng)窗口范圍為MxM，則平均做步。它假設(shè)兩圖像為A(x，y)和B(x，y)，圖像相應(yīng)的位移差對應(yīng)為，為滿足光流約束方程，需使式()最?。? ()即= [0 0] ()其中為圖像的梯度函數(shù)。依據(jù)該象素上的位移幀差的梯度最小值，對預(yù)測作進一步的修正。 基于象素遞歸的光流算法是預(yù)測校正型的位移估算器，它是基于梯度局部約束下的一種方法。全局約束的方法[16]假定光流在整個圖像范圍內(nèi)滿足一定的約束條件。由于光流約束方程并不能唯一確定光流，因此需要引入其他的約束?；谔荻鹊姆椒ɡ脠D像灰度的梯度來計算光流，這是研究的最多的一種方法。 光流與運動場差別示意圖光流的計算方法一般分成四類：1)基于梯度的方法[12][13]； 2)基于匹配的方法； 3)基于能量的方法[14]； 4)基于相位的方法[15]。此時光流不等于零，但運動場為零，因為物體沒有運動。由于球體表面是曲面，因此在某一光源照射下，亮度呈現(xiàn)一定的空間分布或叫明暗模式。光流(Optical Flow)是指圖像亮度模式的表觀(或視在)運動(Apparent Motion)。 光流法提取運動目標當物體在攝像機前運動，或者攝像機在環(huán)境中移動時，會發(fā)現(xiàn)圖像在變化，在圖像中觀察到的表面上的模式運動就是所謂的光流場，而運動場則是了維物體的實際運動在圖像上的投影（）。第3章 基于改進的光流法的運動目標提取方法運動目標的提取可分為背景固定和背景運動兩種情況。雖然三幀差背景差分技術(shù)己經(jīng)考慮了背景的運動問題，但該方法僅從序列圖像的角度出發(fā)，未考慮攝像機的運動影響，因而差圖像中仍可能存在偽運動信息。三幀背景差分法算法比較簡單，運算量小大，比較適用于實時監(jiān)控。顯而易見，通過三幀差去背景方法，目標的形態(tài)和在圖像中的位置被完全凸顯，更利于目標質(zhì)心的提取和物體運動參數(shù)的計算。另外，運動目標也可能長時間停留在場景中，對于這部分區(qū)域，可以在一段時間后將其看作背景的一部分。該算法必須事先讀入一定幀的視頻序列用以提取背景，這在某些場合是不容易實現(xiàn)的。2. 背景差法的實現(xiàn) 原始圖像 多幅圖像統(tǒng)計的背景亮度圖 背景差法實現(xiàn)結(jié)果實驗證明，該方法能夠提取出背景圖像（），它在提取背景的過程中，不受前景物體的影響。經(jīng)過三幀之間的運動判別之后，將所有滿足式( )和( )的像素點都作為運動點，其它像素點作為背景，從而將原圖像區(qū)分為目標與背景兩大區(qū)域。= ()= ()其中，為目標相對于背景的速度大小上式中的表示像素點(x，y)在n時刻的背景亮度值，該背景并非當前圖像的真實背景，而是從多幅圖像中經(jīng)統(tǒng)計學(xué)習(xí)得到的背景模型。設(shè)表示t = n時刻的圖像幀中像素點(x，y)的亮度值。將三幀差分與自適應(yīng)背景差技術(shù)結(jié)合，引入三幀背景差分方法來檢測運動目標。2. 三幀背景差分對連續(xù)的三幀視頻圖像分別做前兩幀和后兩幀的差分圖像，這兩幀差分圖像中都含有運動物體。圖(e)是普通差圖像，左邊一列的1是圖(a)目標后沿和圖(b)背景的差，右邊一列1是圖(a)背景和圖(b)目標前沿的差。設(shè)它每單位時間內(nèi)右移一個像素。設(shè)該圖像中各個位置的值是每次比較中發(fā)生變化的次數(shù)總和。通過將參考圖與其后的每一幅圖進行比較可得到累計差圖像。如果在某一個位置的變化只偶爾出現(xiàn)，就可判斷為噪聲。但這樣做有時也會將慢運動和尺寸較小的目標除去。為把噪聲的影響跟像素的移動區(qū)別開來，可對差圖像取較大的閾值。差圖像中為0的像素對應(yīng)于前后兩時刻間沒有發(fā)生變化的地方，為1的像素對應(yīng)著變化的地方。：將長方形區(qū)域逐漸向下移動，依次劃過橢圓目標的不同部分，將各次的結(jié)果組合起來，就可得到完整的橢圓目標。也就是說，對時間上相鄰的兩幅圖像求差可以將圖像中目標的位置和形狀變化突顯出來。1. 累計差分原理在序列圖像中，通過逐像素比較可直接求取前后兩幀圖像之間的差別。該方法在連續(xù)的三幀視頻圖像中，對第一二幀和第二三幀的圖像分別做差分運算，根據(jù)未變化區(qū)域與運動變化區(qū)域服從不同的統(tǒng)計規(guī)律設(shè)置變化檢測門限，對差分圖像做運動變化檢測和連通域的識別。 (a) 亮度圖像 (b) 分割后圖像 (3)兩種背景提取分割方法的比較分析 (a) 路面信息統(tǒng)計后的閾值分割結(jié)果 (b) 多幅圖像統(tǒng)計后的閾值分割結(jié)果 比較兩種方法閾值分割后的圖像(b)的閾值分割更為準確，可以從圖像中濾除更多的背景信息，但當背景的紋理與目標的紋理相似時，該算法卻不能得到正確的結(jié)果。 (a) 亮度圖像 (b)閾值分割后圖像(2) 直接提取路面信息，進行分割。下面介紹兩種亮度統(tǒng)計法來提取背景。 背景差法算法流程圖運用背景差法進行運動目標檢測時，最主要的環(huán)節(jié)是穩(wěn)定可靠的背景的提取以及背景的更新。這種確定閾值的方法簡單直接，但是不精確，且對場景的改變沒有一定的自適應(yīng)性。閾值的選取方法有很多種。2. 閾值的選?。?在運用幀間差法提取運動目標時，涉及到閾值的選取問題。因此，在作差分之前必須對原始圖像進行濾波預(yù)處理。而且如果運動物體表面存在大面積均勻灰度的時候，會產(chǎn)生“孔洞”現(xiàn)象，導(dǎo)致將運動目標的圖像分割成幾個部分。最早采用的是相鄰兩幀相減，如Lipton等[7]利用兩幀差分方法從實際視頻圖像中檢測出運動目標，后來出現(xiàn)了三幅連續(xù)幀的雙差分改進方法。 基于幀間差的提取運動目標方法幀差法，又稱幀間差法、時間序列差分法。背景差法檢測位置精確、速度快，不足之處是受環(huán)境、光線變化影響大。在背景固定的情況下，常用的方法有幀間差法和背景差法。第六章是對全文的總結(jié)，分析各算法及系統(tǒng)存在哪些不足以及解決建議，給出了對運動目標提取技術(shù)的展望。第五章是對二、三章所提出改進算法實驗結(jié)果的提供與實現(xiàn)。首先介紹了系統(tǒng)的設(shè)計原則，進行了系統(tǒng)的需求分析，構(gòu)建了適合于交通視頻的運動目標提取系統(tǒng)的總體框架。第三章首先分析了背景運動情況下常用的運動目標的提取方法：光流法，并基于光流法的缺陷提出了一種改進方法——基于金字塔光流的運動目標提取方法。第一章為本文的緒論，首先介紹了本課題的來源，分析了國內(nèi)外現(xiàn)有的運動目標提取方法的局限性，并給出了運動目標提取技術(shù)的研究意義。主要是被設(shè)計用來統(tǒng)計交通路段上行駛的機動車的數(shù)量，并監(jiān)測道路交通狀況。擬利用這種方法解決常用光流法中大運動目標的識別問題。3. 在總結(jié)常用的基于光流法的運動目標檢測方法的基礎(chǔ)上，對LK、HS光流法進一步改進，基本思想是利用圖像金字塔，將相鄰兩幀降采樣到最底層，計算這兩幀間的光流值，在上一層中將前一幀圖像平移一定的值（下層計算出的光流），與后一幀利用光流法求出運動向量，最后與下層計算出的光流進行疊加。該算法將三幀差分與自適應(yīng)背景差技術(shù)結(jié)合，引入三幀差去背景方法來檢測運動目標。主要研究內(nèi)容總結(jié)如下：1. 從基本原理上分析了光流法、幀間差法和背景差法等較為常見的目標檢測算法，分析了這些算法的應(yīng)用范圍，探討了算法的優(yōu)缺點以及值得改進的地方，通過具體的序列圖像實現(xiàn)了這些算法。最后需要指出的是本課題也是針對復(fù)雜條件下的立體交通態(tài)勢分析與處理問題進行運動目標提取算法的研究，但也會適當考慮其它情況下算法的適應(yīng)性。 4. 目標間的相對運動時的遮擋重疊問題。最大限度的減少環(huán)境因素對目標的影響是必須解決的一個問題。3. 復(fù)雜環(huán)境造成的視頻可用信息減少。2. 計算量與識別準確率的平衡。JiangBin Zheng，David Dagan Feng等[1]提出了一種比較準確的分割和跟蹤運動目標的算法，它主要通過自適應(yīng)背景估計和兩個相鄰幀的綜合差別來從圖像序列中準確提取目標。當攝像機處于運動狀態(tài)時，序列圖像中背景和目標都處于運動狀態(tài)，如何從運動的背景中提取出運動目標是一項較為復(fù)雜的工作。對于運動圖像的檢測分析，背景圖像是靜止的情況，現(xiàn)階段的研究成果比較成熟，也易于廣泛實現(xiàn)，常見的有背景減除法、時間差分方法等，而對動態(tài)變化的背景圖像，由于外界條件的復(fù)雜多變性，研究方法不可能完全一致，因而各研究方法也會有不同的適用性。英國的雷丁大學(xué)已開展了對車輛和行人的跟蹤及其交互作用識別的相關(guān)研究。 國內(nèi)外研究現(xiàn)狀運動目標提取是近年來計算機視覺領(lǐng)域中備受關(guān)注的前沿方向，尤其在美國、英國等國家已經(jīng)開展了大量相關(guān)項目的研究。 圖像處理算法的整體流程雖然目前國內(nèi)外對運動目標提取的基礎(chǔ)理論和方法的研究已經(jīng)相當深入，并取得了令人矚目的成果。，在進行圖像融合后，需要進行交通對象運動檢測與跟蹤，而檢測交通對象的關(guān)鍵就在于提取出運動目標。針對以上問題，北京航空航天大學(xué)民航數(shù)據(jù)通信與新航行系統(tǒng)重點實驗室瞄準未來空地一體的立體交通態(tài)勢獲取與處理的發(fā)展趨勢和我國立體交通信息獲取與處理技術(shù)跨越式發(fā)展的急需，為解決大范圍、全天候條件下交通對象的識別、定位、跟蹤等難題，構(gòu)建我國快速、高效、綜合性的交通信息服務(wù)體系奠定重要的技術(shù)基礎(chǔ)，實現(xiàn)我國立體交通信息獲取與處理技術(shù)的跨越式發(fā)展，申請國家科技863計劃，開展對空基立體交通態(tài)勢獲取與處理新技術(shù)的研究。雅典奧運會上采用無人飛艇對交通態(tài)勢進行全天候監(jiān)視以隨時應(yīng)對突發(fā)事件是該理念的一次成功應(yīng)用（）。歐美一些發(fā)達國家在20世紀90年代就已經(jīng)開始探索一種可以代替或增強路面交通態(tài)勢監(jiān)視手段的新技術(shù)——道路交通態(tài)勢空中監(jiān)測技術(shù)。如果為了獲取全面的交通信息而在所有潛在交通擁堵地點和奧運等重大活動周邊都安裝固定監(jiān)視設(shè)備，不但成本昂貴，而且由于大型活動具有短期性，將造成資源的巨大浪費。關(guān)鍵詞： 運動檢測，三幀背景差分，金字塔光流，交通監(jiān)測 Study on Motive Object Extraction Based on Video Frames Author：MA Qiang Tutor：LUO XilingAbstractWith the recent traffic congestion in major cities intensifying, it is important to overe the traditional sub grade traffic monitoring equipment to the inherent sh