【文章內(nèi)容簡介】 還可用于為廣播、有線電視網(wǎng)、電纜網(wǎng)絡(luò)以及衛(wèi)星直播提供廣播級的數(shù)字視頻。還可提供一個較廣的范圍改變壓縮比，以適應不同畫面質(zhì)量、存儲容量以及帶寬的要求。對于最終用戶來說，由于現(xiàn)存電視機分辨率的限制，MPEG2所帶來的高清晰度畫面質(zhì)量(如DVD畫面)在電視上效果并不明顯，反而其音頻特性(如加重低音，多伴音聲道等)更引人注目。(3)MPEG3MPEG3是ISO/IEC最初為HDTV開發(fā)的編碼壓縮標準。但由于MPEG2的高速發(fā)展，MPEG3的功能已被淘汰，其原來的工作由MPEG2小組承擔。(4)MPEG4MPEG4于1998年11月公布，該標準提出了基于對象編碼的概念，不僅針對一定比特率下的視頻編碼、音頻編碼，更加注重于多媒體系統(tǒng)的交互性和靈活性。MPEG4標準主要應用于視像電話(Video Phone)，視像電子郵件(Video Email)和電子新聞(Electronic News)等，其傳輸速率要求較低，在480064000bits/sec之間，分辨率為176144。MPEG4利用很窄的帶寬，通過幀重建技術(shù)，壓縮和傳輸數(shù)據(jù)，以最少的數(shù)據(jù)能取得最佳的圖像質(zhì)量。MPEG4是第一個讓用戶由被動變?yōu)橹鲃拥膭討B(tài)圖像標準，從根源上說，MPEG4將自然物體與人造物體相溶合(視覺效果意義上的)，其試圖達到兩個目標：低比特率下的多媒體通信及多工業(yè)的多媒體通信的綜合。據(jù)此目標，MPEG4引入了AV對象(Audio/Visual Objects)，從而使得更多的交互操作成為可能。MPEG4的應用前景可以說非常廣闊。它的出現(xiàn)能推動以下的幾個方面：數(shù)字電視、動態(tài)圖像、萬維網(wǎng)(WWW)、實時多媒體監(jiān)控、低比特率下的移動多媒體通信、Internet/Intranet上的視頻流與可視游戲、基于面部表情模擬的虛擬會議、DVD上的交互多媒體應用、基于計算機網(wǎng)絡(luò)的可視化合作實驗室場景應用等。MPEG4技術(shù)還在不斷的完善和發(fā)展當中，新的MPEG4標準的應用正在促進多媒體壓縮技術(shù)經(jīng)歷另一次重大變化。這一變化會與1990年MPEG2壓縮標準的推出一樣巨大，而且隨著視頻通信應用的快速發(fā)展，MPEG4標準勢會影響到范圍廣泛的多種應用領(lǐng)域。(5)MPEG7繼MPEG4之后，要解決的矛盾就是對日漸龐大的圖像、聲音信息的管理和迅速搜索。針對這個矛盾，MPEG提出了這個解決方案MPEG7。MPEG7力求能夠快速并且有效地搜索出用戶所需的不同類型的多媒體信息。該標準沒有規(guī)定利用描述進行搜索的工具或任何程序。目前MPEG系列國際標準已經(jīng)成為影響最大的多媒體技術(shù)標準，對數(shù)字電視、視聽消費電子產(chǎn)品、多媒體通信等產(chǎn)業(yè)產(chǎn)生了深遠影響。ITU主要精力則集中在支持實時、雙向視頻通信上。而負責發(fā)展這些標準的組織就是眾所周知的VCEG(視頻編碼專家組)，其主要標準有：(1) (ISDN)上開展雙向聲像業(yè)務而制定的，速率為64kb/s的整數(shù)倍。，每幀圖像被分成圖像層、宏塊組(GOB)層、宏塊(MB)層、塊(Block)層來處理。，包括運動補償?shù)膸g預測、DCT變換、量化、熵編碼，以及與固定速率的信道相適配的速率控制等部分。(2) 。它的標準輸入圖像格式可以是SQCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亞取樣圖像。，且增加了4種有效的壓縮編碼模式。先進的預測模式允許一個宏塊中4個88亮度塊各對應一個運動矢量，提高了預測精度；兩個色度塊的運動矢量取這4個亮度塊運動矢量的平均值。補償時，88亮度塊每個象素的補償值由3個預測值加權(quán)平均而得到。使用這個模式可以產(chǎn)生顯著的編碼增益，特別是采用重疊的塊運動補償后，能減少塊效應，提高主觀質(zhì)量。(3) (JVT)制定的新一代視頻壓縮編碼標準。它的主要優(yōu)點列出如下：在相同重建圖像質(zhì)量下，+和MPEG4(SP)減小50%的碼率。既可工作于低時延的模式以滿足實時業(yè)務，如會議電視；又可工作于無時延限制的場合，如視頻存儲。在編/解碼器中采用復雜度可分級設(shè)計，在圖像質(zhì)量和編碼處理之間可分級，以適應不同復雜度的場合。相對于早期的視頻壓縮標準，包括44的整數(shù)變換、空域內(nèi)的幀內(nèi)預測、1/4象素精度的運動估計、多參考幀與多種大小塊的幀間預測技術(shù)等。新技術(shù)帶來了較高的壓縮比，同時大大的提高了算法的復雜度。視頻編碼通過去除圖像的空間與時間相關(guān)性來達到數(shù)據(jù)壓縮的目的?？臻g相關(guān)性可以通過有效的變換來去除，如DCT變換；時間相關(guān)性則通過幀間預測來去除。這里所說的變換去除空間相關(guān)性，僅僅局限在所變換的塊內(nèi)，如88或者44，并沒有塊與塊之間的處理。+與MPEG4則引入了幀內(nèi)預測技術(shù)，在變換域中根據(jù)相鄰塊對當前塊的某些系數(shù)做預測。，利用當前塊的相鄰象素直接對每個系數(shù)做預測，有效地去除相鄰之間的相關(guān)性，極大地提高了幀內(nèi)編碼的效率。 運動估計的研究現(xiàn)狀運動估計算法通常分為兩大類:一類是象素遞歸算法PRA(Pixel Recursive Algorithm)。另一類是塊匹配算法BMA(Block Matching Algorithm)。PRA是基于遞歸思想，如果連續(xù)幀中象素數(shù)據(jù)的變化是因為物體的移位引起的，算法就會沿著梯度方向?qū)δ硞€象素周圍的若干象素做迭代運算，使連續(xù)的運算最后收斂于一個固定的運動估計矢量，從而預測該象素的位移。而BMA則是基于當前幀中一定大小的塊，在當前幀的前后幀的一定區(qū)域內(nèi)搜索該象素塊的最佳匹配塊，作為它的預測塊。盡管PRA對比較復雜的運動形式來說，其預測精度要高于BMA，但是由于其計算量比BMA大的多，同時BMA本身也擁有較好的性能，因此目前的視頻壓縮編碼國際標準普遍都采用BMA。本文的研究都是針對塊匹配的運動估計算法，在后文中，如無特別說明，所提到的運動估計也都是指基于塊匹配的運動估計。在基于塊匹配的運動估計中，最直接的是全搜索算法(Full Search，F(xiàn)S)，它能夠得到全局最優(yōu)的運動矢量，但該算法的運算量也相當巨大，成為了編碼器實時應用的瓶頸。為了提高運動估計的運算速度，人們不斷提出針對塊匹配運動估計的改進快速算法，其目標是在保證編碼質(zhì)量的同時，盡可能的降低運算復雜度?？焖偎阉髂０暹@類算法的主要想法是通過在搜索窗口內(nèi)按照固定的搜索模板和步驟，對較少的幾個點進行匹配運算來降低運算復雜度，這類快速模板算法都是基于一個共同的假設(shè)，即在搜索窗內(nèi)有且僅有一個全局匹配誤差最小點，而且匹配誤差隨著當前點與全局最優(yōu)點之間距離的增大而增大。模板搜索快速算法是提出最早，發(fā)展最為成熟，也是應用最為廣泛的一類快速算法。它的優(yōu)點是算法簡單，計算量小，加速比較大，缺點是容易陷入局部最優(yōu)值，尤其在大運動情況下，搜索的準確度難以保證。該類算法的經(jīng)典代表有三步法[3](Three step seareh，TSS)、2維對數(shù)法[4] (2Dime nsion Logarithm，2DLOG)、新三步法[5](New Three step seareh，NTSS)、四步法[6](Four Step Seareh，F(xiàn)SS)、菱形法[7](Diamond Seareh，DS)、六邊形搜索法[8](Hexagon Based seareh，HEXBS)等。 本文主要內(nèi)容和工作安排本論文的主要工作就是在基于塊匹配的視頻圖像運動估計技術(shù)研究的基礎(chǔ)上，深入分析、全面總結(jié)現(xiàn)有的經(jīng)典塊匹配運動估計算法，并通過仿真實驗比較他們的性能。在此基礎(chǔ)上，力爭提出一種優(yōu)化和改進后的塊匹配運動估計算法，使其能夠在保證圖像質(zhì)量的同時，搜索速度得到較大的提高。本論文章節(jié)安排如下:第1章 緒論。通過查閱大量的相關(guān)文獻，介紹了課題的背景與研究的重要意義，然后對視頻壓縮技術(shù)也進行了簡要介紹，最后介紹了運動估計的研究現(xiàn)狀。第2章 運動估計概述及其技術(shù)指標。介紹了運動估計的思想，著重分析了塊匹配運動估計的原理，對塊匹配運動估計的幾項重要的技術(shù)指標(分塊的大小，匹配準則，搜索范圍，估計精度)的確定進行了重點討論。第3章 典型塊匹配運動估計算法分析。詳細闡述了各種經(jīng)典塊匹配運動估計算法，并從搜索算法在搜索速度、計算量、匹配質(zhì)量、等方面的性能進行了分析比較。最后通過仿真、實驗數(shù)據(jù)定量地評價了各算法的優(yōu)缺點。總結(jié)與展望。總結(jié)了全文的研究成果，并對運動估計算法研究進行了展望，提出了進一步的研究工作。第2章 運動估計概述及其技術(shù)指標由于視頻序列圖像在時間上具有較強的相關(guān)性，運動估計(ME)及運動補償(MC)技術(shù)可以有效的減少時間相關(guān)性，因此該技術(shù)被廣泛應用于各種視頻壓縮編碼方案中。運動估計用來估計物體的位移，得到運動矢量。運動補償根據(jù)得到的運動矢量，對前一幀中由于運動而產(chǎn)生的位移進行調(diào)整，從而得到盡可能接近本幀的預測幀。由此可見，運動估計算法越完善，估計出的運動矢量越準確，運動補償?shù)男阅芫驮胶?，從而使預測誤差越小，編碼后需要傳輸?shù)男畔⒘恳矊㈦S之大大減少，整個系統(tǒng)的碼率壓縮比就會得到很大的提高，因此運動估計和補償技術(shù)己經(jīng)成為視頻序列圖像編碼系統(tǒng)中減少時間冗余、提高壓縮比的重要技術(shù)。，MPEG2，MPEG4等標準采用的都是基于塊匹配運動估計與運動補償?shù)膸g壓縮方案，其壓縮比和基于幀內(nèi)壓縮的標準(如JPEG)相比有較大的提高。典型的視頻壓縮編解碼系統(tǒng)如圖21所示，運動估計算法實現(xiàn)幀間編解碼的基本過程是這樣的:在編碼端，如圖21(a)所示當前幀與幀存器里的參考幀先進行運動估計，得到當前幀的運動矢量，運動矢量與參考幀又補償出當前幀的預測幀，預測幀與當前幀相減得到預測誤差，然后對預測誤差進行DCT變換和量化，最后，把運動矢量和量化后的DCT信息一起進行變長編碼，同時，量化后的DCT信息又經(jīng)過反量化、IDCT變換得到預測誤差，預測誤差與先前的預測幀相加得到當前幀，存入幀存器作為下一幀的參考幀。(a)編碼器（b）解碼器圖21 典型的視頻壓縮編解碼系統(tǒng)在解碼端，如圖21(b)所示，壓縮碼流經(jīng)過變長解碼分成兩部分:運動矢量和預測誤差的逆信息，然后將預測誤差的逆信息經(jīng)過反量化、IDCT變換得到預測誤差，將運動矢量與幀存器里的前一幀進行運動補償?shù)玫筋A測幀，再將預測幀與預測誤差相加就得到了當前幀的重構(gòu)圖像，同時保存到幀存器里作為下一幀的參考幀。在視頻壓縮編碼中，即使采用快速算法，運動估計仍是最費時的環(huán)節(jié)，在采用著名的三步快速搜索法的情況下，運動估計仍要占用整個編碼過程的63%的計算量。，運動估計占用了42%的計算量。因此，運動估計是視頻壓縮的瓶頸?；谏鲜鲈?，高效快速的運動估計算法一直是視頻壓縮領(lǐng)域的研究熱點。尤其是從1997年10月召開的MPEG會議上開始征集運動估計快速算法以來，在視頻編碼中的運動估計算法的研究領(lǐng)域中競爭日益激烈。 運動估計對于視頻序列圖像，由于相鄰幀間存在很大的時間相關(guān)性，即時間兀余(Temp oral Redundancy)。所以減少時間冗余，可以大幅度提高視頻壓縮編碼的效率。這方面一種有效的方法就是基于塊匹配的運動估計(Motion Estimation，ME)，因為算法簡單，便于實現(xiàn)等優(yōu)點而得到廣泛的應用。其基本思想是將圖像序列的每一幀分成M*N的宏塊，然后對于當前幀中的每一塊根據(jù)一定的匹配準則在前一幀或后一幀中在給定的搜索范圍內(nèi)找出與當前塊最相似的塊，即匹配塊，根據(jù)匹配塊與當前塊的相對位置計算出運動位移，所得運動位移既為當前塊的運動矢量。運動估計的越準確，補償?shù)臍埐罹驮叫?，編碼效率就越高，解碼出來的圖像質(zhì)量就越好。運動估計用于幀間編碼方式時，通過參考幀圖像產(chǎn)生對被壓縮圖像的估計。運動估計是以宏塊為單位進行，計算被壓縮圖像與參考圖像的對應位置上的宏塊間的位置偏移。這種位置偏移是以運動矢量來描述的，一個運動矢量代表水平和垂直兩個方向上的位移。圖22 宏塊、搜索區(qū)域與運動矢量的關(guān)系運動估計及補償?shù)幕驹砭褪抢脦g運動估計得到待編碼塊的一個參考塊，然后用這個參考塊進行運動補償，將補償后的殘差進行DCT變換和可變長編碼。運動估計的主要過程如圖22所示。這樣運動補償方法是基于局部運動估計的，它對圖像中的宏塊進行操作，在參考幀圖像的搜索范圍內(nèi)，搜索與當前幀最接近的宏塊，從而得到這個宏塊的運動矢量。運動矢量是一個包括水平和垂直分量的二維矢量，編碼過程只對這個運動矢量和當前宏塊與在參考幀中搜索到的宏塊的差值就行編碼。運動估計越準確，那么所要編碼的殘差圖像就越小，運動補償編碼所需要的位數(shù)就越少。另外，如果運動估計的搜索采用全搜索法，它占用了編碼過程中程序運行的大部分時間，所以為了提高搜索速度和效率，搜索策略也很重要。目前研究最多的快速搜索算法，有三步法、四步法、新三步法、菱形法等，這些算法將在第三章詳細介紹。 塊匹配運動估計的基本原理運動估計可以看作是對相鄰圖像幀時域相關(guān)性的檢測，通過對相鄰圖像幀之間相似部分的搜尋來獲得圖像中景物對象的運動信息。運動估計和補償?shù)幕具^程是通過一定的方法在參考幀圖像中搜索當前幀圖像的運動信息，再根據(jù)這些運動信息在參考圖像上進行相應的運動補償操作，得到一個當前幀的重構(gòu)圖像。由于運動估計時得到了當前圖像與參考圖像的相關(guān)信息，這個重構(gòu)圖像與當前圖像的差值往往比直接用參考圖像和當前圖像作差而得到的比特數(shù)要少得多，因此，運動估計與補償技術(shù)能有效減少相鄰幀之間的數(shù)據(jù)冗余，從而獲得更高的壓縮比，降低視頻壓縮編碼后的碼率。運動估計的一個基本問題是如何選擇運動信息的表示方式，這又與運動估計的算法模型密切相關(guān)。最直接的方法是對于每一個當前幀的像素都采用一個二維矢量(由于我們這里討論的都是針對二維圖像的運動估計，因此每個被估計的圖像單元的運動信息都可以表示為一個由水平方向分量和垂直方向分量構(gòu)成的二維矢量)來表示其運動信息，即我們通常所稱的運動矢量。這種方法具有普遍的適用性，但是由于視頻圖像通常具有非常多的像素，這樣對每一個像素都進行運動估計是不現(xiàn)實的，同時這樣得到的運動矢量場的數(shù)據(jù)量太大而使得總的編碼比特反而不能減少。因此，在實際中，我們一般將圖像幀分割為許多互不重疊的宏塊，并假定宏塊中的所有像素做相同的平動，這樣就可以分別對每個宏塊獨立地估計其運動信息參數(shù)即運動矢量，這就是目前在各種主流的視頻壓縮標準(如MPEG)中被廣泛應用的基于塊匹配的運動估計方法。這種方法在運動估計精度與計算復雜度之間提