【文章內(nèi)容簡介】 第 1 章 緒論 引言 課題的背景與意義 隨著信息技術(shù)的發(fā)展和社會的不斷進(jìn)步，人類對信息的需求越來越豐富，人們希望無論何時何地都能夠方便、快捷、靈活的通過語音、數(shù)據(jù)、圖像與視頻等多種方式進(jìn)行通信。視覺信息給人們直觀、生動的形象，圖像 /視頻的傳輸更受到廣泛的關(guān)注。數(shù)字信號處理技術(shù)、物理媒體與網(wǎng)絡(luò)技術(shù)、超大規(guī)模集成電路技術(shù)突飛猛進(jìn)的發(fā)展，使得多媒體通信成為研究和 應(yīng)用的熱點。其中，最為關(guān)鍵的技術(shù)是數(shù)字視頻的處理和傳輸技術(shù)，它將電視技術(shù)、計算機(jī)技術(shù)和通信技術(shù)結(jié)合在一起，在電視系統(tǒng)、計算機(jī)網(wǎng)絡(luò)和通信產(chǎn)業(yè)中得到了廣泛的應(yīng)用，己經(jīng)進(jìn)入千家萬戶的日常生活中。 數(shù)字視頻硬件方面的進(jìn)步和有關(guān)數(shù)字視頻壓縮國際標(biāo)準(zhǔn)的推出，使得數(shù)字視頻技術(shù)領(lǐng)域趨于成熟。自 20 世紀(jì) 90 年代以來，國際電聯(lián) ITU 和國際標(biāo)準(zhǔn)化組織 ISO先后頒布了一系列視頻編碼和多媒體視頻通信的建議和國際標(biāo)準(zhǔn)。如 ISO/IEC成立了 JPEG (Joint Photographic Expert Group)和 MPEG(Moving Pieture Experts Group)并先后完成了 JPEG、 JPEG20 MPEGl、 MPEG2和 MPEG4標(biāo)準(zhǔn)的制定 。ITUT也先后制定了 、 (與 MPEG 組織合作 )、 +和 (與 MPEG 組織合作 )等一系列國際數(shù)字視頻壓縮編碼標(biāo)準(zhǔn)。它們?yōu)橐曨l編碼技術(shù)的發(fā)展起到了巨大的推動作用。 在傳統(tǒng)的圖像通信領(lǐng)域，例如基于 ISDN、 PSTN 以及 DDN 的會議電視和可視電話等視頻通信業(yè)務(wù)取得巨大成功的同時，新的多媒體通信方式也不斷出現(xiàn)，尤其是Inter和數(shù)字移動通信的迅速普及，利用 IP 網(wǎng)絡(luò)以及寬帶無線網(wǎng)絡(luò)進(jìn)行圖像和視頻信息的傳輸成為倍受人們重視的新方式。但是大量頻繁的圖像、視頻信息的交流與存貯活動也帶來了許多新要求和新問題，例如視頻圖像巨大的信息量與當(dāng)前有限的信道帶寬和傳輸效率已成為制約多媒體技術(shù)發(fā)展的一個重要瓶頸，因此人們在努力增加信道帶寬和提高信道傳輸效率的同時，對視頻圖像采取高效的壓縮編碼己成為目前的研究熱點。例如， 1幅 640x450 分辨率的彩色圖像 (24 比特 /像素 )，其數(shù)據(jù)量約為，如果以每秒 30 幀的速度播放，則視頻信號的傳輸速率高達(dá) ，如果存放在容量為 650MB 的光盤中，在不考慮音頻信號的情況下，每張光盤也只能播放24 秒。由此可見，數(shù)字視頻信息的數(shù)據(jù)量是非常巨大的，若不經(jīng)過壓縮，數(shù)字圖像 西南交通大學(xué) 本 科 畢業(yè)設(shè)計 (論文 ) 第 2 頁 傳輸所需要的高傳輸速率和數(shù)字圖像存儲所需要的巨大容量將成為推廣應(yīng)用數(shù)字視頻技術(shù)的最大障礙。要解決多媒體信息存儲容量大、數(shù)據(jù)傳輸率高的難題，就需要采用壓縮技術(shù)。 研究發(fā)現(xiàn)，圖像數(shù)據(jù)表示中存在大量的冗余。通過去除那些冗余數(shù)據(jù)可以使原始圖像數(shù)據(jù)極大的減少，從而解決圖像數(shù)據(jù)量巨大的問題。對于靜態(tài)圖像，最主要的數(shù)據(jù)冗余是空間冗余。圖像幀記錄了可見景 物的顏色，而同一景物各采樣點的顏色之間存在著空間連貫性，但基于離散像素采樣來表示物體顏色的方法通常沒有利用景物表示顏色的這種空間連貫性，因此產(chǎn)生了空間冗余。序列圖像幀內(nèi)存在空間冗余，而幀間則存在著很大的時間冗余。這是由于序列圖像一般是位于同一時間軸區(qū)間內(nèi)的一組連續(xù)畫面，其相鄰幀間變化量一般很小，只是表現(xiàn)為移動物體所在的空間位置略微不同。運(yùn)動估計和運(yùn)動補(bǔ)償技術(shù)就是解決圖像幀間時間冗余的很好的方法。 運(yùn)動估計與運(yùn)動補(bǔ)償是現(xiàn)階段視頻壓縮編碼的關(guān)鍵技術(shù)。它是一種實現(xiàn)幀間編碼的方法，利用前后兩幀或若干幀之間的時間相關(guān) 性，去除時間冗余度。幀間編碼之所以能減少冗余度，是因為在一般視頻序列的兩幀之間有很大的空間結(jié)構(gòu)相似性，前后兩幀的差幀可以用比幀內(nèi)編碼所需少很多的比特數(shù)來進(jìn)行編碼。而幀間預(yù)測的方法基本上是以基于塊匹配的運(yùn)動估計 (補(bǔ)償 )算法為主。 運(yùn)動估計目前面臨的主要問題就是如何比較快速的得到比較準(zhǔn)確的運(yùn)動矢量，因為在整個視頻編碼的過程中，即使采用快速算法，運(yùn)動估計仍然是耗時最長、資源占用最高的環(huán)節(jié)，如在 的編碼過程中，在采用著名的三步快速搜索法的情況下，運(yùn)動估計仍要占用整個編碼過程的 63%的計算量 。而在 編 碼器中，運(yùn)動估計也還占用了 42%的計算量。因此，運(yùn)動估計成了視頻壓縮編碼的瓶頸，特別是對于幀幅較大、幀頻較高的視頻對象，在編碼實時性和硬件實現(xiàn)方面，運(yùn)動估計還有很多潛力可挖?；谏鲜鲈?，高效快速的運(yùn)動估計算法一直是視頻壓縮編碼領(lǐng)域的研究熱點。從全搜索到三步搜索法、菱形搜索、以及六邊形搜索法等， 提 高了基于塊匹配的運(yùn)動估計算法的性能，使實時應(yīng)用成為了可能，但是由于實際需求越來越高，所以也要求我們不斷的改進(jìn)運(yùn)動估計算法以滿足現(xiàn)實的需求。 基于塊匹配的運(yùn)動估計作為視頻編碼的關(guān)鍵技術(shù)，需要解決的問題是如何提高它的估 算速度和精度。而魚和熊掌不能兼得，這兩個指標(biāo)在實際計算過程中往往無法同時達(dá)到最優(yōu)，如何解決這個折衷問題具有很高的理論和實際意義，是一個圖像處理領(lǐng)域和圖像通信領(lǐng)域極其重要的研究課題。它的研究和應(yīng)用必將促進(jìn)計算機(jī)通信、圖像 西南交通大學(xué) 本 科 畢業(yè)設(shè)計 (論文 ) 第 3 頁 通信和多媒體技術(shù)的發(fā)展。 本課題的意義在于，通過實驗和仿真，比較了各種算法的優(yōu)缺點，找出了最優(yōu)的算法，確保視頻壓縮的質(zhì)量。力求在己有算法的基礎(chǔ)上尋找一種新的思路，找出了一種優(yōu)化和改進(jìn)的塊匹配運(yùn)動估計算法，使其能夠在保證圖像質(zhì)量的同時，搜索速度得到較大的提高。 視頻壓縮技術(shù)介紹 對視 頻進(jìn)行壓縮，就要了解視頻的構(gòu)成。普通的未壓縮視頻都是由一幀幀圖像序列組成的，一般 1 秒中包含 24幀圖像。一般圖像的變化都很小，而且變化都是局部的，甚至是靜止的，這樣就可以從中找到突破。數(shù)字視頻中的這些情況都可以稱為信息的冗余，因此可以通過除去這些冗余數(shù)據(jù)來減少大量的原始視頻的數(shù)據(jù)量，從而達(dá)到數(shù)據(jù)壓縮以解決 視頻傳輸中數(shù)據(jù)不便傳輸?shù)膯栴}。通常的視頻信息中存在以下三種冗余： [1] 空間冗余：這是靜態(tài)圖像存在的最主要的一種數(shù)據(jù)冗余。研究數(shù)據(jù)表明，圖像幀內(nèi)的行、列相鄰點之間的相關(guān)性可以達(dá)到 90%以上。 時間冗余：這是視 頻里圖像序列中最經(jīng)常包含的冗余。視頻序列前后幀之間存在著較大的相關(guān)性。同樣有研究證明活動圖像相鄰幀同一位置上前后樣值的相關(guān)性也達(dá)到 90%以上。 視覺冗余：人類的視覺系統(tǒng)對圖像的敏感性是非均勻的和非線性的。人的視覺系統(tǒng) (HVS)對于某些失真并不敏感。然而，在記錄的原始圖像數(shù)據(jù)時，通常假設(shè)這個系統(tǒng)是均勻的和線性的，對視覺敏感和不敏感的部分同等對待，從而產(chǎn)生了比理想編碼更多的數(shù)據(jù)，這就是視覺冗余。 視頻信號都是由一系列單獨的圖像幀組成。每一幀都可以利用圖像編解碼器(JPEG)進(jìn)行幀內(nèi)編碼 (Intraframe Coding),每一幀在內(nèi)部先進(jìn)行編碼而沒有考慮到其它的幀。消除視頻序列中的時間冗余（連續(xù)視頻幀中的相似性），可以達(dá)到更好的壓縮效果。具體可以通過給圖像編解碼器增加一個“前后幀”來實現(xiàn)，主要有以下的兩個功能： (1)預(yù)測：從一個或多個先前傳輸?shù)膸瑏斫Ξ?dāng)前幀的預(yù)測； (2)補(bǔ)償：從當(dāng)前幀中減去預(yù)測幀來產(chǎn)生“殘差幀”。 接著用圖像編解碼器來處理這個殘差幀。經(jīng)過這個處理，殘差幀將包含很少的數(shù) 西南交通大學(xué) 本 科 畢業(yè)設(shè)計 (論文 ) 第 4 頁 據(jù)，因而可以用圖像解碼器對它進(jìn)行有效的壓縮。為了解碼幀，解碼器必須進(jìn)行逆反補(bǔ)償過程，把預(yù)測加到解碼的殘差幀中，這就是幀間 編碼 (Interframe Coding)。 視頻編碼標(biāo)準(zhǔn)的最重要的發(fā)展都是源于兩大標(biāo)準(zhǔn)組織： ITU(前身是 CCITT)和ISO。 1986 年， ISO 和 CCITT 聯(lián)合成立了“聯(lián)合圖片專家組（ JPEG Joint Photographic Experts Group）”，于 1991 年 3月提交了用于灰度等級和顏色兩方面連續(xù)變化靜止圖像編碼的 JPEG 建議草案，于 1992 年 7月通過證實標(biāo)準(zhǔn)。 1988 年， MPEG(Moving Picture Expert Group)運(yùn)動圖像專家組成立，它致力于運(yùn)動圖像及其伴 音編碼標(biāo)準(zhǔn)化的工作，包括 MPEG 系統(tǒng)，即 MPEG 視頻和 MPEG 音頻。原先共有三個版本 MPEG1， MPEG2， MPEG3，后來又增加了 MPEG4， MPEG7等，不同的版本對應(yīng)了不同的應(yīng)用場合及相關(guān)的視頻質(zhì)量，對多媒體通信的發(fā)展起到了巨大的影響。 [2] (1)MPEG1 MPEG1制定于 1993 年，是針對 以下數(shù)據(jù)傳輸率的數(shù)字存儲媒質(zhì)運(yùn)動圖像及其伴音編碼的國際標(biāo)準(zhǔn)。 MPEG1用于在 CDROM上存儲同步和彩色運(yùn)動視頻信號，可優(yōu)化為中等分辨率，并在這個優(yōu)化模式下，采用標(biāo)準(zhǔn)交換格式 (SIF)。它可針對 SIF標(biāo)準(zhǔn)分辨率 (對于 NTSC 制為 352 240；對于 PAL 制為 352 288)的圖像進(jìn)行壓縮，傳輸速率為 ，每秒播放 30 幀。 MPEG1對色差分量采用 4:1:1 的二次采樣率。 MPEG1旨在達(dá)到 VRC 質(zhì)量，其視頻壓縮率為 26:1。 (2)MPEG2 MPEG2制定于 1995 年，它追求的是 CCIR 601 建議的圖像質(zhì)量 DVB,HDTV 和 DVD等制定的 3Mbps~10Mbps 的運(yùn)動圖像及其伴音的編碼標(biāo)準(zhǔn)。 MPEG2 在 NTSC 制式下的分辨率可達(dá) 720 486,MPEG2能夠提供廣播級的視像和 CD級的音質(zhì)。由于 MPEG2在設(shè)計時的巧妙處理，使得大多數(shù) MPEG2 解碼器可播放 MPEG1格式的數(shù)據(jù)。正因為MPEG2的出色性能表現(xiàn)，已能適用于 HDTV。除了做為 DVD 的指定標(biāo)準(zhǔn)外， MPEG2還可用于為廣播、有線電視網(wǎng)、電纜網(wǎng)絡(luò)以及衛(wèi)星直播提供廣播級的數(shù)字視頻。還可提供一個較廣的范圍改變壓縮比，以適應(yīng)不同畫面質(zhì)量、存儲容量以及帶寬的要求。對于最終用戶來說，由于現(xiàn)存電視機(jī)分辨率的限制， MPEG2所帶來的高清晰度畫面質(zhì)量 (如 DVD 畫面 )在電視上效果并不明顯，反而其音頻特性 (如 加重低音，多伴音聲道等 )更引人注目。 西南交通大學(xué) 本 科 畢業(yè)設(shè)計 (論文 ) 第 5 頁 (3)MPEG3 MPEG3是 ISO/IEC 最初為 HDTV 開發(fā)的編碼壓縮標(biāo)準(zhǔn)。但由于 MPEG2的高速發(fā)展， MPEG3的功能已被淘汰，其原來的工作由 MPEG2小組承擔(dān)。 (4)MPEG4 MPEG4于 1998 年 11月公布，該標(biāo)準(zhǔn)提出了基于對象編碼的概念，不僅針對一定比特率下的視頻編碼、音頻編碼，更加注重于多媒體系統(tǒng)的交互性和靈活性。 MPEG4標(biāo)準(zhǔn)主要應(yīng)用于視像電話 (Video Phone)，視像電子郵件 (Video Email)和電子新聞(Electronic News)等，其傳輸速率要求較低，在 480064000bits/sec 之間，分辨率為 176 144。 MPEG4利用很窄的帶寬，通過幀重建技術(shù)，壓縮和傳輸數(shù)據(jù)，以最少的數(shù)據(jù)能取得最佳的圖像質(zhì)量。 MPEG4是第一個讓用戶由被動變?yōu)橹鲃拥膭討B(tài)圖像標(biāo)準(zhǔn)，從根源上說， MPEG4 將自然物體與人造物體相溶合 (視覺效果意義上的 )，其試圖達(dá)到兩個目標(biāo)：低比特率下的多媒體通信及多工業(yè)的多媒體通信的綜合。據(jù)此目標(biāo)， MPEG4引入了 AV 對象 (Audio/Visual Objects)，從而使得更多的交互操作成為可能 。 MPEG4的應(yīng)用前景可以說非常廣闊。它的出現(xiàn)能推動以下的幾個方面：數(shù)字電視、動態(tài)圖像、萬維網(wǎng) (WWW)、實時多媒體監(jiān)控、低比特率下的移動多媒體通信、Inter/Intra 上的視頻流與可視游戲、基于面部表情模擬的虛擬會議、 DVD 上的交互多媒體應(yīng)用、基于計算機(jī)網(wǎng)絡(luò)的可視化合作實驗室場景應(yīng)用等。 MPEG4技術(shù)還在不斷的完善和發(fā)展當(dāng)中，新的 MPEG