【正文】 本科畢業(yè)設(shè)計（論文）題 目 MPEG4視頻編程技術(shù)研究 部 系 地方生部 專 業(yè) 電子信息工程 中國人民解放軍海軍航空工程學(xué)院摘 要視頻編碼是多媒體通信中的核心技術(shù)，它不但關(guān)系到通信帶寬，也關(guān)系到通信過程中的圖像質(zhì)量。隨著多媒體技術(shù)在網(wǎng)絡(luò)的廣泛應(yīng)用，視頻編碼技術(shù)更加顯得重要。與之相適應(yīng)，各種多媒體數(shù)據(jù)壓縮編碼標(biāo)準(zhǔn)也在不斷地發(fā)展和完善.MPEG．4是現(xiàn)在最重要最有影響的多媒體數(shù)據(jù)編碼國際標(biāo)準(zhǔn)之一?；趯ο蟮木幋a思想使其具有高壓縮比、可擴展性、可交互性等許多特點。ADI公司的Blacfin系列的DSP在圖像處理方面有其出色的表現(xiàn)和較低的價格而獲得關(guān)注。本文基于ADSP．BF561 DSP的特點，探討了MPEG．4在BF561上的視頻數(shù)據(jù)的實時編碼的實現(xiàn)。本論文首先系統(tǒng)介紹了MPEG．4編碼的特點以及選用BF561的原因，接著分析了MPEG．4的主要技術(shù)，并介紹了MPEG．4簡單編碼框架編碼器的軟件實現(xiàn)方案，給出了方案流程圖，在VC++環(huán)境下用C語言實現(xiàn)了MPEG．4簡單框架的視頻壓縮功能。其次，研究了核心算法DCT變換和運動估計的優(yōu)化算法，通過分析運動向量的分布相關(guān)性，結(jié)合提前中止準(zhǔn)則，提出了基于起點預(yù)測的改進菱形運動估計算法。另外根據(jù)BF561雙核的特點，設(shè)計了一種基于宏塊層并行算法。最后，本文從硬件平臺特征出發(fā)，在存儲器設(shè)置、DMA控制和代碼等方面對編碼方案進行優(yōu)化。經(jīng)本方案優(yōu)化后，編碼器的編碼效果得到很大的提高，能夠在BF561處理器上實現(xiàn)CIF格式30幀／秒的碼率，達到預(yù)期的目標(biāo)。第一章緒論1．1課題提出21世紀(jì)的人類社會將是信息化社會，數(shù)字化后的信息，尤其是數(shù)字化后的視頻信息具有海量數(shù)據(jù)性，它給信息的存儲和傳輸造成很大的困難，己成為人類有效地獲取和使用信息的瓶頸問題之一。1895年電影的誕生第一次將視頻信號帶給了人類社會，隨著電視的發(fā)明和普及，視頻信號走進了千家萬戶。數(shù)字技術(shù)的廣泛應(yīng)用，對視頻信號的存儲和傳輸帶來了一次革命，但是從模擬轉(zhuǎn)換到數(shù)字的原始視頻信號的數(shù)據(jù)量是驚人的，單純地靠提高存儲容量或信道傳輸速率的做法是不切實際的，以傳輸未經(jīng)處理的標(biāo)準(zhǔn)清晰度電視(SDTV，Standard DefinitionTelevision)的圖像格式為例，704像素(水平)*480像素(垂直)，幀頻60HZ／隔行掃描，其每秒的數(shù)據(jù)量是：704*480*30*1．5(4：2：0)=15206400Bytes。更不用說，現(xiàn)在流行的高清電視(HDTV，Hign Definition Television)，其數(shù)據(jù)量是標(biāo)清的5倍多，這顯然遠(yuǎn)遠(yuǎn)超出了目前Intemet通信信道的能力，而且直接把未經(jīng)處理的視頻數(shù)據(jù)發(fā)送到通信信道上，也是對通信帶寬的極大浪費。因此，研究有效的視頻壓縮編碼方法具有很重要的現(xiàn)實意義。視頻壓縮編碼技術(shù)是多媒體應(yīng)用的核心技術(shù)，對視頻編碼的研究已成為信息技術(shù)領(lǐng)域的研究重點，并制定了一系列的視頻標(biāo)準(zhǔn)。其中MPEG4利用很窄的帶寬【l】，使用幀重建技術(shù)，壓縮數(shù)據(jù)，以最少的代價獲得最佳的圖像質(zhì)量。因此，其廣泛應(yīng)用于實時、高效、適合網(wǎng)絡(luò)傳輸?shù)忍攸c的領(lǐng)域，如數(shù)字監(jiān)控、可視電話和手機視頻等。本課題設(shè)計了實時MPEG．4視頻編碼系統(tǒng)，能夠?qū)崿F(xiàn)CIF格式(352*288)數(shù)據(jù)每秒30幀的處理能力，結(jié)合該系統(tǒng)功耗低、體積小、性價比突出的特點，在進一步改進的基礎(chǔ)上，具有廣闊的工程應(yīng)用前景。1．2數(shù)字視頻編碼發(fā)展歷程12．1編碼方法的發(fā)展第一代編碼方法。1948年Oliver提出了第一個編碼理論～脈沖編碼調(diào)制(PCM，Pulse Coding Modulation)。同年Shannon的經(jīng)典論文《通信的數(shù)學(xué)原理》中首次提出并建立了信息率失真函數(shù)概念；1959年Shannon進一步確立了碼率失真理謝21。以上工作奠定了經(jīng)典信息編碼的理論基礎(chǔ)，在此基礎(chǔ)上視頻編碼理論和技術(shù)取得了長足的發(fā)展，其主要的編碼方法有：預(yù)測編碼、變換編碼和統(tǒng)計編碼，也稱為三大經(jīng)典編碼方法。其中預(yù)測編碼的基本思想是：根據(jù)數(shù)據(jù)的統(tǒng)計特性得到預(yù)測值，然后傳輸圖像像素與其預(yù)測值的殘值信號，使傳輸?shù)拇a率降低，達到壓縮的目的。變換編碼的基本思想是：由于數(shù)字圖像像素間存在高度相關(guān)性，因此可以進行某種變換來消除這種相關(guān)性。變換編碼不直接對空域圖像像素編碼，而是先將它變換到頻域，得到一組變換系數(shù)。雖然變換并不對數(shù)據(jù)進行壓縮，但經(jīng)過變換后，能量相對集中，通過后續(xù)的量化、編碼就能達到壓縮的目的。變換編碼方法中的離散余弦變換(DCT，Discrete CosineTransform)和小波變換在視頻／圖像壓縮中得到了廣泛應(yīng)用。統(tǒng)計編碼的基本思想是：根據(jù)信息碼字出現(xiàn)概率的分布特征而進行壓縮編碼，尋找概率與碼字長度間的最優(yōu)匹配。統(tǒng)計編碼主要針對無記憶信源，它又可分為定長碼和變長碼(VLC，Variable LengthCoding)。Hufman編碼和算術(shù)編碼是兩種常見的變長碼字編碼方法。第一代編碼技術(shù)【3】只是以信息論和數(shù)字信號處理技術(shù)為理論基礎(chǔ)，旨在去除圖像數(shù)據(jù)中的線性相關(guān)性，其壓縮比不是很高，對于視頻圖像來講一般在40：1左右。為了克服第一代視頻編碼技術(shù)的局限性，Kunt等人于1985年提出了第二代視頻編碼技術(shù)。而第二代編碼技術(shù)不再局限于信息論的框架，從更為底層的基礎(chǔ)上探索視頻圖像信息的表述機制，充分利用人的視覺生理心理特性和圖像信源的各種特征，實現(xiàn)從“波形’’編碼到“模型”編碼的轉(zhuǎn)變，以期獲得更高壓縮比。第二代編碼方法主要有：基于分形的編碼方法、基于模型的編碼方法、基于區(qū)域分割的編碼方法和基于神經(jīng)網(wǎng)絡(luò)的編碼方法等。分形編碼是一種不對稱的編碼技術(shù)，適于自相似性較強的自然景物圖像?；谀Ｐ突蛑R的方法，是把計算機視覺和計算機圖形學(xué)中的方法應(yīng)用到視頻編碼，在編碼端通過各種分析手段，提取所建模型的特征與狀態(tài)參數(shù)，在解碼端通過這些參數(shù)通過模型及相關(guān)知識生成所建模的信源?；趨^(qū)域分割與合并的視頻編碼方法，是根據(jù)圖像的空域特征將圖像分成紋理和輪廓兩部分，然后分別對它們進行預(yù)處理、編碼。預(yù)處理將圖像分割成紋理和輪廓兩部分，對紋理可采用預(yù)測編碼和變換編碼，對輪廓則采用鏈碼方法進行編碼，較好地保存了對人眼十分重要的邊緣輪廓信息，因此，在壓縮比很高時解碼圖像質(zhì)量仍然很好。神經(jīng)網(wǎng)絡(luò)法是模仿人腦處理問題的方法，通過各種人工神經(jīng)元網(wǎng)絡(luò)模型對數(shù)據(jù)進行非線性壓縮，目前還處在探索階段。第二代基于內(nèi)容和語義的編碼方法為視頻壓縮編碼開拓了廣闊的前景，但同時也大大增加了分析的難度和實現(xiàn)的復(fù)雜度，要得到充分應(yīng)用還有賴于進一步深入研究以及相關(guān)輔助學(xué)科的同步發(fā)展。1．2．2視頻編碼標(biāo)準(zhǔn)的發(fā)展1988年形成草案，1990年通過的ITU．T H．261標(biāo)準(zhǔn)是視頻編碼技術(shù)走向?qū)嵱没睦锍瘫蛔u為“圖像編碼40年經(jīng)驗之總結(jié)”。從此開始，視頻編碼的技術(shù)得到迅速的發(fā)展和應(yīng)用，制定了多個視頻編碼的國際標(biāo)準(zhǔn)，即國際電信聯(lián)盟ITU—T關(guān)于電視電話／會議電視的視頻編碼標(biāo)準(zhǔn)H26H．263及H．264和國際標(biāo)準(zhǔn)化組織ISO和國際電工委員會IEC關(guān)于活動圖像的編碼標(biāo)準(zhǔn)MPEG．MPEG．2和MPEG4等。這些標(biāo)準(zhǔn)圖像編碼算法融合了各種性能優(yōu)良的圖像編碼方法，體現(xiàn)了圖像編碼的發(fā)展水平。1．MPEG．11993年8月通過的MPEG．1【4】是1．5Mbps數(shù)據(jù)傳輸率的數(shù)字存儲媒體運動圖像及其伴音編碼的國際標(biāo)準(zhǔn)。它的視頻部分與H．261及H．263原理圖大致相同。然而，MPEG．1主要是針對存儲媒體的視頻編碼標(biāo)準(zhǔn)，而H．261和H．263主要是針對傳輸?shù)囊曨l編碼標(biāo)準(zhǔn)，故MPEG．1在顧及圖像質(zhì)量、壓縮比的同時還要考慮對序列圖像進行隨機訪問和編輯的方便，MPEG．1在充分參考H．261以及JPEG的基礎(chǔ)上，加入了雙向預(yù)測幀B幀，從而提高了壓縮比。對隨機訪問和編輯的支持由每秒2個I幀來支持，不需依賴P幀和B幀而獨立解碼。2．MPEG．21994年11月通過的MPEG．2t5】主要是針對數(shù)字視頻廣播(DVB，Digital VideoBroadcasting)、高清晰度電視(HDTV)、數(shù)字視盤(DVD，Digital Versatile Disc)等制定的高于1．5Mbps運動圖像及其伴音的國際標(biāo)準(zhǔn)。MPEG．2的制定，充分的考慮了對MPEG．1兼容，對圖像質(zhì)量和數(shù)據(jù)率的多層次需求，因此其最大的特點在于支持格式多、兼容性好并易于擴展。MPEG．2不僅支持幀編碼而且支持場編碼；不僅支持MPEG．1比特流，而且支持更高時域和空域分辨率。MPEG．2另一特點是其可伸縮性。3．MPEG．4MPEG．4t6】標(biāo)準(zhǔn)專家組成立與1993年，于1998年正式成為國際標(biāo)準(zhǔn)。其最初的目標(biāo)是極低比特率的音頻／視頻編碼壓縮標(biāo)準(zhǔn)，主要適用于公共交換電話網(wǎng)絡(luò)(PSTN，Public Switched Telephone Network)上的視頻通信或移動通信網(wǎng)絡(luò)，但是隨著研究工作的深入，它所包含的內(nèi)容和將起到的作用遠(yuǎn)遠(yuǎn)超過了最初的設(shè)計思想。MPEG4目的是尋求支持?jǐn)?shù)字音頻／視頻數(shù)據(jù)通信、存取和管理的新途徑，它為多媒體數(shù)據(jù)編碼提供了一個更為廣闊的平臺，它更多定義的是一種格式和框架，而不是具體的算法，以支持各種各樣新穎的和高效的功能。1．3視頻編碼器研究現(xiàn)狀考慮到實時視頻編碼算法所需的運算資源和存儲空間，進行系統(tǒng)設(shè)計重點考察了下列三種技術(shù)成熟并在市場上存在商業(yè)應(yīng)用方案。在此基礎(chǔ)上，選定本課題編碼器采用的系統(tǒng)設(shè)計方案。1．通用PC機軟件實現(xiàn)通用PC的發(fā)展異常迅速，目前可以已近1000元買到Intel雙核處理器，單核主頻是2330MHZ(參考2008年3月24日Intel Core2 Duo E6550報價)。該方案的優(yōu)點是通用PC系統(tǒng)的主頻性價比非常高，并且擁有最豐富的軟件工具。并且提供了較完整的多媒體指令集和流水線控制，但是通用PC應(yīng)用廣泛，其內(nèi)核支持各種應(yīng)用，而不只限于特定的多媒體處理，且功耗過高，軟件實現(xiàn)存在執(zhí)行效率上的損失。2．專業(yè)DSP芯片實現(xiàn)該方案的優(yōu)點是DSPt7】提供了極其強大的多媒體處理能力，并且具有眾多的多媒體接口，相關(guān)廠商提供了豐富的開發(fā)包和必要的開發(fā)資源。如PHILIPSTrimedia系列，應(yīng)用于數(shù)字電視，監(jiān)控設(shè)備，機頂盒等。其缺點是成本高，功耗較大，不適應(yīng)于小型設(shè)備的開發(fā)。3．通用DSP芯片實現(xiàn)如ADI的Blackfin系列【引。其優(yōu)點是主頻高，功耗低，并且具有很強大的功耗控制模塊，芯片體積小，適用于小型設(shè)備的研發(fā)。廠商提供了非常多的開發(fā)資源，便于開發(fā)人員的快速上手。處理器支持眾多的多媒體接口，利用系統(tǒng)的擴展和商業(yè)應(yīng)用。結(jié)合課題研究的目的，綜合比較上述三種解決方案，最后選定采用通用DSP芯片進行項目的研發(fā)。比較ADI Blackfin系列產(chǎn)品的特點，最后選用ADSP．BF56 1。ADSP．BF561是美國模擬器件公司(ADI)和Intel聯(lián)合開發(fā)的高性能雙核DSP。這一產(chǎn)品專為通信和互聯(lián)網(wǎng)應(yīng)用而設(shè)計，能處理互聯(lián)網(wǎng)的大量的圖像、聲音、文本等數(shù)據(jù)流。其特點是結(jié)合多媒體處理器和普通微處理控制單元(MCU，Micro Controller Unit)，較高的主頻，較低的價格，加上極低的功耗，加上體積小的特性，極其設(shè)和數(shù)據(jù)流巨大的實時視頻處理設(shè)備。1．4研究的內(nèi)容本課題的研究工作主要著眼于實時視頻編碼工作，這是當(dāng)前研究的熱點之一。綜合考慮各種成熟的設(shè)計方案后，選用ADSP．BF561進行MPEG．4實時編碼系統(tǒng)的開發(fā)，系統(tǒng)的設(shè)計目標(biāo)是達到CIF格式(352*288)YUV數(shù)據(jù)每秒30幀的處理能力。針對這一目標(biāo)，本課題首先深入研究了MPEG．4視頻壓縮標(biāo)準(zhǔn)。分析MPEG．4各種應(yīng)用框架的復(fù)雜程度以及系統(tǒng)實時編碼的設(shè)計目標(biāo)，決定采用MPEG4 SP層次框架結(jié)構(gòu)。在研讀MPEG．4 SP源代碼的基礎(chǔ)上，首先在通用PC上面實現(xiàn)完整版本的純C語言程序，進行正確的MPEG．4編碼。以此版本作為通用PC機上的研究基礎(chǔ)，對計算量大的模塊，進行算法改進，提高效率。移植到DSP上后，根據(jù)DSP的特點，對代碼進行優(yōu)化，以達到系統(tǒng)設(shè)計要求。1．5論文的結(jié)構(gòu)安排本課題以MPEG．4參考模型Xvidcorl．0．2為藍本，采用ADSP．BF561作為主處理平臺，研究編碼算法在DSP上的實現(xiàn)和優(yōu)化。本文主要章節(jié)結(jié)構(gòu)安排如下：第一章緒論介紹課題提出的原因，視頻編碼的發(fā)展情況，以及采用通用DSP方案的原因。第二章研究了MPEG4編碼標(biāo)準(zhǔn)的特點和關(guān)鍵技術(shù)，以及雙核BF561適用于多媒體處理的原因。第三章是本論文的重點章節(jié)，重點研究了影響編碼效率的關(guān)鍵算法改進。通過對計算量要求最大的DCT和運動估計補償算法的改進，獲得較好的效率提高。第四章討論了MPEG．4 SP編碼框架的軟硬件設(shè)計，以及移植到DSP上的方法。并重點設(shè)計基于雙核BF561的宏塊層并行處理算法流程。第五章討論了編碼器的優(yōu)化問題。其涉及到各個層次上的優(yōu)化：編譯器優(yōu)化、存儲空間優(yōu)化、C語言級優(yōu)化和匯編優(yōu)化等。在優(yōu)化過程中，充分利用BF561硬件特性，提高編碼的效率，最終實現(xiàn)系統(tǒng)設(shè)計的要求。第六章對全文進行總結(jié)，并對下一步工作進行展望。第二章MPEG．4視頻編碼技術(shù)和雙核DSP561開發(fā)基礎(chǔ)課題選用了BF561進行MPEG．4視頻編碼技術(shù)進行研究與開發(fā)。進行深入探討之前，對課題涉及到的兩大關(guān)鍵點：MPEG．4視頻編碼技術(shù)和DSP處理器BF561進行詳細(xì)的介紹。MPEG．4視頻編碼部分重點介紹了與本文開發(fā)相關(guān)的SP框架下的關(guān)鍵技術(shù)；BF561部分重點介紹與并行處理、存儲和DMA相關(guān)的基礎(chǔ)內(nèi)容。這些基礎(chǔ)內(nèi)容與論文后續(xù)章節(jié)的論述密切相關(guān)，為論文提供基礎(chǔ)知識。2．1 MPGE4標(biāo)準(zhǔn)開發(fā)基礎(chǔ)2．1．1發(fā)展簡況ISO于1991年5月提出關(guān)于視頻音頻編碼的MPEG4項目，設(shè)有系統(tǒng)、音頻、視頻、需求、實現(xiàn)研究、測試及自然合成混合編碼等幾個小組。MPEG．4于1998年11月成為國際標(biāo)準(zhǔn)