【正文】 用ADSP．BF561進(jìn)行MPEG．4實(shí)時(shí)編碼系統(tǒng)的開發(fā)，系統(tǒng)的設(shè)計(jì)目標(biāo)是達(dá)到CIF格式(352*288)YUV數(shù)據(jù)每秒30幀的處理能力。ADSP．BF561是美國模擬器件公司(ADI)和Intel聯(lián)合開發(fā)的高性能雙核DSP。廠商提供了非常多的開發(fā)資源，便于開發(fā)人員的快速上手。如PHILIPSTrimedia系列，應(yīng)用于數(shù)字電視，監(jiān)控設(shè)備，機(jī)頂盒等。1．通用PC機(jī)軟件實(shí)現(xiàn)通用PC的發(fā)展異常迅速，目前可以已近1000元買到Intel雙核處理器，單核主頻是2330MHZ(參考2008年3月24日Intel Core2 Duo E6550報(bào)價(jià))。其最初的目標(biāo)是極低比特率的音頻／視頻編碼壓縮標(biāo)準(zhǔn)，主要適用于公共交換電話網(wǎng)絡(luò)(PSTN，Public Switched Telephone Network)上的視頻通信或移動通信網(wǎng)絡(luò)，但是隨著研究工作的深入，它所包含的內(nèi)容和將起到的作用遠(yuǎn)遠(yuǎn)超過了最初的設(shè)計(jì)思想。MPEG．2的制定，充分的考慮了對MPEG．1兼容，對圖像質(zhì)量和數(shù)據(jù)率的多層次需求，因此其最大的特點(diǎn)在于支持格式多、兼容性好并易于擴(kuò)展。它的視頻部分與H．261及H．263原理圖大致相同。從此開始，視頻編碼的技術(shù)得到迅速的發(fā)展和應(yīng)用，制定了多個(gè)視頻編碼的國際標(biāo)準(zhǔn)，即國際電信聯(lián)盟ITU—T關(guān)于電視電話／會議電視的視頻編碼標(biāo)準(zhǔn)H26H．263及H．264和國際標(biāo)準(zhǔn)化組織ISO和國際電工委員會IEC關(guān)于活動圖像的編碼標(biāo)準(zhǔn)MPEG．MPEG．2和MPEG預(yù)處理將圖像分割成紋理和輪廓兩部分，對紋理可采用預(yù)測編碼和變換編碼，對輪廓?jiǎng)t采用鏈碼方法進(jìn)行編碼，較好地保存了對人眼十分重要的邊緣輪廓信息，因此，在壓縮比很高時(shí)解碼圖像質(zhì)量仍然很好。第二代編碼方法主要有：基于分形的編碼方法、基于模型的編碼方法、基于區(qū)域分割的編碼方法和基于神經(jīng)網(wǎng)絡(luò)的編碼方法等。Hufman編碼和算術(shù)編碼是兩種常見的變長碼字編碼方法。雖然變換并不對數(shù)據(jù)進(jìn)行壓縮，但經(jīng)過變換后，能量相對集中，通過后續(xù)的量化、編碼就能達(dá)到壓縮的目的。以上工作奠定了經(jīng)典信息編碼的理論基礎(chǔ)，在此基礎(chǔ)上視頻編碼理論和技術(shù)取得了長足的發(fā)展，其主要的編碼方法有：預(yù)測編碼、變換編碼和統(tǒng)計(jì)編碼，也稱為三大經(jīng)典編碼方法。本課題設(shè)計(jì)了實(shí)時(shí)MPEG．4視頻編碼系統(tǒng)，能夠?qū)崿F(xiàn)CIF格式(352*288)數(shù)據(jù)每秒30幀的處理能力，結(jié)合該系統(tǒng)功耗低、體積小、性價(jià)比突出的特點(diǎn)，在進(jìn)一步改進(jìn)的基礎(chǔ)上，具有廣闊的工程應(yīng)用前景。因此，研究有效的視頻壓縮編碼方法具有很重要的現(xiàn)實(shí)意義。第一章緒論1．1課題提出21世紀(jì)的人類社會將是信息化社會，數(shù)字化后的信息，尤其是數(shù)字化后的視頻信息具有海量數(shù)據(jù)性，它給信息的存儲和傳輸造成很大的困難，己成為人類有效地獲取和使用信息的瓶頸問題之一。其次，研究了核心算法DCT變換和運(yùn)動估計(jì)的優(yōu)化算法，通過分析運(yùn)動向量的分布相關(guān)性，結(jié)合提前中止準(zhǔn)則，提出了基于起點(diǎn)預(yù)測的改進(jìn)菱形運(yùn)動估計(jì)算法?；趯ο蟮木幋a思想使其具有高壓縮比、可擴(kuò)展性、可交互性等許多特點(diǎn)。本科畢業(yè)設(shè)計(jì)（論文）題 目 MPEG4視頻編程技術(shù)研究 部 系 地方生部 專 業(yè) 電子信息工程 中國人民解放軍海軍航空工程學(xué)院摘 要視頻編碼是多媒體通信中的核心技術(shù)，它不但關(guān)系到通信帶寬，也關(guān)系到通信過程中的圖像質(zhì)量。ADI公司的Blacfin系列的DSP在圖像處理方面有其出色的表現(xiàn)和較低的價(jià)格而獲得關(guān)注。另外根據(jù)BF561雙核的特點(diǎn)，設(shè)計(jì)了一種基于宏塊層并行算法。1895年電影的誕生第一次將視頻信號帶給了人類社會，隨著電視的發(fā)明和普及，視頻信號走進(jìn)了千家萬戶。視頻壓縮編碼技術(shù)是多媒體應(yīng)用的核心技術(shù)，對視頻編碼的研究已成為信息技術(shù)領(lǐng)域的研究重點(diǎn)，并制定了一系列的視頻標(biāo)準(zhǔn)。1．2數(shù)字視頻編碼發(fā)展歷程12．1編碼方法的發(fā)展第一代編碼方法。其中預(yù)測編碼的基本思想是：根據(jù)數(shù)據(jù)的統(tǒng)計(jì)特性得到預(yù)測值，然后傳輸圖像像素與其預(yù)測值的殘值信號，使傳輸?shù)拇a率降低，達(dá)到壓縮的目的。變換編碼方法中的離散余弦變換(DCT，Discrete CosineTransform)和小波變換在視頻／圖像壓縮中得到了廣泛應(yīng)用。第一代編碼技術(shù)【3】只是以信息論和數(shù)字信號處理技術(shù)為理論基礎(chǔ)，旨在去除圖像數(shù)據(jù)中的線性相關(guān)性，其壓縮比不是很高，對于視頻圖像來講一般在40：1左右。分形編碼是一種不對稱的編碼技術(shù)，適于自相似性較強(qiáng)的自然景物圖像。神經(jīng)網(wǎng)絡(luò)法是模仿人腦處理問題的方法，通過各種人工神經(jīng)元網(wǎng)絡(luò)模型對數(shù)據(jù)進(jìn)行非線性壓縮，目前還處在探索階段。4等。然而，MPEG．1主要是針對存儲媒體的視頻編碼標(biāo)準(zhǔn)，而H．261和H．263主要是針對傳輸?shù)囊曨l編碼標(biāo)準(zhǔn)，故MPEG．1在顧及圖像質(zhì)量、壓縮比的同時(shí)還要考慮對序列圖像進(jìn)行隨機(jī)訪問和編輯的方便，MPEG．1在充分參考H．261以及JPEG的基礎(chǔ)上，加入了雙向預(yù)測幀B幀，從而提高了壓縮比。MPEG．2不僅支持幀編碼而且支持場編碼；不僅支持MPEG．1比特流，而且支持更高時(shí)域和空域分辨率。MPEG4目的是尋求支持?jǐn)?shù)字音頻／視頻數(shù)據(jù)通信、存取和管理的新途徑，它為多媒體數(shù)據(jù)編碼提供了一個(gè)更為廣闊的平臺，它更多定義的是一種格式和框架，而不是具體的算法，以支持各種各樣新穎的和高效的功能。該方案的優(yōu)點(diǎn)是通用PC系統(tǒng)的主頻性價(jià)比非常高，并且擁有最豐富的軟件工具。其缺點(diǎn)是成本高，功耗較大，不適應(yīng)于小型設(shè)備的開發(fā)。處理器支持眾多的多媒體接口，利用系統(tǒng)的擴(kuò)展和商業(yè)應(yīng)用。這一產(chǎn)品專為通信和互聯(lián)網(wǎng)應(yīng)用而設(shè)計(jì)，能處理互聯(lián)網(wǎng)的大量的圖像、聲音、文本等數(shù)據(jù)流。針對這一目標(biāo)，本課題首先深入研究了MPEG．4視頻壓縮標(biāo)準(zhǔn)。移植到DSP上后，根據(jù)DSP的特點(diǎn)，對代碼進(jìn)行優(yōu)化，以達(dá)到系統(tǒng)設(shè)計(jì)要求。第三章是本論文的重點(diǎn)章節(jié)，重點(diǎn)研究了影響編碼效率的關(guān)鍵算法改進(jìn)。第五章討論了編碼器的優(yōu)化問題。第二章MPEG．4視頻編碼技術(shù)和雙核DSP561開發(fā)基礎(chǔ)課題選用了BF561進(jìn)行MPEG．4視頻編碼技術(shù)進(jìn)行研究與開發(fā)。2．1 MPGE4標(biāo)準(zhǔn)開發(fā)基礎(chǔ)2．1．1發(fā)展簡況ISO于1991年5月提出關(guān)于視頻音頻編碼的MPEG4項(xiàng)目，設(shè)有系統(tǒng)、音頻、視頻、需求、實(shí)現(xiàn)研究、測試及自然合成混合編碼等幾個(gè)小組。隨著研究工作的進(jìn)一步深入，MPEG．4逐漸發(fā)展為一個(gè)功能強(qiáng)大的多媒體編碼標(biāo)準(zhǔn)，它不僅僅是一個(gè)低碼率的音像編碼標(biāo)準(zhǔn)，其編碼速率己擴(kuò)展到涵蓋從64Kbps到10Mbps的范圍。 2．具有用合成文本(Script)組合成的混合媒體對象來產(chǎn)生多媒體信息表現(xiàn)的能力。6．具有在接收端與視聽場景進(jìn)行交互的能力。3．未充分利用人類視覺系統(tǒng)(HVS，Human Visual System)的特性。在MPEG4中所見的視音頻己不再是過去MPEGl、MPEG．2中圖像幀的概念，而是一個(gè)個(gè)視聽場景(AV場景)，這些不同的AV場景由不同的AV對象組成。AV對象的提出，使多媒體通信具有高度交互及高效編碼的能力，AV對象編碼就是MPEG4的核心編碼技術(shù)。】，以適應(yīng)于不同領(lǐng)域的編碼需求。結(jié)合目前圖像分割技術(shù)的不完善，本文僅僅研究基于矩形編碼類的框架。2．1．4 MPEG．4 SP框架的關(guān)鍵技術(shù)分析MPEG4是MPEG系列的最新發(fā)展，其借鑒了其他視頻標(biāo)準(zhǔn)的優(yōu)秀算法，并在其基礎(chǔ)上進(jìn)行了一系列的改進(jìn)。IVOP是獨(dú)立壓縮編碼的，不需要其他VOP作為參考。為了減少編碼誤差，所使用的預(yù)測參考幀不是那幀圖像的原始圖像，而是該幀的重構(gòu)幀。運(yùn)動估計(jì)補(bǔ)償模塊是編碼標(biāo)準(zhǔn)的關(guān)鍵算法：其很大程度上決定編碼的效率。本課題對其進(jìn)行了細(xì)致的研究，并進(jìn)行了較大的改進(jìn)，詳細(xì)論述見章節(jié)3．2。砌通過填充技術(shù)，針對邊界處的宏塊，根據(jù)搜索窗口的大小，等值擴(kuò)充邊界，提高搜索精度。(1)再同步機(jī)制類似MPEG2的slice層語法提供的功能。視頻包中含有重新開始解碼過程所必要的信息。首先將數(shù)據(jù)分區(qū)為紋理信息和運(yùn)動信息兩部分，中間插一個(gè)標(biāo)志位“motion marker”。實(shí)際使用時(shí)可將兩種方式結(jié)合起來。Blackfin DSP將一個(gè)雙MAC(乘法累加)16位DSP引擎的處理能力與一個(gè)巧妙的正交微處理器精簡指令集的優(yōu)勢結(jié)合在一起，為開發(fā)人員提供一個(gè)單指令集的編程環(huán)境，同時(shí)消除了在雙處理器系統(tǒng)中與多器件相關(guān)的附加復(fù)雜性。ADSP．BF561具有三個(gè)DMA(Direct MemoryAccess)控制器，包括DMAl控制器、DMA2控制器和IMDMA(Internal Memory Direct Memory Access)控制器。其中PPI是用來接入視頻信號的并行接口，具有CCIR656和GP PPI兩種模式；而SPOIm則支持音頻接入和輸出。L1存儲器系統(tǒng)是ADSP．BF561內(nèi)核所用的性能最高的存儲器。它能在內(nèi)部L1／L2存儲器和外部存儲空間(包括PCI存儲空間)之間，提供代碼或數(shù)據(jù)塊的傳輸功能。2．64KB數(shù)據(jù)存儲器，包括32KB數(shù)據(jù)SRAM和32103數(shù)據(jù)Cache／SRAM，可以以全處理器速度進(jìn)行讀寫。3．4KB的數(shù)據(jù)便簽SRAM，和L1存儲器運(yùn)行在同一速度上，但只能作為數(shù)據(jù)SRAM訪問，不能作為高速緩沖存儲器。L1內(nèi)存直接連接到內(nèi)核并且以全系統(tǒng)時(shí)鐘速度工作。L1內(nèi)存結(jié)構(gòu)能提供數(shù)字信號處理所需要的性能以及便于微控制器的編程訪問。OS核心在監(jiān)控方式運(yùn)行，并且為了實(shí)際應(yīng)用軟件在用戶方式下運(yùn)行，將內(nèi)存單元和其它系統(tǒng)資源分開。采用專門調(diào)整的靈活的高密度編碼的指令，這些指令被編譯后只占用非常小的存儲空間。并行指令允許對兩個(gè)單元同時(shí)讀或者一個(gè)讀一個(gè)寫，但是不支持兩個(gè)存儲單元同時(shí)寫。同時(shí)Blackfin提供了較多的向量操作指令和多媒體操作指令，這些指令對地址的訪問都有限定。有DMA傳輸能力的外設(shè)包括SPORT、SPI端口、UART和PPI端口。此外，動態(tài)功率管理有動態(tài)地改變處理器內(nèi)核供電電壓的控制功能，進(jìn)一步降低功耗。2．2．6選用BF561的依據(jù)在一個(gè)復(fù)雜的多媒體處理系統(tǒng)當(dāng)中，通常有兩個(gè)顯著的需求。二是多媒體處理過程當(dāng)中，勢必存在大量的待處理的信息，這就對系統(tǒng)的處理器提出了具有較高信息處理能力的要求。另外，BF561具有出色的功耗控制能力，適用于便攜式編碼系統(tǒng)開發(fā)使用，切合本課題開發(fā)的目標(biāo)。首先，簡要介紹了MPEG．4發(fā)展簡況和其核心思想；然后，重點(diǎn)分析了其編碼框架分類和應(yīng)用范圍，論述了本課題選取SP框架的原因，并在第四小節(jié)對SP框架的關(guān)鍵技術(shù)進(jìn)行分析，為后續(xù)章節(jié)的代碼開發(fā)部分進(jìn)行知識鋪墊。第三章關(guān)鍵算法研究與改進(jìn)視頻編碼的首要目標(biāo)就是壓縮數(shù)據(jù)量。因此，在視頻壓縮算法中，主要利用時(shí)域編碼模塊和空域編碼模塊消除時(shí)空冗余度。根據(jù)在通用PC上，對編碼代碼進(jìn)行簡單的統(tǒng)計(jì)，DCT／IDCT運(yùn)算時(shí)間占總運(yùn)算時(shí)間的23％，運(yùn)動估計(jì)占56％，其他的占21％。3．1 DCT算法在數(shù)字視頻壓縮中，最常用的變換方法是DCT[291，DCT常被認(rèn)為是對自然場景圖像信號進(jìn)行變換的次優(yōu)選擇，其變換特性接近K．L變換(Karhunen．LoeveTransform)[30】。3．變換算法具有很強(qiáng)的對稱性，能夠有效的利用處理器架構(gòu)，實(shí)現(xiàn)快速算法，適應(yīng)于實(shí)時(shí)編碼。而一幀格式為4：2：O大小為CIF(352*288)的圖像一共有2376個(gè)8*8的宏塊，需要的運(yùn)算量極大，難以實(shí)時(shí)處理。3．1．2 DOT算法的改進(jìn)常規(guī)的DCT算法使用了到大量的乘法和加法，因此，DCT快速算法都是以減少乘法和加法的運(yùn)算次數(shù)為目的【3l】。2000年，Trac．D．Tran[34】提出了一種移位的近似算法，不需要乘法。因此，選擇DCT快速算法時(shí)，需要根據(jù)所用處理器的不同特點(diǎn)來考慮。每個(gè)MAC可以在一個(gè)內(nèi)核指令周期內(nèi)，完成依次定點(diǎn)乘法或者乘法．累加操作。艫f7：輸入的原始數(shù)據(jù)碩Ij學(xué)位論文 第三章提商編碼效率關(guān)鍵算法研究‘j分析Fo～F7：DCT變換后的數(shù)。步驟l：go=(fo+f7)／2；步驟2：ho=(go+93)／2；步驟3：ko=(1lo奉cos(n／4)+h1)／2。因此，采用BF561內(nèi)建的16位定點(diǎn)小數(shù)類型fractl6來表示浮點(diǎn)數(shù)。因此，在編碼時(shí)，合理設(shè)計(jì)流程，使得硬件資源得到充分的利用。前后兩帔存存很強(qiáng)的時(shí)怕l相關(guān)性。圖中的運(yùn)動估計(jì)模塊就是根據(jù)一定的匹配原則，從一個(gè)或多個(gè)參考幀中，尋找與當(dāng)前幀盡可能匹配的幀。最佳的壓縮效果就是這些經(jīng)過編碼的殘差和額外的信息是最小的時(shí)候。每個(gè)像素都有一個(gè)運(yùn)動向量與之對應(yīng)。從軟硬件實(shí)現(xiàn)角度看，塊匹配算法相對簡單，一在實(shí)際活動圖像壓縮編碼系統(tǒng)中得到較為普遍的應(yīng)用。所以，選用SAD作為匹配準(zhǔn)則【4168。1．全搜索算法(FS)全搜索也叫窮盡搜索法，即在搜索范圍內(nèi)逐點(diǎn)搜索，每搜索一次計(jì)算一次SAD，當(dāng)SAD達(dá)到最小值時(shí)，即為最佳匹配宏塊。2．三步搜索法(TSS)三步搜索法具有簡單、健壯、性能優(yōu)秀的特點(diǎn)。對于第一步初始步長隨著搜索窗口的寬度而變化，容易錯(cuò)過搜索中心5*5最佳的全局最優(yōu)點(diǎn)。鉆石搜索法采用了兩種搜索模式，如圖3．4所示。這種模式包含了5個(gè)點(diǎn)，形成一個(gè)較小規(guī)模的鉆石形。DS算法的優(yōu)勢在于其把握了視頻序列中運(yùn)動向量的基本規(guī)律m】，先用LDSP大范圍搜索，再用SDSP在準(zhǔn)確定位，所以它的性能優(yōu)于其他算法。3．2．3運(yùn)動估計(jì)算法的改進(jìn)本文針對菱形搜索算法存在的缺陷，充分利用視頻序列各個(gè)宏塊之間存在的時(shí)空相關(guān)性【45】，設(shè)計(jì)了一種基于預(yù)測的菱形搜索算法。根據(jù)處理順序中在圖3．7所示的時(shí)間相鄰塊(1)空間相鄰塊(2jfj}，3存，4jfj})2．起點(diǎn)預(yù)測宏塊根據(jù)視頻序列相關(guān)性，有理由認(rèn)為“相鄰塊的運(yùn)動向量和當(dāng)Ij{『塊的運(yùn)動向量存在很大的相關(guān)性，可以通過其預(yù)測當(dāng)前塊的運(yùn)動向量”【47】。碩I：學(xué)位論文 第二章提高編碼效牢關(guān)鍵算法研究’j分析表中第一行數(shù)字表示相鄰塊的各種組合方式，例如，表1中“234’’YU