【正文】 TN， Public Switched Telephone Network)上的視頻通信或移動(dòng)通信網(wǎng)絡(luò)，但是隨著研究工作的深入，它所包含的內(nèi)容和將起到的作用遠(yuǎn)遠(yuǎn)超過(guò)了最初的設(shè)計(jì)思想。它的視頻部分與 H． 261 及 H． 263 原理圖大致相同。預(yù)處 理將圖像分割成紋理和輪廓兩部分，對(duì)紋理可采用預(yù)測(cè)編碼和變換編碼，對(duì)輪廓?jiǎng)t采用鏈碼方法進(jìn)行編碼，較好地保存了對(duì)人眼十分重要的邊緣輪廓信息，因此，在壓縮比很高時(shí)解碼圖像質(zhì)量仍然很好。 Hufman 編碼和算術(shù)編碼是兩種常見的變長(zhǎng)碼字編碼方法。以上工作奠定了經(jīng)典信息編碼的理論基礎(chǔ)，在此基礎(chǔ)上視頻編碼理論和技術(shù)取得了長(zhǎng)足的發(fā)展，其主要的編碼方法有：預(yù)測(cè)編碼、變換編碼和統(tǒng)計(jì)編碼，也稱為三大經(jīng)典編碼方法。因此，研究有效的視頻壓縮編碼方法具有很重要的現(xiàn)實(shí)意義。其次，研究了核心算法 DCT 變換和運(yùn)動(dòng)估計(jì)的 優(yōu)化算法，通過(guò)分析運(yùn)動(dòng)向量的分布相關(guān)性，結(jié)合提前中止準(zhǔn)則，提出了基于起點(diǎn)預(yù)測(cè)的改進(jìn)菱形運(yùn)動(dòng)估計(jì)算法。 本科畢業(yè)設(shè) 計(jì)（ 論 文） 題 目 MPEG4視頻編程技術(shù)研究 部 系 地方生部 專 業(yè) 電子信息工程 中國(guó)人民解放軍海軍航空工程學(xué)院 摘 要 視頻編碼是多媒體通信中的核心技術(shù)，它不但關(guān)系到通信帶寬，也關(guān)系到通信過(guò)程中的圖像質(zhì)量。另外根據(jù) BF561 雙核的特點(diǎn)，設(shè)計(jì)了一種基于宏塊層并 行算法。 視頻壓縮編碼技術(shù)是多媒體應(yīng)用的核心技術(shù)，對(duì)視頻編碼的研究已成為信息技術(shù)領(lǐng)域的研究重點(diǎn)，并制定了一系列的視頻標(biāo)準(zhǔn)。其中預(yù)測(cè)編碼的基本思想是：根據(jù)數(shù)據(jù)的統(tǒng)計(jì)特性得到預(yù)測(cè)值，然后傳輸圖像像素與其預(yù)測(cè)值的殘值信號(hào)，使傳輸?shù)拇a率降低，達(dá)到壓縮的目的。 第一代編碼技術(shù)【 3】只是以信息論和數(shù)字信號(hào)處理技術(shù)為理論基礎(chǔ)，旨在去除圖像數(shù)據(jù)中的線性相關(guān)性，其壓縮比不是很高，對(duì)于視頻圖像來(lái)講一般在40： 1 左右。神經(jīng)網(wǎng)絡(luò)法是模仿人腦處理問(wèn)題的方法，通過(guò)各種人工神經(jīng)元網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行非線性壓縮，目前還處在探索階段。然而， MPEG． 1 主要是針對(duì)存儲(chǔ)媒體的視頻編碼標(biāo)準(zhǔn)，而 H． 261和 H． 263 主要是針對(duì)傳輸?shù)囊曨l編碼標(biāo)準(zhǔn)，故 MPEG． 1 在顧及圖像質(zhì)量、壓縮比的同時(shí)還要考慮對(duì)序列圖像進(jìn)行隨機(jī)訪問(wèn)和編輯的方便， MPEG． 1 在充分參考 H． 261 以及 JPEG 的基礎(chǔ)上，加入了雙向預(yù)測(cè)幀 B 幀，從而提高了壓縮比。 MPEG4 目的是尋求支持?jǐn)?shù)字音頻／視頻數(shù)據(jù)通信、存取和管理的新途徑，它為多媒體數(shù)據(jù)編碼提供了一個(gè)更為廣闊的平臺(tái)，它更多定 義的是一種格式和框架，而不是具體的算法，以支持各種各樣新穎的和高效的功能。其缺點(diǎn)是成本高，功耗較大，不適應(yīng)于小型設(shè)備的開發(fā)。這一產(chǎn)品專為通信和互聯(lián)網(wǎng)應(yīng)用而設(shè)計(jì)，能處理互聯(lián)網(wǎng)的大量的 圖像、聲音、文本等數(shù)據(jù)流。移植到 DSP 上后，根據(jù) DSP 的特點(diǎn)，對(duì)代碼進(jìn)行優(yōu)化，以達(dá)到系統(tǒng)設(shè)計(jì)要求。 第五章討論了編碼器的優(yōu)化問(wèn)題。 2． 1 MPGE4 標(biāo)準(zhǔn)開發(fā)基礎(chǔ) 2． 1． 1 發(fā)展簡(jiǎn)況 ISO 于 1991 年 5 月提出關(guān)于視頻音頻編碼的 MPEG4 項(xiàng)目，設(shè)有系統(tǒng)、音頻、視頻、需求、實(shí)現(xiàn)研究、測(cè)試及自然合成混合編碼等幾個(gè)小組。 2．具有用合成文本 (Script)組合成的混合媒體對(duì)象來(lái)產(chǎn)生多媒體信息表現(xiàn) 的能力。 3．未充分利用人類視覺(jué)系統(tǒng) (HVS， Human Visual System)的特性。 AV 對(duì)象的提出，使多媒體通信具有高度交互及高效編碼的能力， AV 對(duì)象編碼就是 MPEG4 的核心編碼技術(shù)。結(jié)合目前圖像分割技術(shù)的不完善，本文僅僅研究基于矩形編碼類的框架。 IVOP 是獨(dú)立壓縮編碼的，不需要其他 VOP作 為參考。運(yùn)動(dòng)估計(jì)補(bǔ)償模塊是編碼標(biāo)準(zhǔn)的關(guān)鍵算法：其很大程度上決定編碼的效率。砌通過(guò)填充技術(shù)，針對(duì)邊界處的宏塊，根據(jù)搜索窗口的大小，等值擴(kuò)充邊界，提高搜索精度。視頻包中含有重新開始解碼過(guò)程所必要的信息。實(shí)際使用時(shí)可將兩種方式結(jié)合起來(lái)。 ADSP． BF561 具有三個(gè) DMA(Direct MemoryAccess)控制器，包括 DMAl控制器、 DMA2控制器和 IMDMA(Internal Memory Direct Memory Access)控制器。 L1 存儲(chǔ)器系統(tǒng)是 ADSP． BF561 內(nèi)核所用的性能最高的存儲(chǔ)器。 2． 64KB 數(shù)據(jù)存儲(chǔ)器，包括 32KB 數(shù)據(jù) SRAM 和 32103 數(shù)據(jù) Cache／ SRAM，可以以全處理器速度進(jìn)行讀寫。 L1 內(nèi)存直接連接到內(nèi)核并且以全系統(tǒng)時(shí)鐘速度工作。 OS 核心在監(jiān)控方式運(yùn)行，并且為了實(shí)際應(yīng)用軟件在用戶方式下運(yùn)行，將內(nèi)存單元和其它系統(tǒng)資源分開。并行指令允許對(duì)兩個(gè)單元同時(shí)讀或者一個(gè)讀一個(gè)寫，但是不支持兩個(gè)存儲(chǔ)單元同時(shí)寫。有 DMA 傳輸能力的外設(shè)包括 SPORT、 SPI 端口、UART 和 PPI 端口。 2． 2． 6 選用 BF561 的依據(jù) 在一個(gè)復(fù)雜的多媒體處理系統(tǒng)當(dāng)中，通常有兩個(gè)顯著的需求。 另外， BF561 具有出色的功耗控制能力，適用于便攜式編碼系統(tǒng)開發(fā)使用，切合本課題開發(fā)的目標(biāo)。 第三章關(guān)鍵算法研究與改進(jìn) 視頻編碼的首要目標(biāo)就是壓縮數(shù)據(jù)量。根據(jù)在通用 PC 上，對(duì)編碼代碼進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)，DCT／ IDCT 運(yùn)算時(shí)間占總運(yùn)算時(shí)間的 23％，運(yùn)動(dòng)估計(jì)占 56％，其他的占 21％。 3．變換算法具有很強(qiáng)的對(duì)稱性，能夠有效的利用處理器架構(gòu)，實(shí)現(xiàn)快速算法，適應(yīng)于實(shí)時(shí)編碼。 3． 1． 2 DOT 算法的改進(jìn) 常規(guī)的 DCT 算法使用了到大量的乘法和加法，因此， DCT 快速算 法都是以減少乘法和加法的運(yùn)算次數(shù)為目的【 3l】。因此，選擇DCT 快速算法時(shí)，需要根據(jù)所用處理器的不同特點(diǎn)來(lái)考慮。艫 f7：輸入的原始數(shù)據(jù)碩 Ij 學(xué)位論文 第三章提商編碼效率關(guān)鍵算法研究‘ j 分析 Fo～ F7： DCT 變換后的數(shù)。因此，采用 BF561 內(nèi)建的 16 位 定點(diǎn)小數(shù)類型 fractl6 來(lái)表示浮點(diǎn)數(shù)。前后兩帔存存很強(qiáng)的時(shí)怕 l 相關(guān)性 。最佳的壓縮效果就是這些經(jīng)過(guò)編碼的殘差和額外的信息是最小的時(shí)候。從軟硬件實(shí)現(xiàn)角度看，塊匹配算法相對(duì)簡(jiǎn)單，一在實(shí)際活動(dòng)圖像壓縮編碼系統(tǒng)中得到較為普遍的應(yīng)用。 1．全搜索算法 (FS) 全搜索也叫窮盡搜索法，即在搜索范圍內(nèi)逐點(diǎn)搜索，每搜索一次計(jì)算一次SAD，當(dāng) SAD 達(dá)到最小值時(shí)，即為最佳匹配宏塊。對(duì)于第一步初始步長(zhǎng)隨著搜索窗口的寬度而變化，容易錯(cuò)過(guò)搜索中心 5*5 最佳的全局最優(yōu)點(diǎn)。這種模式包含了 5 個(gè)點(diǎn)，形成一個(gè)較小規(guī)模的鉆石形。 3． 2． 3 運(yùn)動(dòng)估計(jì)算法的改進(jìn) 本文針對(duì)菱形搜索算法存在的缺陷，充分利用視頻序列各個(gè)宏塊之間存在的時(shí)空相關(guān)性【 45】，設(shè)計(jì)了一種基于預(yù)測(cè)的菱形搜索算法。碩 I：學(xué)位論文 第二章提高編碼效牢關(guān)鍵算法研究’ j 分析 表中第一行數(shù)字表示相鄰塊的各種組合方式，例如，表 1 中“ 234’’ YU 表示當(dāng)相鄰塊 2≠ }， 3≠ }， 4≠ }的組合。 _pre 不難看出，運(yùn)動(dòng)向量主要分布在 (O， O)或 V 對(duì)應(yīng)點(diǎn)及177。因此，本算法取 T=512，在計(jì)算時(shí)，出現(xiàn) SAD 值不大于 T，即可判斷對(duì)應(yīng)點(diǎn)為最 佳匹配點(diǎn)，退出搜索。 (5)改用 9 個(gè)搜索點(diǎn)的大模板 LDSP，比較各個(gè)點(diǎn)的 SAD 值，如果中心點(diǎn)的SAD 值最小，轉(zhuǎn)入 (7)；否則轉(zhuǎn)入 (6)。試驗(yàn)結(jié)果如表 36 所示。 DCT 算法的改進(jìn)結(jié)合了本課題采用的 BF561 處理器的架構(gòu)特點(diǎn)，選用了Chen 式蝶形算法，并設(shè)計(jì)了算法實(shí)現(xiàn)過(guò)程中遇到問(wèn)題選取的解決方 案，效率得到很大的提高。 Visual DSP 4． 5++集成了兩大部分，集成的開發(fā)環(huán)境 IDE 和調(diào)試器 DEBUG，支持 C、 C++語(yǔ)言，具有強(qiáng)大的編輯器功能、靈活的工程管理能力、編譯功能以及有效的調(diào)試控制和可視效果，支持多處理器同時(shí)調(diào)試能力。第三方軟件包括 DSP 庫(kù)、實(shí)時(shí)操作系統(tǒng)和方框圖設(shè)計(jì)工具等。 由于具有編碼效率高，差錯(cuò)恢復(fù)能力強(qiáng)等編碼特點(diǎn)，非常適合應(yīng)用在機(jī)頂盒、數(shù)字電視、視頻點(diǎn)播、實(shí)時(shí)多媒體監(jiān)控系統(tǒng)及視頻會(huì)議等低功耗實(shí)時(shí)編碼系統(tǒng)中。在 BF561 芯片外圍擴(kuò)展了 1MB 閃存 (Flash)，用于存放 MPEG4 視頻壓縮算法程序代碼和參數(shù)配置，系統(tǒng)啟動(dòng)時(shí)將從 Flash 讀出代碼和配置參數(shù)；擴(kuò)展 8MB 的同步動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)器 (SDRAM)，用于存放數(shù)據(jù)和 運(yùn)行程序。其中，輸入． yuv 文件 (像素以 YCrCb 值形式存儲(chǔ) )，輸出為． m4v 文件，即己完成編碼的文件。 9．注意處理器的 BF561 的架構(gòu)特性，進(jìn)行 C 語(yǔ)言代碼級(jí)的優(yōu)化。 2．把 PC 機(jī)上可運(yùn)行的源代碼移植 到項(xiàng)目組對(duì)應(yīng)的項(xiàng)目?jī)?nèi)。 3．把代碼放入相應(yīng)位置后，進(jìn)行調(diào)試編譯。 11．進(jìn)行匯編級(jí)代碼優(yōu)化，把關(guān)鍵代碼用 Blackfin 系列支持的代數(shù)匯編代碼 改寫。 4．在 Visual DSP4． 5++開發(fā)環(huán)境下，建立所需的工程組，按照事先對(duì)開發(fā)環(huán)境和 BF561 的理解，調(diào)整好各個(gè)函數(shù)存放的位置。同時(shí)，還可以選用數(shù)字?jǐn)z像頭直接作為視頻輸入。 4． 3 MPEG． 4 SP 編碼系統(tǒng)整體設(shè)計(jì) 本課題采用的 MPEG 4 編碼器是 Xvidcorl． 0． 2， PC 運(yùn)行的環(huán)境是 MicrosoftVisual C++6． 0 簡(jiǎn)體中文企業(yè)版【 5l】， DSP 運(yùn)行集成調(diào)試環(huán)境 Visual DSP 4． 5++，該編碼器 實(shí)現(xiàn)了 MPEG． 4 SP 視頻編碼的基本功能。符合 MPEG． 4 SP 碼流只包含矩形形狀的 IVOP、 PVOP 紋理和運(yùn)動(dòng)信息。 Visual DSP 4． 5++系統(tǒng)調(diào)試環(huán)境可以采用軟件模擬，也可以使用硬件通過(guò) JTAG 在 EZKIT 評(píng)估板上進(jìn)行試驗(yàn)，還可以通過(guò) USB 口進(jìn)行仿真調(diào)試。該算法的改進(jìn)較大程度上提高了編碼效率，為系統(tǒng)實(shí)時(shí)編碼的實(shí)現(xiàn)提供了基礎(chǔ)。而通過(guò) PSNR值的比較，可以衡量算法的搜索精度，總體而言，本文算法的精度高于 TSS 算法 O． 07dB，低于 DS 算法 O． 06dB。 注不需要重復(fù)搜索 3． 2． 4 改進(jìn)運(yùn)動(dòng)估計(jì)算法的試驗(yàn)驗(yàn)證 為比較本文算法的效果，對(duì)全搜索 (FS)、三步搜索 (TSS)、菱形搜索 (DS)以及本文算法進(jìn)行對(duì)比試驗(yàn)研究。有前面的分析可知，利用左側(cè)宏塊的運(yùn)動(dòng)向量來(lái)預(yù)測(cè)當(dāng)前宏塊，在只增加一個(gè)存儲(chǔ)量的前提下，可提高運(yùn)動(dòng)估計(jì)的搜索速度。 根據(jù)以上分析，本文使用菱形算法中的 5 個(gè)搜索點(diǎn)的小模板 SDSP，以快速準(zhǔn)確的獲得最優(yōu)匹配點(diǎn)。但是如果使用 2 撐、 3 撐，必須存儲(chǔ)前一行的宏塊向量，讀取時(shí)，需要訪問(wèn)內(nèi)存，不利于實(shí)時(shí)運(yùn)算，結(jié)合只考慮 4ifj}的 情況，預(yù)測(cè)的正確率稍有下降，但只需保存前一個(gè)宏塊的運(yùn)動(dòng)向量，僅需要一個(gè)寄存器，可以大大提高算法的實(shí)時(shí)性能。 1．起點(diǎn)預(yù)測(cè)基礎(chǔ) 現(xiàn)實(shí)世界中，運(yùn)動(dòng)物體通常具有空間完整性和運(yùn)動(dòng)連續(xù)性的特點(diǎn)，因此視頻序列中運(yùn)動(dòng)向量具有較強(qiáng)的時(shí)空相關(guān)性№】。先用 LDSP 計(jì)算，當(dāng)最小塊誤差 (MBD，Minimum Block Distortion)點(diǎn)出現(xiàn)在中心點(diǎn)處時(shí)，有 LDSP 轉(zhuǎn)為 SDSP，再進(jìn)行匹配計(jì) 算。 3．鉆石搜索法 鉆石搜索法 (DS， Diamond Search)[42】又叫菱形搜索法，以其搜索模式的形狀而得名，是一種優(yōu)秀的搜索方法，其思想是減少進(jìn)行塊匹配的搜索點(diǎn)。全搜索算法的特點(diǎn)是計(jì)算量大，性能優(yōu)越，硬件實(shí)現(xiàn)簡(jiǎn)單，但是計(jì)算量很龐大，需要很多處理資源，不適應(yīng)于實(shí)時(shí)編碼的需求。常見的匹配準(zhǔn)則有：均方誤差準(zhǔn)則 (MSE)、平均絕對(duì)誤差準(zhǔn)則 (MAE)和絕對(duì)誤差準(zhǔn)則 (SAD)。在經(jīng)典的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償中，對(duì)運(yùn)動(dòng)向量的估計(jì)主要有兩種方法 [401：塊匹配法和像素遞歸法。這樣做首先要解決的問(wèn)題是如何從序列圖像中提取有關(guān)物體運(yùn)動(dòng)的信息，這個(gè)過(guò)程稱為運(yùn)動(dòng)估計(jì) (Motion Estimation)，其表達(dá)方式是運(yùn)動(dòng)向量(Motion Vector)，運(yùn)動(dòng)估計(jì)研究的主要內(nèi)容就是如何快速、有效的獲得足夠精度的運(yùn)動(dòng)向量；而把前一幀相應(yīng)的運(yùn)動(dòng)部分信息根據(jù)運(yùn)動(dòng)向量補(bǔ)償過(guò) 來(lái)的過(guò)程稱為運(yùn)動(dòng)補(bǔ)償 (Motion Compensation)。 定義如下： 2．調(diào)整語(yǔ)句順序防止總線阻塞 BF561 每個(gè)內(nèi)核都有兩個(gè) 16 位數(shù)據(jù)地址發(fā)生器 (DAG)，每個(gè) MAC 單元都接受同一對(duì) 32 位的輸入寄存器，提供 4 種 16 位操作數(shù)的組合，形成向量操作。 Fo 的計(jì)算過(guò)程分為三個(gè)步驟，圖示中以 l， 2， 3 標(biāo)明。 參考第二章 BF561 處理器的概述。在 1977 年， Chen[32】根據(jù)變換矩陣具有對(duì)稱性，利用稀疏矩陣分解法提出了 DCT 的快速算法。一般圖像的特性是低頻分量居多，高頻分量較少，經(jīng)過(guò) DCT后，低頻系數(shù)較大，高頻系數(shù)很小 (量化后很多為 O)，這樣便于后續(xù)的統(tǒng)計(jì)編碼。 本章節(jié)主要闡述了編碼采用的 DCT 和運(yùn)動(dòng)估計(jì)算法進(jìn)行的改進(jìn)。圖 31 顯示該類編碼器結(jié)構(gòu)模型 。 2． 3 本章小結(jié) 本章主要針對(duì)課題開發(fā)的內(nèi)容，對(duì) MEEG． 4 編碼標(biāo)準(zhǔn)和 BF561 處理器開發(fā)的所需基礎(chǔ)內(nèi)容進(jìn)行闡述。另外，為了進(jìn)行事件控制，它們通常還包括可