【正文】 PSTrimedia 系列，應(yīng)用于數(shù)字電視，監(jiān)控設(shè)備，機(jī)頂盒等。 1．通用 PC 機(jī)軟件實(shí)現(xiàn) 通用 PC 的發(fā)展異常迅速，目前可以已近 1000 元買到 Intel 雙核處理器，單核主頻是 2330MHZ(參考 2021 年 3 月 24 日 Intel Core2 Duo E6550 報價 )。其最初的目標(biāo)是極低比特率的音頻／視頻編碼壓縮標(biāo)準(zhǔn)，主要適用于公共交換電話網(wǎng)絡(luò) (PSTN， Public Switched Telephone Network)上的視頻通信或移動通信網(wǎng)絡(luò)，但是隨著研究工作的深入，它所包含的內(nèi)容和將起到的作用遠(yuǎn)遠(yuǎn)超過了最初的設(shè)計(jì)思想。 MPEG． 2 的制定，充分的考慮了對 MPEG． 1 兼容，對圖像質(zhì)量和數(shù)據(jù)率的多層次需求，因此其最大的特點(diǎn)在于支持格式多、兼容性好并易于擴(kuò)展。它的視頻部分與 H． 261 及 H． 263 原理圖大致相同。從此開始，視頻編碼的技術(shù)得到迅速的發(fā)展和應(yīng)用，制定了多個視頻編碼的國際標(biāo)準(zhǔn)，即國際電信聯(lián)盟ITU— T 關(guān)于電視電話／會議電視的視頻編碼標(biāo)準(zhǔn) H26 H． 263 及 H． 264 和國際標(biāo)準(zhǔn)化組織 ISO 和國際電工委員會 IEC 關(guān)于活動圖像的編碼標(biāo)準(zhǔn) MPEG． MPEG． 2 和 MPEG預(yù)處 理將圖像分割成紋理和輪廓兩部分，對紋理可采用預(yù)測編碼和變換編碼，對輪廓則采用鏈碼方法進(jìn)行編碼，較好地保存了對人眼十分重要的邊緣輪廓信息，因此，在壓縮比很高時解碼圖像質(zhì)量仍然很好。 第二代編碼方法主要有：基于分形的編碼方法、基于模型的編碼方法、基于區(qū)域分割的編碼方法和基于神經(jīng)網(wǎng)絡(luò)的編碼方法等。 Hufman 編碼和算術(shù)編碼是兩種常見的變長碼字編碼方法。雖然變換并不對數(shù)據(jù)進(jìn)行壓縮，但經(jīng)過變換后，能量相對集中，通過后續(xù)的量化、編碼就能達(dá)到壓縮的目的。以上工作奠定了經(jīng)典信息編碼的理論基礎(chǔ)，在此基礎(chǔ)上視頻編碼理論和技術(shù)取得了長足的發(fā)展，其主要的編碼方法有：預(yù)測編碼、變換編碼和統(tǒng)計(jì)編碼，也稱為三大經(jīng)典編碼方法。 本課題設(shè)計(jì)了實(shí)時 MPEG． 4 視頻編碼系統(tǒng)，能夠?qū)崿F(xiàn) CIF 格式 (352*288)數(shù)據(jù)每秒 30 幀的處理能力，結(jié)合該系統(tǒng)功耗低、體積小、性價比突出的特點(diǎn)，在進(jìn)一步改進(jìn)的基礎(chǔ)上，具有廣闊的工程應(yīng)用前景。因此，研究有效的視頻壓縮編碼方法具有很重要的現(xiàn)實(shí)意義。 第一章緒論 1． 1 課題提出 21 世紀(jì)的人類社會將是信息化社會，數(shù)字化后的信息，尤其是數(shù)字化后的視頻信息具有海量數(shù)據(jù)性，它給信息的存儲和傳 輸造成很大的困難，己成為人類有效地獲取和使用信息的瓶頸問題之一。其次，研究了核心算法 DCT 變換和運(yùn)動估計(jì)的 優(yōu)化算法，通過分析運(yùn)動向量的分布相關(guān)性，結(jié)合提前中止準(zhǔn)則，提出了基于起點(diǎn)預(yù)測的改進(jìn)菱形運(yùn)動估計(jì)算法?；趯ο蟮木幋a思想使其具有高壓縮 比、可擴(kuò)展性、可交互性等許多特點(diǎn)。 本科畢業(yè)設(shè) 計(jì)（ 論 文） 題 目 MPEG4視頻編程技術(shù)研究 部 系 地方生部 專 業(yè) 電子信息工程 中國人民解放軍海軍航空工程學(xué)院 摘 要 視頻編碼是多媒體通信中的核心技術(shù)，它不但關(guān)系到通信帶寬，也關(guān)系到通信過程中的圖像質(zhì)量。 ADI 公司的Blacfin 系列的 DSP 在圖像處理方面有其出色的表現(xiàn)和較低的價格而獲得關(guān)注。另外根據(jù) BF561 雙核的特點(diǎn)，設(shè)計(jì)了一種基于宏塊層并 行算法。 1895 年電影的誕生第一次將視頻信號帶給了人類社會，隨著電視的發(fā)明和普及，視頻信號走進(jìn)了千家萬戶。 視頻壓縮編碼技術(shù)是多媒體應(yīng)用的核心技術(shù)，對視頻編碼的研究已成為信息技術(shù)領(lǐng)域的研究重點(diǎn)，并制定了一系列的視頻標(biāo)準(zhǔn)。 1． 2 數(shù)字視頻編碼發(fā)展歷程 12． 1 編碼方法的發(fā)展 第一代編碼方法。其中預(yù)測編碼的基本思想是：根據(jù)數(shù)據(jù)的統(tǒng)計(jì)特性得到預(yù)測值，然后傳輸圖像像素與其預(yù)測值的殘值信號，使傳輸?shù)拇a率降低，達(dá)到壓縮的目的。變換編碼方法中的離散余弦變換 (DCT， Discrete CosineTransform)和小波變換在視頻／圖像壓縮中得到了廣泛應(yīng)用。 第一代編碼技術(shù)【 3】只是以信息論和數(shù)字信號處理技術(shù)為理論基礎(chǔ)，旨在去除圖像數(shù)據(jù)中的線性相關(guān)性，其壓縮比不是很高，對于視頻圖像來講一般在40： 1 左右。分形編碼是一種不對稱的編碼技術(shù)，適于自相似性較強(qiáng)的自然景物圖像。神經(jīng)網(wǎng)絡(luò)法是模仿人腦處理問題的方法，通過各種人工神經(jīng)元網(wǎng)絡(luò)模型對數(shù)據(jù)進(jìn)行非線性壓縮，目前還處在探索階段。 4 等。然而， MPEG． 1 主要是針對存儲媒體的視頻編碼標(biāo)準(zhǔn)，而 H． 261和 H． 263 主要是針對傳輸?shù)囊曨l編碼標(biāo)準(zhǔn)，故 MPEG． 1 在顧及圖像質(zhì)量、壓縮比的同時還要考慮對序列圖像進(jìn)行隨機(jī)訪問和編輯的方便， MPEG． 1 在充分參考 H． 261 以及 JPEG 的基礎(chǔ)上，加入了雙向預(yù)測幀 B 幀，從而提高了壓縮比。 MPEG． 2 不僅支持幀編碼而且支持場編碼；不僅支持 MPEG． 1 比特流，而且支持更高時域和空域分辨率。 MPEG4 目的是尋求支持?jǐn)?shù)字音頻／視頻數(shù)據(jù)通信、存取和管理的新途徑，它為多媒體數(shù)據(jù)編碼提供了一個更為廣闊的平臺，它更多定 義的是一種格式和框架，而不是具體的算法，以支持各種各樣新穎的和高效的功能。該方案的優(yōu)點(diǎn)是通用 PC 系統(tǒng)的主頻性價比非常高， 并且擁有最豐富的軟件工具。其缺點(diǎn)是成本高，功耗較大，不適應(yīng)于小型設(shè)備的開發(fā)。處理器支持眾多的多媒體接口，利用系統(tǒng)的擴(kuò)展和商業(yè)應(yīng)用。這一產(chǎn)品專為通信和互聯(lián)網(wǎng)應(yīng)用而設(shè)計(jì)，能處理互聯(lián)網(wǎng)的大量的 圖像、聲音、文本等數(shù)據(jù)流。 針對這一目標(biāo)，本課題首先深 入研究了 MPEG． 4 視頻壓縮標(biāo)準(zhǔn)。移植到 DSP 上后，根據(jù) DSP 的特點(diǎn)，對代碼進(jìn)行優(yōu)化，以達(dá)到系統(tǒng)設(shè)計(jì)要求。 第三章是本論文的重點(diǎn)章節(jié)，重點(diǎn)研究了影響編碼效率的關(guān)鍵算法改進(jìn)。 第五章討論了編碼器的優(yōu)化問題。 第二章 MPEG． 4 視頻編碼技術(shù)和雙核 DSP561 開發(fā)基礎(chǔ) 課題選用了 BF561 進(jìn)行 MPEG． 4 視頻編碼技術(shù)進(jìn)行研究與開發(fā)。 2． 1 MPGE4 標(biāo)準(zhǔn)開發(fā)基礎(chǔ) 2． 1． 1 發(fā)展簡況 ISO 于 1991 年 5 月提出關(guān)于視頻音頻編碼的 MPEG4 項(xiàng)目，設(shè)有系統(tǒng)、音頻、視頻、需求、實(shí)現(xiàn)研究、測試及自然合成混合編碼等幾個小組。 隨著研究工作的進(jìn)一步深入， MPEG． 4 逐漸發(fā)展為一個功能 強(qiáng)大的多媒體編碼標(biāo)準(zhǔn)，它不僅僅是一個低碼率的音像編碼標(biāo)準(zhǔn)，其編碼速率己擴(kuò)展到涵蓋從64Kbps 到 10Mbps 的范圍。 2．具有用合成文本 (Script)組合成的混合媒體對象來產(chǎn)生多媒體信息表現(xiàn) 的能力。 6．具有在接收端與視聽場景進(jìn)行交互的能力。 3．未充分利用人類視覺系統(tǒng) (HVS， Human Visual System)的特性。在 MPEG4 中所見的視音頻己不再是過去 MPEGl、 MPEG． 2 中圖像幀的概念，而是一個個視聽 場景 (AV 場景 )，這些不同的 AV 場景由 不同的 AV 對象組成。 AV 對象的提出，使多媒體通信具有高度交互及高效編碼的能力， AV 對象編碼就是 MPEG4 的核心編碼技術(shù)。】，以適應(yīng)于不同領(lǐng)域的編碼需求。結(jié)合目前圖像分割技術(shù)的不完善，本文僅僅研究基于矩形編碼類的框架。 2． 1． 4 MPEG． 4 SP 框架的關(guān)鍵技術(shù)分析 MPEG4 是 MPEG 系列的最新發(fā)展，其借鑒了其他視頻標(biāo)準(zhǔn)的優(yōu)秀算法，并在其基礎(chǔ)上進(jìn)行了一系列的改進(jìn)。 IVOP 是獨(dú)立壓縮編碼的，不需要其他 VOP作 為參考。為了減少編碼誤差，所使用的預(yù)測參考幀不是那幀圖像的原始圖像，而是該幀的重構(gòu)幀。運(yùn)動估計(jì)補(bǔ)償模塊是編碼標(biāo)準(zhǔn)的關(guān)鍵算法：其很大程度上決定編碼的效率。本課題對其進(jìn)行了細(xì)致的研究，并進(jìn)行了較大的改進(jìn)，詳細(xì)論述見章節(jié)3． 2。砌通過填充技術(shù)，針對邊界處的宏塊，根據(jù)搜索窗口的大小，等值擴(kuò)充邊界，提高搜索精度。 (1)再同步機(jī)制類似 MPEG2 的 slice 層語法提供的功能。視頻包中含有重新開始解碼過程所必要的信息。首先將數(shù)據(jù)分區(qū)為紋理信息和運(yùn)動信息兩部分，中間插一個標(biāo)志位“ motion marker”。實(shí)際使用時可將兩種方式結(jié)合起來。 Blackfin DSP 將一個雙 MAC(乘法累加 )16 位 DSP 引擎的處理能力與一個巧妙的正交微處理器精簡指令集的優(yōu)勢結(jié)合在一起，為開發(fā)人員提供一個單指令集的編程環(huán)境，同時消除了在雙處理器系統(tǒng)中與多器件相關(guān)的附加復(fù)雜性。 ADSP． BF561 具有三個 DMA(Direct MemoryAccess)控制器，包括 DMAl控制器、 DMA2控制器和 IMDMA(Internal Memory Direct Memory Access)控制器。其中PPI 是用來接入視頻信號的并行接口，具有 CCIR656 和 GP PPI 兩種模式；而SPOIm則支持音頻接入和輸出。 L1 存儲器系統(tǒng)是 ADSP． BF561 內(nèi)核所用的性能最高的存儲器。它能在內(nèi)部 L1／ L2 存儲器和外部存儲空間 (包括 PCI 存儲空間 )之間，提供代碼或數(shù)據(jù)塊的傳輸功能。 2． 64KB 數(shù)據(jù)存儲器，包括 32KB 數(shù)據(jù) SRAM 和 32103 數(shù)據(jù) Cache／ SRAM，可以以全處理器速度進(jìn)行讀寫。 3． 4KB 的數(shù)據(jù)便簽 SRAM，和 L1 存儲器運(yùn)行在同一速度上，但只能作為數(shù)據(jù) SRAM 訪問，不能作為高速緩沖存儲器。 L1 內(nèi)存直接連接到內(nèi)核并且以全系統(tǒng)時鐘速度工作。 L1 內(nèi)存結(jié)構(gòu)能提供數(shù)字信號處理所需要的性能以及便于微控制器的編程訪問。 OS 核心在監(jiān)控方式運(yùn)行，并且為了實(shí)際應(yīng)用軟件在用戶方式下運(yùn)行，將內(nèi)存單元和其它系統(tǒng)資源分開。采用 專門調(diào)整的靈活的高密度編碼的指令，這些指令被編譯后只占用非常小的存儲空間。并行指令允許對兩個單元同時讀或者一個讀一個寫，但是不支持兩個存儲單元同時寫。 同時 Blackfin 提供了較多的向量操作指令和多媒體操作指令，這些指令對地址的訪問都有限定。有 DMA 傳輸能力的外設(shè)包括 SPORT、 SPI 端口、UART 和 PPI 端口。此外，動態(tài)功率管理有動態(tài)地改變處理器內(nèi)核供電電壓的控制功能，進(jìn)一步降低功耗。 2． 2． 6 選用 BF561 的依據(jù) 在一個復(fù)雜的多媒體處理系統(tǒng)當(dāng)中，通常有兩個顯著的需求。 二是多媒體處理過程當(dāng)中，勢必存在大量的待處理的信息，這就對系統(tǒng)的處理器提出了具有較高信息處理能力的要求。 另外， BF561 具有出色的功耗控制能力，適用于便攜式編碼系統(tǒng)開發(fā)使用，切合本課題開發(fā)的目標(biāo)。首先，簡要介紹了 MPEG． 4 發(fā)展簡況和其核心思想；然后，重點(diǎn)分析了其編碼框架分類和應(yīng)用范圍，論述了本課題選取 SP 框架的原因，并在第四小節(jié) 對 SP 框架的關(guān)鍵技術(shù)進(jìn)行分析，為后續(xù)章節(jié)的代碼開發(fā)部分進(jìn)行知識鋪墊。 第三章關(guān)鍵算法研究與改進(jìn) 視頻編碼的首要目標(biāo)就是壓縮數(shù)據(jù)量。因此，在視頻壓縮算法中，主要利用時域編碼模塊和空域編碼模塊消除時空冗余度。根據(jù)在通用 PC 上，對編碼代碼進(jìn)行簡單的統(tǒng)計(jì)，DCT／ IDCT 運(yùn)算時間占總運(yùn)算時間的 23％，運(yùn)動估計(jì)占 56％，其他的占 21％。 3． 1 DCT 算法 在數(shù)字視頻壓縮中，最常用的變換方法是 DCT[291， DCT 常被認(rèn)為是對自然場景圖像信號進(jìn)行變換的次優(yōu)選擇，其變換特性接近 K ． L 變換(Karhunen． LoeveTransform)[30】。 3．變換算法具有很強(qiáng)的對稱性，能夠有效的利用處理器架構(gòu)，實(shí)現(xiàn)快速算法，適應(yīng)于實(shí)時編碼。而一幀格式為 4： 2： O大 小為 CIF(352*288)的圖像一共有 2376 個 8*8 的宏塊，需要的運(yùn)算量極大，難以實(shí)時處理。 3． 1． 2 DOT 算法的改進(jìn) 常規(guī)的 DCT 算法使用了到大量的乘法和加法，因此， DCT 快速算 法都是以減少乘法和加法的運(yùn)算次數(shù)為目的【 3l】。 2021 年， Trac． D． Tran[34】提出了一種移位的近似算法，不需要乘法。因此，選擇DCT 快速算法時，需要根據(jù)所用處理器的不同特點(diǎn)來考慮。每個 MAC 可以在一個內(nèi)核指令周期內(nèi)，完成依次定點(diǎn)乘法或者乘法．累加操作。艫 f7：輸入的原始數(shù)據(jù)碩 Ij 學(xué)位論文 第三章提商編碼效率關(guān)鍵算法研究‘ j 分析 Fo～ F7： DCT 變換后的數(shù)。 步驟 l： go=(fo+f7)／ 2； 步驟 2： ho=(go+93)／ 2； 步驟 3： ko=(1lo 奉 cos(n／ 4)+h1)／ 2。因此，采用 BF561 內(nèi)建的 16 位 定點(diǎn)小數(shù)類型 fractl6 來表示浮點(diǎn)數(shù)。因此，在編碼時，合理設(shè)計(jì)流程，使得硬件資源得到充分的利用。前后兩帔存存很強(qiáng)的時怕 l 相關(guān)性 。圖中的運(yùn)動估計(jì)模塊就是根據(jù)一定的匹配原則，從一個或多個參考幀中，尋找與當(dāng)前幀盡可能匹配的幀。最佳的壓縮效果就是這些經(jīng)過編碼的殘差和額外的信息是最小的時候。每個像素都有一個運(yùn)動向