【正文】 EG4 是一個完整的多媒體應用框架【 l 51，設計的范圍非常廣泛，視頻編 碼僅僅是其中的一部分，而且涉及到編碼部分就包含自然景物、三維圖像等領域。 2．運動估計補償技術 運動估計補償技術 n71 其主要目的是除去視頻序列的時域相關性，其基本的原理這里不進行敘述。如果當前視頻包中比特數超過一個預定的門限時，在下一個宏 塊的丌始處就創(chuàng)建一個新包。 2． 2． 1 BF561 整體結構 ADSP． BF561 包含兩個 BlaekfinDSP 核【 221，每個 Blackfin 核的最高工作頻率可達 600MHz，具有各自獨立的 L1 指令存儲單元、 L1 數據存儲單元、內存控制單元 (MMU， Memory Manage Unit)和中斷控制單元，并共享 128K 字節(jié) L2存儲單元。對于 16KB 的可配置成 SRAM 或 Cache 的單元，通過 L1 指令存儲控制寄存器 IMEM CONTROL 的控制位進行配置。 內存管理單元 (MMU)能提供內存保護，當內核工作在用戶方式和監(jiān)控方式時，內存保護支持全部 OS 核心。 DMA 傳輸可以發(fā)生在 BF561 的內部存儲器與任一有 DMA 能力的外設之間，此外， DMA 傳輸也可以在任一有DMA 能力的外設和已連接到外部存儲器接口的外部設備之間完成 (包括 SDRAM控制器、異步存儲器控制器 )。同時，它是包含兩個內核的 DSP 處理器，具有全面的 DMA 能力，所以很適合數據量較大的應用。 因此， DCT 和運動估計在視頻編碼中起到關鍵作用，同時也是視頻編碼算法中，計算量最大的兩大模塊。即先沿圖像每 一列 進行一維 DCT，得到： 在沿 F(u， Y)的每一行進行第二次一維 DCT，得到： 二維的 DCT 變換就轉變成一維 DCT 變換，為 DCT 快速算法的實現提供了基礎。 Chen 氏算法模型參考圖 3． 2 所示蝶形算法示意圖。 3． 2 運動估計算法的改進 3． 2． 1 運動估計和運動補償的基本原理 運動圖像在多數情況下只是其中的很少一部分圖像在運動，同一場景相鄰的 兩幅視頻幀之間在內容上的差異不會太大，或者說后一幀的內容與前一幀的重復 部分很多，圖 33 所示。在具有運動補償的幀間預測編碼系統(tǒng)中，經常采用塊匹配法。 TSS 算法的缺陷在于其基于塊均方誤差是隨著搜索位置偏離全局最小點而單調增加的，但這個假設對于顯示視頻 序列不一定總是成立。 因此， DS 算法有待改進。 3 范圍內的分布情況。否則，利用 5 個搜索點的小模板 SDSP，比較五個點的 SAD 值，比較各點 SAD 值，如果中心點 SAD 值最小，則對應點為最佳匹配點，搜索結束，轉入 (8)。 3． 3 本章小結 本章重點闡述了視頻編碼算法中最關鍵的 DCT 和運動估計兩個模塊算法的改進。硬件工具包括 ADSP． BF561 EZ． Kit開發(fā)插件。視頻編碼器以美國 ADI 公司的 Blackfin 系列 DSP 處理器 BF561 為處理核心。 8．利用 Visual DSP4． 5++提供的統(tǒng)計窗 VI，調整 LDF 文件【 52】中，各級存儲器配置的大小和規(guī)模，重新設置 L1 存儲空間 SRAM 和 Cache 的大小；調整項目組相應項目內，相應變量的位置和存放的位置。根據編譯器出錯提示，進行代碼修改。 5．進過重復的編譯． 修改． 調試等過程，建立可運行于 DSP 的視頻編碼程序。編碼原理框架如圖 4． 1。 Visual DSP4． 5++調試器有很多重要的特性：靈活的繪圖功能使數據顯示更加清楚，這種用圖形表示的用戶數據使編 程者可以快速地確定算法的性能?？梢哉f，搜索精度基本和 DS 算法相當。本算法將當前宏塊的運動向量預測值設定為左側宏塊的運動向量，即V． jre=V_1eR。 所以，綜合考慮計算復雜度和預測精度，本算法選用甜，即左側宏塊來預測當前塊的運動向量，即 V =，在結合運動向量分布的中心偏置特性， _pre V left將 (0， 0)點和 V pre 對應點作為預測的起始搜索點。這是 5 個點中的 MBD 即為最優(yōu)匹配點，否則，以 LDSP 的 9 個搜索點的 MBD 為中心點，仍用 LDSP 重復計算。因此其更多做為評價搜索方法性能指標的參考。 像素遞歸法是根據像素間亮度的變化和梯度，通過遞歸修 J 下的方法來估計每個像素的運動向量。這樣在一個內核周期內，處理器能夠完成兩對 1616 并把結果累加到 40 位寄存器種。 BF561 每個內核都含有兩個乘法一累加器： MAC0， MACl。 在 DCT 變換中，對于一個 8*8 塊，每個像素有 64 次乘法和 63 次加法，整個塊則需要 4096次乘法和 4032次加法。 由于未壓縮的視頻數據，存在大量的空間冗余和時間冗余。而包含這些外圍設備的正是微信號系統(tǒng)控制器 (MCU)。第一步從 SRAM 中開始取指令，第二步取出指令后完成指令的排列，第三步開始指令的解碼和讀取寄存器地址，第四步數據地址的計算或轉移地址的獲得，第五步從數據寄存器里讀取數據，第六步完成讀取數據并進行雙乘法／累加器計算操作，第七步執(zhí)行單周期指令，最后一步將數據和指針傳遞給相應寄存器。對于大程序和數據的傳輸，外部存儲器能通過 DMA 直接載入 L2 內存。存儲器 DMA 控制器提供高帶寬的數據傳輸能力。作為一種尖端的信號處理器， Blackfin 系列 DSP 的體系架構特別適合于完成視頻、音頻和數據通信的數字信號處理，同時還提供強大的控制能力。 3．容錯性 由于 MPEG4 的應用范圍很廣，為了有效的消除錯誤的影響， MPEG4 提供了三種錯誤恢復工具：再同步、數據恢復和錯誤掩蓋與刷新啪 3。利用前一幀編碼的 I— VOP 或者 PVOP 做幀間預測編碼。 2． 1． 3 MPEG． 4 的框架及應用場合 MPEG． 4 的應用領域非常廣泛，即可以用于高質量的數字電視，也可以用于極低碼率的無線多媒體通信，還可以進行交互式處理，為了適應各種 應用對編碼特性的需求，同時滿足編碼結構的清晰， MPEG4 設計了各種層次的框架(Profile)結構【168。 5．具有在網絡信道所提供的適合于特有對象性質的業(yè)務質量下實現音視頻對象同步與復用的能力。 第六章對全文進行總結，并對下一步工作進行展望。綜合考慮各種成熟的設計方案后，選用 ADSP． BF561 進行 MPEG． 4 實時編碼系統(tǒng)的開發(fā)，系統(tǒng)的設計目標是達到 CIF 格式 (352*288)YUV 數據每秒 30幀的處理能力。 1．通用 PC 機軟件實現 通用 PC 的發(fā)展異常迅速，目前可以已近 1000 元買到 Intel 雙核處理器，單核主頻是 2330MHZ(參考 2021 年 3 月 24 日 Intel Core2 Duo E6550 報價 )。從此開始，視頻編碼的技術得到迅速的發(fā)展和應用，制定了多個視頻編碼的國際標準，即國際電信聯(lián)盟ITU— T 關于電視電話／會議電視的視頻編碼標準 H26 H． 263 及 H． 264 和國際標準化組織 ISO 和國際電工委員會 IEC 關于活動圖像的編碼標準 MPEG． MPEG． 2 和 MPEG雖然變換并不對數據進行壓縮，但經過變換后，能量相對集中，通過后續(xù)的量化、編碼就能達到壓縮的目的。 第一章緒論 1． 1 課題提出 21 世紀的人類社會將是信息化社會，數字化后的信息，尤其是數字化后的視頻信息具有海量數據性，它給信息的存儲和傳 輸造成很大的困難，己成為人類有效地獲取和使用信息的瓶頸問題之一。 ADI 公司的Blacfin 系列的 DSP 在圖像處理方面有其出色的表現和較低的價格而獲得關注。 1． 2 數字視頻編碼發(fā)展歷程 12． 1 編碼方法的發(fā)展 第一代編碼方法。分形編碼是一種不對稱的編碼技術，適于自相似性較強的自然景物圖像。 MPEG． 2 不僅支持幀編碼而且支持場編碼；不僅支持 MPEG． 1 比特流，而且支持更高時域和空域分辨率。處理器支持眾多的多媒體接口，利用系統(tǒng)的擴展和商業(yè)應用。 第三章是本論文的重點章節(jié)，重點研究了影響編碼效率的關鍵算法改進。 隨著研究工作的進一步深入， MPEG． 4 逐漸發(fā)展為一個功能 強大的多媒體編碼標準，它不僅僅是一個低碼率的音像編碼標準，其編碼速率己擴展到涵蓋從64Kbps 到 10Mbps 的范圍。在 MPEG4 中所見的視音頻己不再是過去 MPEGl、 MPEG． 2 中圖像幀的概念，而是一個個視聽 場景 (AV 場景 )，這些不同的 AV 場景由 不同的 AV 對象組成。 2． 1． 4 MPEG． 4 SP 框架的關鍵技術分析 MPEG4 是 MPEG 系列的最新發(fā)展，其借鑒了其他視頻標準的優(yōu)秀算法，并在其基礎上進行了一系列的改進。本課題對其進行了細致的研究，并進行了較大的改進，詳細論述見章節(jié)3． 2。首先將數據分區(qū)為紋理信息和運動信息兩部分，中間插一個標志位“ motion marker”。其中PPI 是用來接入視頻信號的并行接口，具有 CCIR656 和 GP PPI 兩種模式；而SPOIm則支持音頻接入和輸出。 3． 4KB 的數據便簽 SRAM，和 L1 存儲器運行在同一速度上，但只能作為數據 SRAM 訪問，不能作為高速緩沖存儲器。采用 專門調整的靈活的高密度編碼的指令，這些指令被編譯后只占用非常小的存儲空間。此外，動態(tài)功率管理有動態(tài)地改變處理器內核供電電壓的控制功能，進一步降低功耗。首先，簡要介紹了 MPEG． 4 發(fā)展簡況和其核心思想；然后，重點分析了其編碼框架分類和應用范圍，論述了本課題選取 SP 框架的原因，并在第四小節(jié) 對 SP 框架的關鍵技術進行分析，為后續(xù)章節(jié)的代碼開發(fā)部分進行知識鋪墊。 3． 1 DCT 算法 在數字視頻壓縮中，最常用的變換方法是 DCT[291， DCT 常被認為是對自然場景圖像信號進行變換的次優(yōu)選擇，其變換特性接近 K ． L 變換(Karhunen． LoeveTransform)[30】。 2021 年， Trac． D． Tran[34】提出了一種移位的近似算法，不需要乘法。 步驟 l： go=(fo+f7)／ 2； 步驟 2： ho=(go+93)／ 2； 步驟 3： ko=(1lo 奉 cos(n／ 4)+h1)／ 2。圖中的運動估計模塊就是根據一定的匹配原則，從一個或多個參考幀中，尋找與當前幀盡可能匹配的幀。所以，選用 SAD 作為匹配準則【 4168。鉆石搜索法采用了兩種搜索模式，如圖 3． 4 所示。根據處理順序中在圖3． 7 所示的時間相鄰塊 (1)空 間相鄰塊 (2jfj}， 3 存， 4jfj}) 2．起點預測宏塊 根據視頻序列相關性，有理由認為“相鄰塊的運動向量和當 Ij{『塊的運動向量存在很大的相關性，可以通過其預測當前塊的運動向量”【 47】。 如果最小 SAD(Sum of Absolute Differences)小于閥值，則停止搜索。選取的測試序列 Hall Monitor、 Football、 Mobile，圖像格式為 CIF(352*288)。首先，在 PC 機上完成純 C 語言的 MPEG． 4 編碼器的軟件版本，實現編碼功能。仍然在 1616 的宏塊基礎上進行幀間幀內編碼。在開發(fā)板上還外擴了 Audio Codec AK4550，作為音頻采集回放，以備添加音頻編碼設備，它通過同步串口接口 (SPORT)與 BF561 連接。 4． 4 軟件移植 移植前代碼是針對通用 PC 機的，不適用 BF561，因此需要針對 BF561 的特點，調整代碼，使其能夠在 DSP 上面運行，從而移植到 DSP 上，為后面代碼的優(yōu)化奠定基礎【 53】。在項目組下，建立 corea、 coreb、 sml2 和 sml3 四個子項目。 總體的開發(fā)流程如下： 1．在 VC 6． 0 建立一個工程“ encode． PC”，以 Xvidcorl． 0． 2 的源代碼為基礎，建立軟件編碼器。外部宏塊的運動向量可有單一運動向量和 4 運動向量兩種表示方法，其中運動向量具有半像素精度，并可指向參考幀界外 (無限制運動向量 )。然后，利用 ADI 公司提供的集成調試環(huán)境 Visual DSP 4． 5++進行 DSP 上后續(xù)開發(fā)，直到實現預定的編碼目標。使用 MPEG 4 Xvidzorl． 0． 2 編碼器，采用最小 SAD匹配準則，搜索區(qū)域均為 1515。 基于預測的改進菱形運動估計算法描述如下： (1)選擇提前中止閥值。 試驗以全搜索匹配方式得到正確的運動向量，結果是對 15 個標準測試序列統(tǒng)計結果的平均值，實驗時對各序列第 1． 100 幀做統(tǒng)計，時間采樣率為 3，順序為 IP． P。該模式包括圍繞中心點的 8 個點，總計 9 個點，從而形成一個大鉆石形。搜索的策略很大程度決定搜索的效率，經過前人的研究，確定了一系列有效的搜索方式。同時經過編碼后的殘差經過解碼后，與參考幀相加后又重構回來，但是由于存在精度的誤差，這個重構幀和先前編碼的幀有所不同重構的幀，會被存儲著用來作為下面預測所需要的參考幀。 實現該算法的過程中，需要注意的兩個問題【 39】： 1．浮點小數運算改成定點小數運算 該算法能夠把 1 次