【文章內容簡介】 運算量也龐大，要想在實時方面得到很好的應用，就必須要考慮用硬件來實現。 運動估計，一種幀間編碼方法。由于兩幀圖像間相隔的時間很短，因此存在很大的相似性，運動 估計就是利用了這個相似性，減少時間的冗余度，這個時間的多少取決于運動估計算法的好壞，所以它是視頻編碼中的一個關鍵技術，視頻的壓縮比完全體現在這里。 FPGA，一種大規(guī)模的可編程器件 【 8】 ，有著邏輯單元靈活、集成度高，開發(fā)周期短、開發(fā)工具先進、制造成本低等特點，因此被廣泛的應用于各種設計之中。它對執(zhí)行運算量龐大，但原理簡單，運算工整的算法，有著自己獨特的優(yōu)勢，因為它的內部有大量的觸發(fā)器和 I/O引腳，擁有強大的并行計算能力。 中的加法和位移，原理簡單，運算工整，使得它能在 FPGA 中能夠高效并行進行，大大 縮短了處理時間，提高了系統(tǒng)的實時性。因此，深入研究 視頻編碼核心算法中的運動估計硬件實現結構是一件值得做的工作。 西安理工大學碩士學位論文 2 國內外研究現狀 隨著各種視頻編碼技術的快速發(fā)展，與之相對應的硬件視頻編碼器也陸續(xù)出現，各自有一定的優(yōu)缺點。為了促進 ，國內外在優(yōu)化 算法各個模塊的同時，提出了很多像三步搜索法、鉆石搜索法、 混合非對稱十字多六邊形格點 搜索 等 算法，這些算法降低了計算復雜度，減小了運算量，效果也不錯，也提出了現在最常用的匹配準則： SAD 準則，大大降低了 計算復雜度。 ASIC 是早期視頻編碼方案采取的主要芯片，眾所周知， ASIC 是 固化了特定功能的芯片 ，不可編程， 從設計到使用需要很長時間 ，產品一旦做出來就不允許再更改，導致它跟不上視頻編碼技術的發(fā)展，因此出現了其他方案，并替代了該方案。大多數的視視頻編碼設計方案，伴隨著 DSP技術的飛速發(fā)展，都相繼轉向了 DSP 平臺。新一代高性能 DSP 芯片的陸續(xù)推出，并成為了現今視頻編碼設計方案的主流。主要有 EQUATOR 的 BSP1 Sigma Design 公司的 EM86XX【 9】 和 Davinci平臺、 ADI Blackfin【 10】 處理器和 Philip 公司的 TriMedia 系列及新品 PNX1500 【 11】 以及 TI的 DM642 DSP 等。這些產品的設計都利用了 DSP 高性能的數字信號處理能力，同時 DSP成本低，功耗也低，因此廣受歡迎。加拿大 UB Video 公司制作的一套基于 TMS320C64x系列 DSP 芯片的 實時視頻通信系統(tǒng)，可以在 +的 1/20 倍的碼率情況下，獲得相同的圖像質量 【 12】 。 隨著人們需求的提高，編碼技術在飛速的發(fā)展，視頻編碼的算法越來越復雜，控制也越來越難，需要更高性能的硬件結構。僅僅靠 DSP 芯片來完成運算量龐大的 視頻編碼算法已沒有一點優(yōu)勢可言，雖然 DSP芯片擁有強大的數字信號處理能力，但無法完成復雜的控制操作。在市場的壓力下，大多數視頻編碼公司逐步轉向 DSP+FPGA 或者 DSP+ARM【 13】的設計方案。在 DSP+ARM 的方案中，控制部分由 ARM 完成， DSP 處理算法，軟硬協(xié)同處理。在 DSP+FPGA 的方案中，控制部分交給 FPGA 完成，也是由 DSP 來完成算法的處理。 Nios II軟核技術 【 14】 的發(fā)展使得 SOPC 的應用逐漸成熟，用 FPGA 來實現軟硬協(xié)同工作也不再是難事。 上述的兩種方 案有一個共同點，就是算法部分都由 DSP 芯片來完成，不同的是一個控制部分由 ARM 完成，一個控制部分由 FPGA 來完成。隨著流水線技術在 DSP 芯片中的應用，使得其性能有了進一步的提升，但對實時性要求很高的應用，計算速度有限的中低端 DSP芯片已無用武之地。高端的 DSP，雖然能夠滿足要求很高的實時應用的需求，但這樣做又顯得成本太高，使得整個設計投入過大，投入市場收益甚微。 FPGA 作為一種新型的邏輯器件，擁有強大的并行運行能力和很高的計算速度。 視頻編碼的算法簡單，運算工整，很適合利用 FPGA 來完成它的設計。大 規(guī)模 FPGA 的出現，使得在 FPGA 上實現 視頻編碼的全部算法和控制成為了可能。已經有很多公司和研究所在從事基于 PFGA 的 視頻編碼器的設計。由 Altera 和 Xilinx Altera 公司開發(fā)的基于大規(guī)模 FPGA 的視頻處理套件很早就已經在市場上出售。經過近 3 年的努力， JointWave 公司在 2020 年 3前言 3 月完成了 Main Profile Encoder 的純 verilog 語言的設計，并且 FPGA 驗證順利通過，通過封裝和處理已在全球發(fā)行。它是第一款，也是現在業(yè)內水平遙遙領先的 Main Profile Level 級別的純硬件編碼器。 視頻編碼技術雖然在迅速發(fā)展，但是采用 FPGA 設計的編碼器卻發(fā)展緩慢，我國還處在起步階段。為了滿足人們在日常生活和工作中對實時通信和娛樂的需求，大力發(fā)展 基于 FPGA 的視頻編碼器的設計與實現，將會贏得很大的市場。這將極大的改善實時通信，滿足人們的需求。 論文的主要研究內容和章節(jié)安排 主要研究內容 運動估計是視頻編碼中運算量最大，但同時也是最關鍵的部分，它對視頻壓縮的性能起著決定性的作用。采用 FPGA 強大的 并行能力來完成強大的運算量，改善 視頻編碼的實時性，是一個很有意義的設計。本文主要研究了運動估計算法，在已有的運動估計硬件實現的基礎上，通過揚長避短，提出了本文的數據流，根據數據流的特點給出了相應的硬件結構，通過數據流的串行輸入、最終結果的并行輸出，大大減小了 I/O 帶寬， PE的利用率也一直保持在 100%，充分利用了硬件資源。 最后利用 FPGA 的分塊設計思想，先詳細的劃分了全搜索運動估計算法的各個功能子模塊 ，使用硬件描述語言 Verilog HDL完成了各個模塊的代碼編寫并進行了功能仿真，然后把各個模 塊綜合在一起進行了功能仿真。最后在 Altera 公司的 FPGA 開發(fā)板上進行了驗證。 論文的章節(jié)安排 全文共六章，各章節(jié)內容如下： 第一章 首先介紹了研究的目的和意義，國內外的研究和發(fā)展現狀，最后介紹了本文的主要研究內容及章節(jié)安排。 第二章 介紹了運動估計的概念和塊匹配運動估計的原理，詳細介紹了塊匹配運動估計中的幾項重要技術指標以及它們對運動估計效果的影響，對 全搜索算法（ FS）和幾種常用的效果不錯的快速搜索算法 在匹配速度、運算量、匹配效果、硬件實現起來的難易程度等方面進行了對比分析。 第三章 對全搜 索算法已有的兩種脈動處理結構： 1D 和 2D，進行了詳細的分析，通過比較它們各自的優(yōu)點和存在的弊端，取長補短，為后面的設計奠定一定的基礎。最后簡要的介紹了一下樹形結構，分析了它的工作原理，并指出了其存在的嚴重不足。 第四章 介紹了 VLSI 的設計流程和方法，確定了本文設計中的運動估計算法和參數指標。通過對前一章兩種脈動結構的揚長補短，同時充分利用參考幀中相鄰當前塊匹配區(qū)西安理工大學碩士學位論文 4 域數據的交疊，給出了一種本文的數據流，根據數據流的特點映射出相應的 2D 脈動結構，大大減小了 I/O 帶寬。 第五章 將整個運動估 計模塊劃分為一個個功能子模塊，然后使用硬件描述語言 Verilog HDL 完成了各個子模塊的代碼編寫并進行了功能仿真。子模塊仿真通過后，把所有模塊綜合起來，進行了仿真。通過分析仿真數據，證明了本文設計的全搜索運動估計模塊能夠正常工作，并且能夠實現全搜索算法的功能，輸出正確的運動矢量。 第六章 總結與展望，總結了本文完成的主要工作，指出了其中存在的不足之處，為以后的研究指明了方向。 運動估計及經典算法 5 2 運動估計算法的介紹 運動估計是視頻壓縮編碼技術中一個相當重要的組成部分。它能夠降低相鄰幀間存在的大量時間冗余， 提高了視頻壓縮比。運動估計的效果好壞決定了視頻編碼器的性能。運動估計占用了整個編碼時間的 70%左右，所以運動估計算法的復雜度直接決定了視頻編碼器的性能和效率。 中 運動估計算法采用塊匹配算法，該算法最簡單，效果也相當不錯，促進了實時實現的可行性，因此它成為目前最常用的方法，國際視頻編碼標準也采用塊匹配算法。 標準概述 ， 一個視頻壓縮編解碼的標準 ，雖然它的編碼技術簡單，卻達到了增強壓縮性能，提高了網絡傳輸（ workfriendly）的能力，以滿足日益增長的“對話型”（ 視頻電話，會議等）和“非對話型”（視頻存儲、廣播以及流媒體等）視頻應用的需求。 是在 基礎上提出來的，保留了 MPEG4等以往標準的優(yōu)點，并沿用了 MCDCT，同時增加了 CAVLC 等新技術的應用，使得壓縮效率更高，同時也提高了視頻質量。其主要優(yōu)點【 15】 有以下幾點 : (l)更高的編碼效率。在大多數的碼率下，與以前的標準相比，當獲得等同的視頻質量時， 的碼率只有它們的 40%左右； (2)更高的視頻質量。在任何碼率下，經過 處理的視頻，通過解碼后，視頻的質量比其它標準偏高； (3)自適應的延時特性?？捎糜谘訒r小的視頻會議等，也能夠用于無延時的視頻監(jiān)控等； (4)錯誤恢復功能。 能夠很好的解決網絡傳輸時丟包的問題，適用于高誤碼率下，無線網絡中的數據傳輸； (5)良好的網絡傳輸功能。如圖 21 所示， 標準分為兩個層次。視頻編碼層（ VCL: Video Coding Layer）負責對視頻的壓縮，網絡適配層（ NAL: Network Adaptation Layer）負責對特定網絡信息包的傳輸，因此， 能夠優(yōu)先控制信息，更好的完成對網絡數據的封裝。 西安理工大學碩士學位論文 6 控制數據視 頻 編 碼 層數 據 分 割H . 3 2 0 M P 4 F F M P E G 2 H . 3 2 3 / I P 其 他網 絡 適 配 層編 碼 宏 塊編 碼 分 片 / 分 割 圖 21 Fig. 21 standard structure 運功估計技術的概述 運動估計的基本概念 在幀間編碼中，相鄰幀間的時間間隔很小，人眼分辨不出來，其中的運動量很小，兩幀的相似度很高，可以將圖像幀分成互不重疊等大小的宏塊，找到每個宏塊在相鄰幀中的最佳相似位置，計算出相對偏移量，這個偏移量就是運動矢量，這個過程就是運動估計。 運動估計能夠大大減小幀間存在的大量時間冗余，增大了視頻壓縮比，也就減少了視頻需要傳輸的比特數，減小了傳輸帶寬，因此它在視頻壓縮處理中起著很大的作用。 運動估計的基本過程 運動估計分以下幾步完成 :第一步，把當前視頻幀分為若干個等大小的互不重疊的宏塊，設法找到當前塊每個宏塊在前一幀給定的搜索區(qū)域中最佳相似位置，計算出運動矢量；第二步，將在搜索區(qū)域中得到的最相似宏塊和當前幀對應宏塊的對應像素作減法，求的絕對值和，也就是殘差塊像素；第三步，把得到的每個當前塊的運動矢量和殘差塊的像素傳遞給下一個模 塊，經過下一個模塊的處理后進行傳輸。 塊匹配技術概述 實際上，兩幀圖像之間的物體運動一般是剛體的平移運動，位移量不大，彼此間存在著很強的相關性。塊匹配法就是將圖像分成若干個子塊，并有以下的假設：（ 1）當前塊中的所有像素有著相同的運動；（ 2）運動物體不會隨著時間的變化而改變了像素值。 塊匹配算法就是將當前幀圖像分為等大小且互不重疊的宏塊，滿足以上的兩點假設，運動估計及經典算法 7 這時候就可以根據預定的搜索范圍 [16]，按照匹配準則，在搜索區(qū)域中找到和當前塊最相似的宏塊，計算出兩個塊之間的相對位移量，并記錄，這個便為當前塊相 對于前一幀的運動矢量，然后將在搜索區(qū)域中得到的最相似宏塊和當前幀對應宏塊的對應像素作減法，求的絕對值和，也就是殘差塊像素，這樣每個當前塊就可由一個運動矢量和殘差塊像素進行表示。運動估計越準確，得到的匹配塊就越相似，對應的殘差塊像素越小，經過處理后變?yōu)楹苄〉谋忍財?，傳輸的過程中占用的帶寬將大大減小。 運動補償過程：依據每個當前塊的運動矢量，找到在前一幀的對應的最佳匹配塊，加上殘差塊的像素，便可以得到一個和原當前塊基本一樣的宏塊。運動估計越準確，得到的運動矢量也就越精確。運動補償的效果取決于運動矢量的精確程度， 運動矢量的精確程度又取決于運動估計的準確度，因此，選擇一個好的運動估計算法很重要。 實際上，兩幀之 間 的物體運動一般是剛體的平移運動，位移量不大，因此往往把一幀圖像分成若干 MN 塊，以塊為單位分配運動矢量，大大降低碼率。如圖 22所示。 NMWxWxijM + 2 WxN + 2 W yW y當 前幀 塊前 一 幀 搜 索 區(qū) 圖 22 塊匹配算法 Fig22 Block matching algorithm 設前一幀搜索區(qū)為（ M+2Wx, N+2Wy），當前幀塊與前一幀塊的位移為 d(i, j)，在搜索區(qū)中，如能找到與當前幀塊匹配的前一幀塊 ，則該 塊 運動矢量 為 (i, j)。 塊匹配運動估計的參數和準則 塊匹配算法中，涉及到分塊大小、搜索范圍、匹配準則等幾個參數的選取，這些參數的選取需要綜合考慮，它們的好壞嚴重影響著運動估計的準確度及實現難易程度。 分塊大小 塊匹配算法的使用是有前