【正文】 這種結(jié)構(gòu)既有可編程的靈活性，又兼有了專用結(jié)構(gòu)的功耗小、處理速度高等特性。但在一些視頻編碼中，運(yùn)算會主要集中在少數(shù)幾個模塊中，比 如在 MPEG4中，最主要的運(yùn)算任務(wù)集中于運(yùn)動估計(jì)（ ME）和形狀編碼（ shapeencoding）部分，這兩者占去了整體運(yùn)算 90％的復(fù)雜度。 2）專用結(jié)構(gòu) [25]． 專用視頻解碼器結(jié)構(gòu)不具備可編程性，它是針對某個算法或某一類算法而設(shè) 計(jì)和優(yōu)化的浙江大學(xué)碩士學(xué)位論文 13 硬件電路，每個處理單元可以最大程度的與算法特點(diǎn)相匹配，視頻解碼的各種任務(wù)映射到不同硬件處理單元上，針對特定的算法進(jìn)行系統(tǒng)結(jié)構(gòu)和子模塊優(yōu)化，可以最大程度地與算法特點(diǎn)相匹配。 它 靈活，適用范圍廣，能對不同的算法提供支持，易于升級，但是它為了提供多功能解碼支持，必須增加硬件電路的復(fù)雜性，從而導(dǎo)致電路功耗的增加。 隨著半導(dǎo)體工藝技術(shù)的發(fā)展，由 m到 m ASIC的系統(tǒng)速度 也從 120MHz提升到 300MHz，但 ASIC 的設(shè)計(jì)成本和技術(shù)風(fēng)險愈來愈高，并且從設(shè)計(jì)方案到 ASIC 產(chǎn)品商業(yè)應(yīng)用的周期也 更 長。 近年來，各個廠家普遍采用 、 甚至 m 的 CMOS工藝，繼續(xù)向高密度、大容量發(fā)展。如果不能滿足，通常需要回到第三步重新確定約束條件，進(jìn)行優(yōu)化。 EDA設(shè)計(jì)過程的每一步模擬仿真都是圍繞電路的功能進(jìn)行的，因而都屬于功能測試的范疇。 邏輯綜合與邏輯優(yōu)化 （ Logic Synthesis amp。 高層次設(shè)計(jì)階段是與具體生產(chǎn)技術(shù)無關(guān)的，即與工藝無關(guān) (Technology Independent)。 專用集成電路 (Application Specific Integrated Circuit, ASIC)是指面向特定用戶要求和特定電子系統(tǒng)的需要而設(shè)計(jì)制造的集成電路。 視頻編解碼芯片開發(fā) 如前所述，正是 由于基于硬件的視頻編解碼器在高清晰度的數(shù)字影像方面具有軟件無法做到的優(yōu)勢，而在移動媒體應(yīng)用方面又有著廣泛的應(yīng)用，所以視頻編解碼芯片的設(shè)計(jì)研究一直是一個熱門的話題。 AVS 標(biāo)準(zhǔn)的主要特點(diǎn)是應(yīng)用目標(biāo)明確，技術(shù)有針對性。在完成了 標(biāo)準(zhǔn)的最初版本后， ITUT 的 VCEG 就開始在兩個領(lǐng)域開始了進(jìn)一步的工作。 標(biāo)準(zhǔn) 目前已經(jīng)超過 ，在視頻會議的編解碼領(lǐng)域中占主導(dǎo)和支配地位。 MPEG2 所能提供的傳輸率在 3～ 10Mbps之間，在 NTSC制式下的分辨率可達(dá) 720 486，可提供廣播級的圖像質(zhì)量，適用于數(shù)字電視廣播 (DVB)、 HDTV和 DVD的運(yùn)動圖像及其伴音的壓縮編碼。 的圖像格式，無論是哪一種制式的視頻信號進(jìn)入編解碼器后都被轉(zhuǎn)換成公共中間格式 (CIF)，該圖像對亮度信號而言，每幅圖像掃描 288行，每行有 352個像素點(diǎn)，色度信號每幀為 144 行 176 個像素，每秒 30幀，掃描方式為逐行掃描。 概括起來，本文的工作貢獻(xiàn)包括以下方面： 1. 總結(jié)了高性能視頻編解碼器開發(fā)的需求 , 總結(jié)了原有開發(fā)系統(tǒng)的優(yōu)勢以及其缺陷和不足，并充分整合到新設(shè)計(jì)中； 2. 給出了基于 FPGA的高性能視頻開發(fā)與驗(yàn)證平臺整體設(shè)計(jì)，設(shè)計(jì)充分體現(xiàn)了高性能的特點(diǎn)，注重開發(fā)驗(yàn)證過程的便利性和兼容性； 3. 給出了在平臺上模塊開發(fā)進(jìn)行軟件驗(yàn)證和綜合后驗(yàn)證的方法； 4. 在平臺上進(jìn)行了視頻編解碼器模塊的開發(fā)和設(shè)計(jì)，并給出了新舊平臺與標(biāo)準(zhǔn)單元庫之間綜合的比較結(jié)果。 FPGA原型驗(yàn)證開發(fā)系統(tǒng)由于其相對于 ASIC 有著前期設(shè)計(jì)成本低，回避設(shè)計(jì)風(fēng)險，便于功能驗(yàn)證等特點(diǎn)，在視頻編解碼系統(tǒng)開發(fā)中有著極大的應(yīng)用空間。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。 涉密論文按學(xué)校規(guī)定處理。 本文還介紹了基于高性能視頻開發(fā)驗(yàn)證平臺進(jìn)行的 AVS D1 解碼器開發(fā)設(shè)計(jì)和 AVS 運(yùn)動矢量預(yù)測模塊 AGU的開發(fā)設(shè)計(jì)。比如 MPEG2的視頻部分就是 ，而 MPEG4的第 10部分是 。 ITUT于 1990年成立了“ ATM視頻編碼專家組”負(fù)責(zé)制定適用于 BISDN信道 ATM編碼傳輸標(biāo)準(zhǔn)。 MPEG4 的壓縮率平均可達(dá) 50:1，最高可超過 100:1。 MPEG4 和 這兩種視頻壓縮標(biāo)準(zhǔn)大約都產(chǎn)生于 1995 年，而此后，動態(tài)圖像專家組（ MPEG）和視頻編碼專家組（ VCEG）則仍然力圖建立一個性能明顯超過 MPEG4 和 的新標(biāo)準(zhǔn)。制定 ，以及能夠更好的適應(yīng)網(wǎng)絡(luò) [10]． 。目前只有基于硬件（如 ASIC）的視頻編解碼器才能實(shí)現(xiàn)實(shí)時的高清晰度圖像編解碼。 浙江大學(xué)碩士學(xué)位論文 10 視頻編解碼芯片開發(fā)方法 視頻編解碼芯片的設(shè)計(jì)研究涉及到超大規(guī)模集成電路 (Very Large Scale Integration, VLSI)設(shè)計(jì)和現(xiàn)場可編程門陣列 (Field Programmable Gate Array, FPGA)設(shè)計(jì)兩個方面的技術(shù)。而 FPGA的一個 LUT只能處理 4輸入的組合邏輯，因此， PLD適合用于設(shè)計(jì)譯碼等復(fù)雜組合邏輯。 行為級優(yōu)化與 RTL 級轉(zhuǎn)化 —— 進(jìn)行行為級算法優(yōu)化與功能仿真，同時完成向寄存器傳輸級（ RTL： Register Transport Level）描述的轉(zhuǎn)化。與行為級仿真和 RTL級仿真不同的是，完成邏輯綜合后的門級仿真包含了門單元的延時信息，因而門級仿真需要相應(yīng)工藝的仿真庫的支持。 參數(shù)提取 —— 在前面完成邏輯綜合所產(chǎn)生的門級網(wǎng)表文件中，已經(jīng)包含了門級單元本身的工藝參數(shù)，完成版圖綜合后，由于布局布線都已確定，可以從版圖進(jìn)一步提取出連線電阻，連線電容等分布參數(shù)。用戶在設(shè)計(jì)時規(guī)定邏輯單元實(shí)現(xiàn)的邏輯函數(shù)，并且選擇性的接通互聯(lián)陣列的連線，從而實(shí)現(xiàn)自己的設(shè)計(jì)。 Xilinx 的 VirtexIV是其標(biāo)志性的高端產(chǎn)品系列，它使用了 90nm 的制造工藝，使得在創(chuàng)造了高性能與高密度的同時，功耗卻減半， 全片高達(dá) 500 MHz 的運(yùn)行浙江大學(xué)碩士學(xué)位論文 12 頻率， I/O 接口方面也由于使用了新技術(shù)，可以支持 500MHZ 以上的數(shù)據(jù)傳輸速率。在綜合了二者的特點(diǎn)基礎(chǔ)之上，還有一種混合結(jié)構(gòu)。 ? 超長指令字：在一條指令中實(shí)現(xiàn)多個操作，由譯碼器實(shí)現(xiàn)指令的調(diào)度、執(zhí)行。因此會在消費(fèi)電子類和移動圖像處理等對功能要求不高，但強(qiáng)調(diào)低功耗、低成本、高集成度的應(yīng)用中得到廣泛應(yīng)用。一些視頻芯片使用了專用的硬件結(jié)構(gòu)來獲得低功耗和較小的成本，它的缺點(diǎn)是缺少對未來延展的潛力和開發(fā)成本較高，因此，也有一些編解碼芯片接收了兩者的優(yōu)點(diǎn)，產(chǎn)生了混合了軟硬件的結(jié)構(gòu) [18]． ，這種結(jié)構(gòu)在性能和 延展性上取得了某種平衡。所有的硬件模塊浙江大學(xué)碩士學(xué)位論文
。而其他一些任務(wù)，比如 DCT/IDCT, Q/IQ, 和運(yùn)動補(bǔ)償，因?yàn)橐灿性S多規(guī)則運(yùn)算，因此也可以使用專用結(jié)構(gòu)，而可編程結(jié)構(gòu)更適合系統(tǒng)中需求較少但是高層次 的任務(wù)，比如系統(tǒng)控制等等。缺點(diǎn)是不易修改，而且專用芯片設(shè)計(jì)成本高，設(shè)計(jì)周期也較長。在可編程結(jié)構(gòu)中，需要增強(qiáng)處理器的某些功能來適應(yīng)面向視頻圖像處理的特殊算法。在 ASIC設(shè)計(jì)中 ， FPGA可起到原型設(shè)計(jì)及驗(yàn)證的作用，在做原型設(shè)計(jì)及驗(yàn)證作用的 FPGA的模型與設(shè)計(jì)的 ASIC芯片的功能模型 應(yīng)當(dāng) 是相同的 [22]． 。 FPGA的低端產(chǎn)品在工藝和結(jié)構(gòu)上創(chuàng)新，性能的提高和價格的降低都是令人驚嘆的。 FPGA與 ASIC設(shè)計(jì) FPGA 是一種包含很多相同的邏輯單元的集成電路，內(nèi)部有許多觸發(fā)器和分布的布線資源。在 ASIC設(shè)計(jì)過程中必須兼顧功能測試與制造測試。在設(shè)計(jì)一個系統(tǒng)時，總有對應(yīng)的設(shè)計(jì)指標(biāo)，典型的如時鐘頻率、芯片面積、端口驅(qū)動能力等，自動綜合工具將這些設(shè)計(jì)指標(biāo)作為綜合過程的約束條件，在給定的包含工藝參數(shù)的綜合庫中選取最佳單元，實(shí)現(xiàn)綜合過程。此外，由于工藝技術(shù)的進(jìn)步，需要采用更先進(jìn)的工藝時，也可利用原來所書寫的 HDL代碼。它們都具有用戶現(xiàn)場可編程特性、都支持邊界掃描技術(shù)，而在集成度、速度以及編程方式上具有各自的特點(diǎn)。最后是視頻壓縮標(biāo)準(zhǔn)的制定提供了統(tǒng)一的通信平臺，導(dǎo)致了大量的應(yīng)用和市場的出現(xiàn)（視頻編碼芯片的設(shè)計(jì)方法）。 當(dāng)前主流的視頻標(biāo)準(zhǔn)都在向兩個方向發(fā)展：一個主要針對高清晰度數(shù)字影像的方向，其特點(diǎn)是較高的圖像分辨率，較高的畫面質(zhì)量和較高的數(shù)據(jù)傳輸速率；而另一個方向則是針對移動媒體應(yīng)用的數(shù)字影像方向，其特點(diǎn)是較低的圖像分辨率，較低的數(shù)據(jù)傳輸速率和較高的壓縮效率。適應(yīng)不同速率應(yīng)用的問題 和同時開會的需求在 。 標(biāo)準(zhǔn)是在 1996 年獲得批準(zhǔn)的，而在 1998 年和 2020 年， ITUT 又對它進(jìn)行了兩次重要的修補(bǔ)，于是產(chǎn)生了 + 和 ++。 MPEG4并非是針對某一種視頻信號的壓縮標(biāo)準(zhǔn)，而是面向眾多的應(yīng)用。它可對 SIF 分辨率（ NTSC 制式為352 240； PAL制式為 352 288）的圖像進(jìn)行壓縮，傳輸速率為 ，每秒播放 30幀 [5]． 。上個世紀(jì) 80年代以來， ISO/IEC和 ITUT分別制定了 MPEGx、 兩大系列視頻編碼國際標(biāo)準(zhǔn)，這些視頻編碼標(biāo)準(zhǔn)追求的共同目標(biāo)是在盡可能低的碼率下獲得盡可能好的圖像質(zhì)量 [1]． 。其設(shè)計(jì)目標(biāo)為 high 4:4:44 AVS 等高端的視頻編解碼器的開發(fā)，支持 1920 1080（ 4:4:4）的分辨率。 作者簽名： 日期： 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人完全意識到本聲明的法律后果由本人承擔(dān)。 本文提出了基于 FPGA 的高性能視頻開發(fā)驗(yàn)證平臺的設(shè)計(jì)，這一設(shè)計(jì)是在原有的MPEG4 編解碼芯片開發(fā)系統(tǒng)的基礎(chǔ)上進(jìn)行開發(fā)和設(shè)計(jì)的，可以滿足高性能視頻編解碼器開發(fā)的需求。隨著信息產(chǎn)業(yè)的發(fā)展，各種各樣的視頻壓縮產(chǎn)品涌向市場，為了便于國際間的交流和貿(mào)易，必須對它們進(jìn)行規(guī)范。 的混合編碼方案 (DPCM+DCT),獲得了很好的圖像壓縮效果 . MPEG1于 1993年成為國際標(biāo)準(zhǔn)，它是對 圖像及其伴音的壓縮編碼標(biāo)準(zhǔn)，適用于 CDROM、 VCD 等。 MPEG4于 1999年初正式成為國際標(biāo)準(zhǔn)。而在相同的視覺效果下， 又有比較高的壓縮比。這一新標(biāo)準(zhǔn)的官方稱謂是“高級視頻編碼（ AVC）”，但是 MPEG4 Part 10 和 的名稱則更加廣為人知。在壓縮效率相當(dāng)?shù)那疤嵯?，又較 MPEG4 AVC/ main profile的實(shí)現(xiàn)復(fù)雜度大為降低 [9]． 。其次是集成電路產(chǎn)業(yè)的高速發(fā)展，集成度的提高使得視頻編碼的芯片化得以實(shí)現(xiàn)而且先進(jìn)的設(shè)計(jì)方法使設(shè)計(jì)周期越來越短。目前 ASIC 設(shè)計(jì)主要有 CPLD(復(fù)雜可編程邏器件 )和 FPGA (現(xiàn)場可編程邏輯陣列 )兩種方式。 HDL 原代碼對于 FPGA和 ASIC 是完全一樣的，僅需更換不同的庫，重新進(jìn)行綜合即可。在進(jìn)行邏輯綜合與優(yōu)化之前必須得到包含相應(yīng)工藝參數(shù)的邏輯綜合庫的支持。對于較復(fù)雜的時序電路而言，高故障 覆蓋率的測試向量必須借助于測試綜合才能完成。 制版流片 —— 在利用 EDA工具完成設(shè)計(jì)后，交付半導(dǎo)體廠商進(jìn)行投片生產(chǎn)。 I/O 接口采用模擬電路達(dá)到 1～10Gbps甚至更高的接口數(shù)據(jù)傳輸速率，片內(nèi)時鐘可以達(dá)到 400MHZ以上。它將原來 ASIC 設(shè)計(jì)修改周期從至少兩個月，減少到幾分鐘到幾小時之間，尤其適合產(chǎn)品的前期開發(fā)和中小批量產(chǎn)品的應(yīng)用；并且 FPGA 設(shè)計(jì)成功后，可非常方便地向ASIC轉(zhuǎn)化。 隨著計(jì)算機(jī)硬件的發(fā)展，當(dāng)前的計(jì)算機(jī)運(yùn)算處理功能非常強(qiáng)大，但是考慮到視頻圖像處理運(yùn)算的特殊性，一些算法在通用的處理器上并不能得到有效的實(shí)現(xiàn)。采用專用芯片的視頻系統(tǒng)的優(yōu)點(diǎn)是速度快，一旦專用芯片設(shè)計(jì)成功，其生產(chǎn)成本相對較低，而且實(shí)現(xiàn)容易，控制簡單，適合大規(guī)模生產(chǎn)。其運(yùn)算明顯屬于規(guī)則的底層任務(wù)，而且需要從幀存中讀取大量的數(shù)據(jù)，對于這種情況，專用結(jié)構(gòu)和片內(nèi)緩沖區(qū)是非常重要的，這樣可以減少數(shù)據(jù)傳輸和提高運(yùn)算效率。其他硬件模塊并行處理專用結(jié)構(gòu)算法從而提高了編解碼效率。 混合結(jié)構(gòu)將視頻處理任務(wù)作軟硬件實(shí)現(xiàn)上的劃分。專用圖像處理器結(jié)構(gòu)的 SoC也有廣泛的發(fā)展前景。 ? 協(xié)處理器：對于特殊的功能，用硬件實(shí)現(xiàn)，在通過軟件對其輸入、輸出進(jìn)行控制，比如對變長碼的處理，一般的可編程多媒體視頻處理器均有獨(dú)立于 CPU的 VLD處理模塊。以下對它們分別進(jìn)行介紹。 FPGA廠商一般為用戶提供非常豐富的軟件支持，如 Xilinx 公司的 ISE 系列就是其 FPGA產(chǎn)品的 EDA軟件包，提供設(shè)計(jì)輸入、綜合、實(shí)現(xiàn)和驗(yàn)證以及板級集成。不同的 FPGA 產(chǎn)品的邏輯單元結(jié) 構(gòu)有非常大的不同。 后仿真 —— 將上一步中提取的分布參數(shù)再反標(biāo)到原來的門級網(wǎng)表中，進(jìn)行包含門延，連線時延的門級仿真。 測試生成 —— 測試分為功能測試（ Function Test）與制造測試（ Manufacture Test）兩部分。現(xiàn)有的 EDA工具只能接受 RTL級描述的 HDL 文件進(jìn)行自動邏輯綜合，因此必須進(jìn)行 RTL 級轉(zhuǎn)化。但 FPGA的制造工藝決定了 FPGA芯片中包含的 LUT 和觸發(fā)器的數(shù)量非常多，而且如果用芯片價格除以邏輯單元數(shù)量， FPGA 的平均邏輯單元成本大 大低于 PLD。隨著 VLSI工藝技術(shù)的發(fā)展，器件特征尺寸越來越小，芯片規(guī)模越來越大，數(shù)百萬門級的電路可以 集成在一個芯片上。另一方面，高端特定功能的帶有多媒體擴(kuò)展指令集的微處理器雖然能夠提供非常高性能的運(yùn)算能力，但是無法做到低成本與低功耗，無法滿足多媒