【文章內(nèi)容簡介】 到400MHZ以上。FPGA的低端產(chǎn)品在工藝和結(jié)構(gòu)上創(chuàng)新，性能的提高和價格的降低都是令人驚嘆的。Xilinx目前是世界上最大的FPGA供應(yīng)商之一。Xilinx 的VirtexIV是其標志性的高端產(chǎn)品系列，它使用了90nm 的制造工藝，使得在創(chuàng)造了高性能與高密度的同時，功耗卻減半，全片高達500 MHz的運行頻率，I/O接口方面也由于使用了新技術(shù)，可以支持500MHZ以上的數(shù)據(jù)傳輸速率。 FPGA廠商一般為用戶提供非常豐富的軟件支持，如Xilinx 公司的ISE 系列就是其FPGA產(chǎn)品的EDA軟件包，提供設(shè)計輸入、綜合、實現(xiàn)和驗證以及板級集成。除電路圖外還支持狀態(tài)機產(chǎn)生、IP核和DSP設(shè)計，包括定時分析器，約束編輯器等等非常強大的功能來輔助用戶設(shè)計。 隨著半導(dǎo)體工藝技術(shù)的發(fā)展， ASIC的系統(tǒng)速度也從120MHz提升到300MHz，但ASIC的設(shè)計成本和技術(shù)風(fēng)險愈來愈高，并且從設(shè)計方案到ASIC產(chǎn)品商業(yè)應(yīng)用的周期也更長。為適應(yīng)市場的快節(jié)奏，減少前期的設(shè)計成本、回避設(shè)計風(fēng)險，F(xiàn)PGA是一個最好的選擇。它將原來ASIC設(shè)計修改周期從至少兩個月，減少到幾分鐘到幾小時之間，尤其適合產(chǎn)品的前期開發(fā)和中小批量產(chǎn)品的應(yīng)用；并且FPGA設(shè)計成功后，可非常方便地向ASIC轉(zhuǎn)化。在ASIC設(shè)計中，F(xiàn)PGA可起到原型設(shè)計及驗證的作用，在做原型設(shè)計及驗證作用的FPGA的模型與設(shè)計的ASIC芯片的功能模型應(yīng)當(dāng)是相同的[22]．。FPGA在系統(tǒng)驗證時帶來的益處有[23]．：l 對邏輯功能進行全面驗證l 對部分電路進行時序驗證，發(fā)現(xiàn)潛在的問題l 可以進行邏輯綜合過程驗證l 加快設(shè)計流程，減少重新制版幾率，降低成本l 加快系統(tǒng)廠商的系統(tǒng)產(chǎn)品開發(fā)l 方便系統(tǒng)廠商對邏輯功能全面確認視頻編解碼芯片有兩種最基本的體系結(jié)構(gòu)：可編程結(jié)構(gòu)和專用結(jié)構(gòu)。在綜合了二者的特點基礎(chǔ)之上，還有一種混合結(jié)構(gòu)。以下對它們分別進行介紹。1） 可編程結(jié)構(gòu)[17]．可編程結(jié)構(gòu)是一個通用平臺，提供靈活的各種算法實現(xiàn)可能性，其實質(zhì)是設(shè)計一個執(zhí)行指令的硬件核（如RISC核）[19]．，通過在其上運行程序?qū)崿F(xiàn)解碼功能。它靈活，適用范圍廣，能對不同的算法提供支持，易于升級，但是它為了提供多功能解碼支持，必須增加硬件電路的復(fù)雜性，從而導(dǎo)致電路功耗的增加。對于圖像格式比較大的碼流，為了保證解碼任務(wù)的適時性，必須提高軟件的并行度，這給編制程序帶來了很大困難。隨著計算機硬件的發(fā)展，當(dāng)前的計算機運算處理功能非常強大，但是考慮到視頻圖像處理運算的特殊性，一些算法在通用的處理器上并不能得到有效的實現(xiàn)。在可編程結(jié)構(gòu)中，需要增強處理器的某些功能來適應(yīng)面向視頻圖像處理的特殊算法。216。 子字并行性：有的圖像算法對數(shù)據(jù)處理精度要求不高，因此可以在ALU中并行處理多組數(shù)據(jù)。216。 超長指令字：在一條指令中實現(xiàn)多個操作，由譯碼器實現(xiàn)指令的調(diào)度、執(zhí)行。216。 協(xié)處理器：對于特殊的功能，用硬件實現(xiàn)，在通過軟件對其輸入、輸出進行控制，比如對變長碼的處理，一般的可編程多媒體視頻處理器均有獨立于CPU的VLD處理模塊。216。 存儲結(jié)構(gòu)設(shè)計：由于視頻圖像處理的數(shù)據(jù)量非常大，存儲結(jié)構(gòu)對系統(tǒng)的整體性能影響相當(dāng)大。2）專用結(jié)構(gòu)[25]．專用視頻解碼器結(jié)構(gòu)不具備可編程性，它是針對某個算法或某一類算法而設(shè)計和優(yōu)化的硬件電路，每個處理單元可以最大程度的與算法特點相匹配，視頻解碼的各種任務(wù)映射到不同硬件處理單元上，針對特定的算法進行系統(tǒng)結(jié)構(gòu)和子模塊優(yōu)化，可以最大程度地與算法特點相匹配。專用視頻解碼器結(jié)構(gòu)與可編程結(jié)構(gòu)相比，其硬件消耗小，處理速度高，但它的可擴展性差。采用專用芯片的視頻系統(tǒng)的優(yōu)點是速度快，一旦專用芯片設(shè)計成功，其生產(chǎn)成本相對較低，而且實現(xiàn)容易，控制簡單，適合大規(guī)模生產(chǎn)。缺點是不易修改，而且專用芯片設(shè)計成本高，設(shè)計周期也較長。雖然隨著計算機技術(shù)的發(fā)展，可編程結(jié)構(gòu)將會是視頻處理體系結(jié)構(gòu)的發(fā)展趨勢，但是專用的視頻處理結(jié)構(gòu)由于功能單一，可以最大程度的優(yōu)化結(jié)構(gòu)，提高集成度，滿足低功耗的要求。因此會在消費電子類和移動圖像處理等對功能要求不高，但強調(diào)低功耗、低成本、高集成度的應(yīng)用中得到廣泛應(yīng)用。專用圖像處理器結(jié)構(gòu)的SoC也有廣泛的發(fā)展前景。3）混合結(jié)構(gòu)[26]．如前所述，隨著編碼效率的提高和許多新功能的加入，視頻編解碼標準的算法變得越來越復(fù)雜，對運算的需求也越來越大。但在一些視頻編碼中，運算會主要集中在少數(shù)幾個模塊中，比如在MPEG4中，最主要的運算任務(wù)集中于運動估計（ME）和形狀編碼（shapeencoding）部分，這兩者占去了整體運算90％的復(fù)雜度。而對于較低的檔次不考慮形編碼的情況，運動估計對于運算的集中需求更是顯著。其運算明顯屬于規(guī)則的底層任務(wù)，而且需要從幀存中讀取大量的數(shù)據(jù)，對于這種情況，專用結(jié)構(gòu)和片內(nèi)緩沖區(qū)是非常重要的，這樣可以減少數(shù)據(jù)傳輸和提高運算效率。而其他一些任務(wù)，比如DCT/IDCT, Q/IQ, 和運動補償，因為也有許多規(guī)則運算，因此也可以使用專用結(jié)構(gòu)，而可編程結(jié)構(gòu)更適合系統(tǒng)中需求較少但是高層次的任務(wù)，比如系統(tǒng)控制等等?；诘凸牡腄SP平臺的軟件方案應(yīng)用于目前一些商用視頻編解碼芯片中，它們一般都有較高的延展性，可以滿足未來多媒體豐富的功能，但是由于資源受限，在達到實時編解碼的時候不得不使用快速算法，因此降低了質(zhì)量。一些視頻芯片使用了專用的硬件結(jié)構(gòu)來獲得低功耗和較小的成本，它的缺點是缺少對未來延展的潛力和開發(fā)成本較高，因此，也有一些編解碼芯片接收了兩者的優(yōu)點，產(chǎn)生了混合了軟硬件的結(jié)構(gòu)[18]．，這種結(jié)構(gòu)在性能和延展性上取得了某種平衡?；旌辖Y(jié)構(gòu)將視頻處理任務(wù)作軟硬件實現(xiàn)上的劃分。于是，它內(nèi)部既有可編程核，用于處理復(fù)雜的高級任務(wù)，同時又有專用處理模塊，處理中、低級任務(wù)。這種結(jié)構(gòu)既有可編程的靈活性，又兼有了專用結(jié)構(gòu)的功耗小、處理速度高等特性。圖 12是一個混合結(jié)構(gòu)的MPEG4編碼器的例子：圖 12混合結(jié)構(gòu)MPEG4編碼器結(jié)構(gòu)在這個結(jié)構(gòu)中，RISC負責(zé)系統(tǒng)的宏塊級的流水安排，編碼模式?jīng)Q定，運動矢量編碼等等高層任務(wù)。其他硬件模塊并行處理專用結(jié)構(gòu)算法從而提高了編解碼效率。所有的硬件模塊都被集成在一塊芯片中，系統(tǒng)編程需要的固件（Firmware）存儲在片外的PROM等器件中等待調(diào)用。混合結(jié)構(gòu)的系統(tǒng)的靈活性取決于系統(tǒng)任務(wù)軟、硬件劃分的情況。如果劃分到軟件實現(xiàn)的任務(wù)較多，且硬件實現(xiàn)的任務(wù)比較單一，那么系統(tǒng)的靈活性較好。 本研究的意義及論文主要內(nèi)容 如前所述，如果要開發(fā)高性能的視頻編解碼器芯片，需要一整套的系統(tǒng)來支持這項龐大的工作。首先應(yīng)該有一個優(yōu)秀的開發(fā)驗證平臺，這個平臺應(yīng)該具有如下的特征來滿足開發(fā)的需要[59]．：l 具有非常強大的可編程性l 具有非常高的性能以滿足視頻開發(fā)越來越高的需求l 能夠同時滿足三種體系結(jié)構(gòu)的開發(fā)需要l 具有良好的兼容性，供不同的視頻標準和不同的開發(fā)情況使用l 具有功能強大的軟件和模塊支持l 可以進行方便的測試和驗證l 有完善的對外接口，供數(shù)據(jù)交換和視頻輸入輸出，并且使用方便l 在滿足以上條件情況下盡可能低成本本文基于上述的角度出發(fā)，提出了基于FPGA的高性能視頻開發(fā)平臺的設(shè)計，這一設(shè)計是在原有的MPEG4編解碼芯片開發(fā)系統(tǒng)的基礎(chǔ)上開發(fā)設(shè)計的，滿足了上述的優(yōu)秀視頻開發(fā)平臺的基本特征，具有非常強大的性能，可以保證視頻編解碼器的順利開發(fā)。 本文整體結(jié)構(gòu)安排如下：首先是本文研究涉及的部分背景知識做一個介紹，接著介紹課題組在2003年開發(fā)的MPEG4編解碼芯片開發(fā)系統(tǒng)以及在其上進行的專用解碼芯片開發(fā)和專用解碼芯片的驗證系統(tǒng)的開發(fā)。接著介紹了高性能視頻開發(fā)平臺的設(shè)計，包括了平臺設(shè)計的目標和應(yīng)用范圍，平臺的硬件系統(tǒng)設(shè)計和軟件系統(tǒng)以及接口應(yīng)用模塊的開發(fā)，最后介紹了基于高性能視頻開發(fā)平臺開發(fā)驗證的例子。最后是本文的總結(jié)與展望。 具體章節(jié)安排如下： 第一章是背景知識介紹。第一部分主要包括常用視頻解碼標準及其發(fā)展歷程的介紹，第二部分介紹了視頻編解碼芯片的開發(fā)方法與流程，第三部分是本文的章節(jié)安排。 第二章是MPEG4編解碼芯片開發(fā)系統(tǒng)的介紹。第一部分對這個開發(fā)系統(tǒng)做了一個簡單的闡述，包括了開發(fā)系統(tǒng)的性能指標，框架結(jié)構(gòu)和重要模塊的硬件設(shè)計等等；第二部分介紹了MPEG4專用解碼芯片的開發(fā)；第三部分介紹MPEG4專用解碼芯片的驗證系統(tǒng)的設(shè)計；最后一個部分提出了這一開發(fā)系統(tǒng)的缺陷與不足。 第三章提出了高性能視頻開發(fā)驗證平臺的設(shè)計。第一部分介紹了高性能視頻開發(fā)驗證平臺的框架體系和優(yōu)勢；第二部分著重介紹了平臺硬件系統(tǒng)的設(shè)計，包括平臺各個重要硬件組成部分；第三部分介紹平臺的PCB設(shè)計要點；第四部分介紹平臺的應(yīng)用軟件和接口應(yīng)用模塊。第四章是基于平臺進行視頻編解碼器開發(fā)驗證的例子。第一部分介紹了基于平臺的AVS D1解碼器的開發(fā)，第二部分介紹了基于平臺的AVS運動矢量預(yù)測模塊AGU的設(shè)計和仿真驗證，第三部分是平臺與SMIC 。 第五章是全文的總結(jié)與展望。第2章 MPEG4編解碼芯片開發(fā)系統(tǒng) MPEG4編解碼芯片開發(fā)系統(tǒng)簡介基于FPGA的MPEG4編解碼芯片開發(fā)系統(tǒng)是課題組于2003年設(shè)計的一個系統(tǒng)，其目的是為了在其上進行MPEG4 ASP@L5視頻編解碼芯片的開發(fā)研究[1]．。利用這個系統(tǒng)我們成功的開發(fā)了MPEG4 ASP@L5的視頻解碼器并最終生產(chǎn)了ASIC芯片。這個系統(tǒng)是我們高性能視頻開發(fā)驗證平臺的基礎(chǔ)，本節(jié)主要對系統(tǒng)進行簡單的介紹。 性能指標為了達到MPEG4 ASP@L5 的要求，我們?yōu)镸PEG4編解碼芯片開發(fā)系統(tǒng)設(shè)定了如表 21所示的性能指標：表 21 MPEG4編解碼芯片開發(fā)系統(tǒng)性能指標支持視頻標準MPEG4 ASP@L5最大視頻圖像尺寸720*576支持視頻輸入格式Y(jié)/C, CVBS支持視頻輸出格式Y(jié)/C, CVBS, VGA碼流輸入/輸出接口, RS232, IOBASET以太網(wǎng)解碼峰值碼率8Mbits/s編碼速率25幀/s外部存儲器接口8M bytes 32位SDRAM其他低功耗、有測試點和用戶輸入等 框架結(jié)構(gòu)開發(fā)系統(tǒng)以兩片Xilinx公司的FPGA XC2V3000FG6764為主體，提供高達600萬的現(xiàn)場可編程邏輯門作為視頻編解碼器的主體。片外配以8MB的32bit位寬的SDRAM, 其最高時鐘頻率可以達到133MB/s，同時配以完善的I/O接口（如RS23）用于測試和視頻碼流的輸入輸出，開發(fā)系統(tǒng)的整體結(jié)構(gòu)如圖 21所示： 圖 21 MPEG4編解碼芯片開發(fā)系統(tǒng)整體結(jié)構(gòu) 開發(fā)系統(tǒng)在PCB上采用了子母板結(jié)構(gòu)：母板使用6層PCB, 對信號和電源要求較高的FPGA芯片以及SDRAM外存儲器都放置于母板上；子板使用2層PCB, 所有的IO芯片和接口都放置于子板上；子母板通過2個96pin 的金針排插進行信號線連接和物理連接。其結(jié)構(gòu)如圖 22所示： 圖 22 MPEG4編解碼芯片開發(fā)系統(tǒng)子母板結(jié)構(gòu)系統(tǒng)采用子母板結(jié)構(gòu)有如下的好處：1． 成本：因為PCB的制造價格隨層數(shù)幾何增長，2層板與6層PCB價格相差非常大，因此在對于電源信號等要求不高的IO接口板采用2層板，而對于板載FPGA和存儲器，要求較高的母板采用6層PCB在成本上有相當(dāng)大的節(jié)約。2． 減小相互干擾：母板上主要是數(shù)字信號，而子板上有許多IO接口是模擬信號。子母板結(jié)構(gòu)而且配合獨立電源可以盡可能減少數(shù)字與模擬信號之間的干擾。3． 兼容性：因為子母板的功能獨立而且分割清晰，所以在需要升級某項功能的時候，可以只升級母板或子板而不需要升級整個系統(tǒng)，有較強的兼容性。圖 23是MPEG4編解碼芯片開發(fā)系統(tǒng)母板的結(jié)構(gòu)：圖 23 MPEG4編解碼芯片開發(fā)系統(tǒng)母板結(jié)構(gòu)圖 24是MPEG4編解碼芯片開發(fā)系統(tǒng)子板的結(jié)構(gòu)：圖 24 MPEG4編解碼芯片開發(fā)系統(tǒng)子板結(jié)構(gòu) 重要硬件模塊設(shè)計1）FPGA芯片：開發(fā)系統(tǒng)母板主芯片為兩片Xilinx公司的Virtex2 系列的XC2V3000FG6764 FPGA，其具體參數(shù)如表 22所示：表 22 XC2V3000FG6764參數(shù)XC2V3000FG6764參數(shù)系統(tǒng)門3,000,000最大內(nèi)部RAM448Kbits18Kbits塊RAM96個總的塊RAM1，728Kbits1818硬件乘法器96個時鐘DCM單元12個配置器件規(guī)模10,494,368 bits核電壓I/O支持電壓最大可用I/O數(shù)484 開發(fā)系統(tǒng)共計擁有600萬門的可編程邏輯能力。足以支持MPEG4 ASP@L5 編解碼器的開發(fā)要求。配置電路選用Xilinx的在系統(tǒng)可編程（ISP）系列的PROMXC18V04，4Mbits容量，每片F(xiàn)PGA需要3個PROMXC18V04。由于在視頻編解碼開發(fā)過程中最常用的下載方式還是JTAG配置模式，所以對每個FPGA芯片我們分別設(shè)計了一個JTAG接口來進行配置。2）存儲芯片： 根據(jù)圖像尺寸，同時根據(jù)計算，在外存儲器中需要存儲4幀左右的圖像。根據(jù)圖像尺寸和編碼速率，我們計算出幀存的存取速率，進而算出外存儲器SDRAM的時鐘頻率應(yīng)為30M左右，考慮到要留有相當(dāng)?shù)挠嗔浚?SDRAM采用了支持133M頻率的芯片。母板上的SDRAM選用64M位的型號，要求有4個bank，數(shù)據(jù)總線的寬度為32我們選用了8M的32位4 BANK 的SDRAM存儲器作為幀存。芯片為Winbond 公司的W986432DH。3）電源設(shè)計 系統(tǒng)母板和子板的主電源5V由外部交流穩(wěn)壓器或者從PC電源得到。要求其輸入電流大于3A，能夠提供15W以上的輸入功率。母板板載的DC－ 。母板的DCDC模塊采用了TI公司的TPS54613（ ,6A）和TPS54616（ ,6A）兩塊芯片，以供應(yīng)FPGA的大電流需求，。子板的DC－DC模塊采用了Maxim公司的MAX1623（ ,3A），輸出電感采用了Pulse公司的PE53682。4）時鐘設(shè)計