【文章內(nèi)容簡(jiǎn)介】 到400MHZ以上。FPGA的低端產(chǎn)品在工藝和結(jié)構(gòu)上創(chuàng)新，性能的提高和價(jià)格的降低都是令人驚嘆的。Xilinx目前是世界上最大的FPGA供應(yīng)商之一。Xilinx 的VirtexIV是其標(biāo)志性的高端產(chǎn)品系列，它使用了90nm 的制造工藝，使得在創(chuàng)造了高性能與高密度的同時(shí)，功耗卻減半，全片高達(dá)500 MHz的運(yùn)行頻率，I/O接口方面也由于使用了新技術(shù)，可以支持500MHZ以上的數(shù)據(jù)傳輸速率。 FPGA廠商一般為用戶提供非常豐富的軟件支持，如Xilinx 公司的ISE 系列就是其FPGA產(chǎn)品的EDA軟件包，提供設(shè)計(jì)輸入、綜合、實(shí)現(xiàn)和驗(yàn)證以及板級(jí)集成。除電路圖外還支持狀態(tài)機(jī)產(chǎn)生、IP核和DSP設(shè)計(jì)，包括定時(shí)分析器，約束編輯器等等非常強(qiáng)大的功能來(lái)輔助用戶設(shè)計(jì)。 隨著半導(dǎo)體工藝技術(shù)的發(fā)展， ASIC的系統(tǒng)速度也從120MHz提升到300MHz，但ASIC的設(shè)計(jì)成本和技術(shù)風(fēng)險(xiǎn)愈來(lái)愈高，并且從設(shè)計(jì)方案到ASIC產(chǎn)品商業(yè)應(yīng)用的周期也更長(zhǎng)。為適應(yīng)市場(chǎng)的快節(jié)奏，減少前期的設(shè)計(jì)成本、回避設(shè)計(jì)風(fēng)險(xiǎn)，F(xiàn)PGA是一個(gè)最好的選擇。它將原來(lái)ASIC設(shè)計(jì)修改周期從至少兩個(gè)月，減少到幾分鐘到幾小時(shí)之間，尤其適合產(chǎn)品的前期開(kāi)發(fā)和中小批量產(chǎn)品的應(yīng)用；并且FPGA設(shè)計(jì)成功后，可非常方便地向ASIC轉(zhuǎn)化。在ASIC設(shè)計(jì)中，F(xiàn)PGA可起到原型設(shè)計(jì)及驗(yàn)證的作用，在做原型設(shè)計(jì)及驗(yàn)證作用的FPGA的模型與設(shè)計(jì)的ASIC芯片的功能模型應(yīng)當(dāng)是相同的[22]．。FPGA在系統(tǒng)驗(yàn)證時(shí)帶來(lái)的益處有[23]．：l 對(duì)邏輯功能進(jìn)行全面驗(yàn)證l 對(duì)部分電路進(jìn)行時(shí)序驗(yàn)證，發(fā)現(xiàn)潛在的問(wèn)題l 可以進(jìn)行邏輯綜合過(guò)程驗(yàn)證l 加快設(shè)計(jì)流程，減少重新制版幾率，降低成本l 加快系統(tǒng)廠商的系統(tǒng)產(chǎn)品開(kāi)發(fā)l 方便系統(tǒng)廠商對(duì)邏輯功能全面確認(rèn)視頻編解碼芯片有兩種最基本的體系結(jié)構(gòu)：可編程結(jié)構(gòu)和專(zhuān)用結(jié)構(gòu)。在綜合了二者的特點(diǎn)基礎(chǔ)之上，還有一種混合結(jié)構(gòu)。以下對(duì)它們分別進(jìn)行介紹。1） 可編程結(jié)構(gòu)[17]．可編程結(jié)構(gòu)是一個(gè)通用平臺(tái)，提供靈活的各種算法實(shí)現(xiàn)可能性，其實(shí)質(zhì)是設(shè)計(jì)一個(gè)執(zhí)行指令的硬件核（如RISC核）[19]．，通過(guò)在其上運(yùn)行程序?qū)崿F(xiàn)解碼功能。它靈活，適用范圍廣，能對(duì)不同的算法提供支持，易于升級(jí)，但是它為了提供多功能解碼支持，必須增加硬件電路的復(fù)雜性，從而導(dǎo)致電路功耗的增加。對(duì)于圖像格式比較大的碼流，為了保證解碼任務(wù)的適時(shí)性，必須提高軟件的并行度，這給編制程序帶來(lái)了很大困難。隨著計(jì)算機(jī)硬件的發(fā)展，當(dāng)前的計(jì)算機(jī)運(yùn)算處理功能非常強(qiáng)大，但是考慮到視頻圖像處理運(yùn)算的特殊性，一些算法在通用的處理器上并不能得到有效的實(shí)現(xiàn)。在可編程結(jié)構(gòu)中，需要增強(qiáng)處理器的某些功能來(lái)適應(yīng)面向視頻圖像處理的特殊算法。216。 子字并行性：有的圖像算法對(duì)數(shù)據(jù)處理精度要求不高，因此可以在ALU中并行處理多組數(shù)據(jù)。216。 超長(zhǎng)指令字：在一條指令中實(shí)現(xiàn)多個(gè)操作，由譯碼器實(shí)現(xiàn)指令的調(diào)度、執(zhí)行。216。 協(xié)處理器：對(duì)于特殊的功能，用硬件實(shí)現(xiàn)，在通過(guò)軟件對(duì)其輸入、輸出進(jìn)行控制，比如對(duì)變長(zhǎng)碼的處理，一般的可編程多媒體視頻處理器均有獨(dú)立于CPU的VLD處理模塊。216。 存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)：由于視頻圖像處理的數(shù)據(jù)量非常大，存儲(chǔ)結(jié)構(gòu)對(duì)系統(tǒng)的整體性能影響相當(dāng)大。2）專(zhuān)用結(jié)構(gòu)[25]．專(zhuān)用視頻解碼器結(jié)構(gòu)不具備可編程性，它是針對(duì)某個(gè)算法或某一類(lèi)算法而設(shè)計(jì)和優(yōu)化的硬件電路，每個(gè)處理單元可以最大程度的與算法特點(diǎn)相匹配，視頻解碼的各種任務(wù)映射到不同硬件處理單元上，針對(duì)特定的算法進(jìn)行系統(tǒng)結(jié)構(gòu)和子模塊優(yōu)化，可以最大程度地與算法特點(diǎn)相匹配。專(zhuān)用視頻解碼器結(jié)構(gòu)與可編程結(jié)構(gòu)相比，其硬件消耗小，處理速度高，但它的可擴(kuò)展性差。采用專(zhuān)用芯片的視頻系統(tǒng)的優(yōu)點(diǎn)是速度快，一旦專(zhuān)用芯片設(shè)計(jì)成功，其生產(chǎn)成本相對(duì)較低，而且實(shí)現(xiàn)容易，控制簡(jiǎn)單，適合大規(guī)模生產(chǎn)。缺點(diǎn)是不易修改，而且專(zhuān)用芯片設(shè)計(jì)成本高，設(shè)計(jì)周期也較長(zhǎng)。雖然隨著計(jì)算機(jī)技術(shù)的發(fā)展，可編程結(jié)構(gòu)將會(huì)是視頻處理體系結(jié)構(gòu)的發(fā)展趨勢(shì)，但是專(zhuān)用的視頻處理結(jié)構(gòu)由于功能單一，可以最大程度的優(yōu)化結(jié)構(gòu)，提高集成度，滿足低功耗的要求。因此會(huì)在消費(fèi)電子類(lèi)和移動(dòng)圖像處理等對(duì)功能要求不高，但強(qiáng)調(diào)低功耗、低成本、高集成度的應(yīng)用中得到廣泛應(yīng)用。專(zhuān)用圖像處理器結(jié)構(gòu)的SoC也有廣泛的發(fā)展前景。3）混合結(jié)構(gòu)[26]．如前所述，隨著編碼效率的提高和許多新功能的加入，視頻編解碼標(biāo)準(zhǔn)的算法變得越來(lái)越復(fù)雜，對(duì)運(yùn)算的需求也越來(lái)越大。但在一些視頻編碼中，運(yùn)算會(huì)主要集中在少數(shù)幾個(gè)模塊中，比如在MPEG4中，最主要的運(yùn)算任務(wù)集中于運(yùn)動(dòng)估計(jì)（ME）和形狀編碼（shapeencoding）部分，這兩者占去了整體運(yùn)算90％的復(fù)雜度。而對(duì)于較低的檔次不考慮形編碼的情況，運(yùn)動(dòng)估計(jì)對(duì)于運(yùn)算的集中需求更是顯著。其運(yùn)算明顯屬于規(guī)則的底層任務(wù)，而且需要從幀存中讀取大量的數(shù)據(jù)，對(duì)于這種情況，專(zhuān)用結(jié)構(gòu)和片內(nèi)緩沖區(qū)是非常重要的，這樣可以減少數(shù)據(jù)傳輸和提高運(yùn)算效率。而其他一些任務(wù)，比如DCT/IDCT, Q/IQ, 和運(yùn)動(dòng)補(bǔ)償，因?yàn)橐灿性S多規(guī)則運(yùn)算，因此也可以使用專(zhuān)用結(jié)構(gòu)，而可編程結(jié)構(gòu)更適合系統(tǒng)中需求較少但是高層次的任務(wù)，比如系統(tǒng)控制等等?；诘凸牡腄SP平臺(tái)的軟件方案應(yīng)用于目前一些商用視頻編解碼芯片中，它們一般都有較高的延展性，可以滿足未來(lái)多媒體豐富的功能，但是由于資源受限，在達(dá)到實(shí)時(shí)編解碼的時(shí)候不得不使用快速算法，因此降低了質(zhì)量。一些視頻芯片使用了專(zhuān)用的硬件結(jié)構(gòu)來(lái)獲得低功耗和較小的成本，它的缺點(diǎn)是缺少對(duì)未來(lái)延展的潛力和開(kāi)發(fā)成本較高，因此，也有一些編解碼芯片接收了兩者的優(yōu)點(diǎn)，產(chǎn)生了混合了軟硬件的結(jié)構(gòu)[18]．，這種結(jié)構(gòu)在性能和延展性上取得了某種平衡。混合結(jié)構(gòu)將視頻處理任務(wù)作軟硬件實(shí)現(xiàn)上的劃分。于是，它內(nèi)部既有可編程核，用于處理復(fù)雜的高級(jí)任務(wù)，同時(shí)又有專(zhuān)用處理模塊，處理中、低級(jí)任務(wù)。這種結(jié)構(gòu)既有可編程的靈活性，又兼有了專(zhuān)用結(jié)構(gòu)的功耗小、處理速度高等特性。圖 12是一個(gè)混合結(jié)構(gòu)的MPEG4編碼器的例子：圖 12混合結(jié)構(gòu)MPEG4編碼器結(jié)構(gòu)在這個(gè)結(jié)構(gòu)中，RISC負(fù)責(zé)系統(tǒng)的宏塊級(jí)的流水安排，編碼模式?jīng)Q定，運(yùn)動(dòng)矢量編碼等等高層任務(wù)。其他硬件模塊并行處理專(zhuān)用結(jié)構(gòu)算法從而提高了編解碼效率。所有的硬件模塊都被集成在一塊芯片中，系統(tǒng)編程需要的固件（Firmware）存儲(chǔ)在片外的PROM等器件中等待調(diào)用?；旌辖Y(jié)構(gòu)的系統(tǒng)的靈活性取決于系統(tǒng)任務(wù)軟、硬件劃分的情況。如果劃分到軟件實(shí)現(xiàn)的任務(wù)較多，且硬件實(shí)現(xiàn)的任務(wù)比較單一，那么系統(tǒng)的靈活性較好。 本研究的意義及論文主要內(nèi)容 如前所述，如果要開(kāi)發(fā)高性能的視頻編解碼器芯片，需要一整套的系統(tǒng)來(lái)支持這項(xiàng)龐大的工作。首先應(yīng)該有一個(gè)優(yōu)秀的開(kāi)發(fā)驗(yàn)證平臺(tái)，這個(gè)平臺(tái)應(yīng)該具有如下的特征來(lái)滿足開(kāi)發(fā)的需要[59]．：l 具有非常強(qiáng)大的可編程性l 具有非常高的性能以滿足視頻開(kāi)發(fā)越來(lái)越高的需求l 能夠同時(shí)滿足三種體系結(jié)構(gòu)的開(kāi)發(fā)需要l 具有良好的兼容性，供不同的視頻標(biāo)準(zhǔn)和不同的開(kāi)發(fā)情況使用l 具有功能強(qiáng)大的軟件和模塊支持l 可以進(jìn)行方便的測(cè)試和驗(yàn)證l 有完善的對(duì)外接口，供數(shù)據(jù)交換和視頻輸入輸出，并且使用方便l 在滿足以上條件情況下盡可能低成本本文基于上述的角度出發(fā)，提出了基于FPGA的高性能視頻開(kāi)發(fā)平臺(tái)的設(shè)計(jì)，這一設(shè)計(jì)是在原有的MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)的基礎(chǔ)上開(kāi)發(fā)設(shè)計(jì)的，滿足了上述的優(yōu)秀視頻開(kāi)發(fā)平臺(tái)的基本特征，具有非常強(qiáng)大的性能，可以保證視頻編解碼器的順利開(kāi)發(fā)。 本文整體結(jié)構(gòu)安排如下：首先是本文研究涉及的部分背景知識(shí)做一個(gè)介紹，接著介紹課題組在2003年開(kāi)發(fā)的MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)以及在其上進(jìn)行的專(zhuān)用解碼芯片開(kāi)發(fā)和專(zhuān)用解碼芯片的驗(yàn)證系統(tǒng)的開(kāi)發(fā)。接著介紹了高性能視頻開(kāi)發(fā)平臺(tái)的設(shè)計(jì)，包括了平臺(tái)設(shè)計(jì)的目標(biāo)和應(yīng)用范圍，平臺(tái)的硬件系統(tǒng)設(shè)計(jì)和軟件系統(tǒng)以及接口應(yīng)用模塊的開(kāi)發(fā)，最后介紹了基于高性能視頻開(kāi)發(fā)平臺(tái)開(kāi)發(fā)驗(yàn)證的例子。最后是本文的總結(jié)與展望。 具體章節(jié)安排如下： 第一章是背景知識(shí)介紹。第一部分主要包括常用視頻解碼標(biāo)準(zhǔn)及其發(fā)展歷程的介紹，第二部分介紹了視頻編解碼芯片的開(kāi)發(fā)方法與流程，第三部分是本文的章節(jié)安排。 第二章是MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)的介紹。第一部分對(duì)這個(gè)開(kāi)發(fā)系統(tǒng)做了一個(gè)簡(jiǎn)單的闡述，包括了開(kāi)發(fā)系統(tǒng)的性能指標(biāo)，框架結(jié)構(gòu)和重要模塊的硬件設(shè)計(jì)等等；第二部分介紹了MPEG4專(zhuān)用解碼芯片的開(kāi)發(fā)；第三部分介紹MPEG4專(zhuān)用解碼芯片的驗(yàn)證系統(tǒng)的設(shè)計(jì)；最后一個(gè)部分提出了這一開(kāi)發(fā)系統(tǒng)的缺陷與不足。 第三章提出了高性能視頻開(kāi)發(fā)驗(yàn)證平臺(tái)的設(shè)計(jì)。第一部分介紹了高性能視頻開(kāi)發(fā)驗(yàn)證平臺(tái)的框架體系和優(yōu)勢(shì)；第二部分著重介紹了平臺(tái)硬件系統(tǒng)的設(shè)計(jì)，包括平臺(tái)各個(gè)重要硬件組成部分；第三部分介紹平臺(tái)的PCB設(shè)計(jì)要點(diǎn)；第四部分介紹平臺(tái)的應(yīng)用軟件和接口應(yīng)用模塊。第四章是基于平臺(tái)進(jìn)行視頻編解碼器開(kāi)發(fā)驗(yàn)證的例子。第一部分介紹了基于平臺(tái)的AVS D1解碼器的開(kāi)發(fā)，第二部分介紹了基于平臺(tái)的AVS運(yùn)動(dòng)矢量預(yù)測(cè)模塊AGU的設(shè)計(jì)和仿真驗(yàn)證，第三部分是平臺(tái)與SMIC 。 第五章是全文的總結(jié)與展望。第2章 MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng) MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)簡(jiǎn)介基于FPGA的MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)是課題組于2003年設(shè)計(jì)的一個(gè)系統(tǒng)，其目的是為了在其上進(jìn)行MPEG4 ASP@L5視頻編解碼芯片的開(kāi)發(fā)研究[1]．。利用這個(gè)系統(tǒng)我們成功的開(kāi)發(fā)了MPEG4 ASP@L5的視頻解碼器并最終生產(chǎn)了ASIC芯片。這個(gè)系統(tǒng)是我們高性能視頻開(kāi)發(fā)驗(yàn)證平臺(tái)的基礎(chǔ)，本節(jié)主要對(duì)系統(tǒng)進(jìn)行簡(jiǎn)單的介紹。 性能指標(biāo)為了達(dá)到MPEG4 ASP@L5 的要求，我們?yōu)镸PEG4編解碼芯片開(kāi)發(fā)系統(tǒng)設(shè)定了如表 21所示的性能指標(biāo)：表 21 MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)性能指標(biāo)支持視頻標(biāo)準(zhǔn)MPEG4 ASP@L5最大視頻圖像尺寸720*576支持視頻輸入格式Y(jié)/C, CVBS支持視頻輸出格式Y(jié)/C, CVBS, VGA碼流輸入/輸出接口, RS232, IOBASET以太網(wǎng)解碼峰值碼率8Mbits/s編碼速率25幀/s外部存儲(chǔ)器接口8M bytes 32位SDRAM其他低功耗、有測(cè)試點(diǎn)和用戶輸入等 框架結(jié)構(gòu)開(kāi)發(fā)系統(tǒng)以兩片Xilinx公司的FPGA XC2V3000FG6764為主體，提供高達(dá)600萬(wàn)的現(xiàn)場(chǎng)可編程邏輯門(mén)作為視頻編解碼器的主體。片外配以8MB的32bit位寬的SDRAM, 其最高時(shí)鐘頻率可以達(dá)到133MB/s，同時(shí)配以完善的I/O接口（如RS23）用于測(cè)試和視頻碼流的輸入輸出，開(kāi)發(fā)系統(tǒng)的整體結(jié)構(gòu)如圖 21所示： 圖 21 MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)整體結(jié)構(gòu) 開(kāi)發(fā)系統(tǒng)在PCB上采用了子母板結(jié)構(gòu)：母板使用6層PCB, 對(duì)信號(hào)和電源要求較高的FPGA芯片以及SDRAM外存儲(chǔ)器都放置于母板上；子板使用2層PCB, 所有的IO芯片和接口都放置于子板上；子母板通過(guò)2個(gè)96pin 的金針排插進(jìn)行信號(hào)線連接和物理連接。其結(jié)構(gòu)如圖 22所示： 圖 22 MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)子母板結(jié)構(gòu)系統(tǒng)采用子母板結(jié)構(gòu)有如下的好處：1． 成本：因?yàn)镻CB的制造價(jià)格隨層數(shù)幾何增長(zhǎng)，2層板與6層PCB價(jià)格相差非常大，因此在對(duì)于電源信號(hào)等要求不高的IO接口板采用2層板，而對(duì)于板載FPGA和存儲(chǔ)器，要求較高的母板采用6層PCB在成本上有相當(dāng)大的節(jié)約。2． 減小相互干擾：母板上主要是數(shù)字信號(hào)，而子板上有許多IO接口是模擬信號(hào)。子母板結(jié)構(gòu)而且配合獨(dú)立電源可以盡可能減少數(shù)字與模擬信號(hào)之間的干擾。3． 兼容性：因?yàn)樽幽赴宓墓δ塥?dú)立而且分割清晰，所以在需要升級(jí)某項(xiàng)功能的時(shí)候，可以只升級(jí)母板或子板而不需要升級(jí)整個(gè)系統(tǒng)，有較強(qiáng)的兼容性。圖 23是MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)母板的結(jié)構(gòu)：圖 23 MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)母板結(jié)構(gòu)圖 24是MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)子板的結(jié)構(gòu)：圖 24 MPEG4編解碼芯片開(kāi)發(fā)系統(tǒng)子板結(jié)構(gòu) 重要硬件模塊設(shè)計(jì)1）FPGA芯片：開(kāi)發(fā)系統(tǒng)母板主芯片為兩片Xilinx公司的Virtex2 系列的XC2V3000FG6764 FPGA，其具體參數(shù)如表 22所示：表 22 XC2V3000FG6764參數(shù)XC2V3000FG6764參數(shù)系統(tǒng)門(mén)3,000,000最大內(nèi)部RAM448Kbits18Kbits塊RAM96個(gè)總的塊RAM1，728Kbits1818硬件乘法器96個(gè)時(shí)鐘DCM單元12個(gè)配置器件規(guī)模10,494,368 bits核電壓I/O支持電壓最大可用I/O數(shù)484 開(kāi)發(fā)系統(tǒng)共計(jì)擁有600萬(wàn)門(mén)的可編程邏輯能力。足以支持MPEG4 ASP@L5 編解碼器的開(kāi)發(fā)要求。配置電路選用Xilinx的在系統(tǒng)可編程（ISP）系列的PROMXC18V04，4Mbits容量，每片F(xiàn)PGA需要3個(gè)PROMXC18V04。由于在視頻編解碼開(kāi)發(fā)過(guò)程中最常用的下載方式還是JTAG配置模式，所以對(duì)每個(gè)FPGA芯片我們分別設(shè)計(jì)了一個(gè)JTAG接口來(lái)進(jìn)行配置。2）存儲(chǔ)芯片： 根據(jù)圖像尺寸，同時(shí)根據(jù)計(jì)算，在外存儲(chǔ)器中需要存儲(chǔ)4幀左右的圖像。根據(jù)圖像尺寸和編碼速率，我們計(jì)算出幀存的存取速率，進(jìn)而算出外存儲(chǔ)器SDRAM的時(shí)鐘頻率應(yīng)為30M左右，考慮到要留有相當(dāng)?shù)挠嗔浚?SDRAM采用了支持133M頻率的芯片。母板上的SDRAM選用64M位的型號(hào)，要求有4個(gè)bank，數(shù)據(jù)總線的寬度為32我們選用了8M的32位4 BANK 的SDRAM存儲(chǔ)器作為幀存。芯片為Winbond 公司的W986432DH。3）電源設(shè)計(jì) 系統(tǒng)母板和子板的主電源5V由外部交流穩(wěn)壓器或者從PC電源得到。要求其輸入電流大于3A，能夠提供15W以上的輸入功率。母板板載的DC－ 。母板的DCDC模塊采用了TI公司的TPS54613（ ,6A）和TPS54616（ ,6A）兩塊芯片，以供應(yīng)FPGA的大電流需求，。子板的DC－DC模塊采用了Maxim公司的MAX1623（ ,3A），輸出電感采用了Pulse公司的PE53682。4）時(shí)鐘設(shè)計(jì)