【正文】 P 上的實(shí)現(xiàn)和優(yōu)化。通過(guò)對(duì)計(jì)算量要求最大的 DCT 和運(yùn)動(dòng)估計(jì)補(bǔ)償算法的改進(jìn)，獲得較好的效率提高。其涉及到各個(gè)層次上的優(yōu)化：編譯器優(yōu)化、存儲(chǔ)空間優(yōu)化、 C 語(yǔ)言級(jí)優(yōu)化和匯編優(yōu)化等。進(jìn)行深入探討之前，對(duì)課題涉及到的兩大關(guān)鍵點(diǎn)： MPEG． 4 視頻編碼技術(shù)和 DSP 處理器BF561 進(jìn)行詳細(xì)的介紹。 MPEG． 4于 1998 年 11 月成為國(guó)際標(biāo)準(zhǔn)， ISO 于 1999 年 1 月公布了 MPEG． 4(視頻和音頻對(duì)象的壓縮 )標(biāo)準(zhǔn)的第一版，隨后又于 1999 年 12 月公布了此標(biāo)準(zhǔn)的第二版，MPEG． 4 的正式 ISO 命名為 ISO／ IECl4496。 MPEG4 旨在提供在多媒體環(huán)境中有效存儲(chǔ)、傳送以及操作視頻數(shù)據(jù)的核心標(biāo)準(zhǔn)技術(shù)，建立一種能被多媒體傳輸、多媒體存儲(chǔ)、多媒體檢索等應(yīng)用領(lǐng)域普遍采納的統(tǒng)一的多媒體數(shù)據(jù)格式。 3．壓縮的數(shù)據(jù)在噪聲信道傳輸中具有恢復(fù)差錯(cuò)的魯棒性。 2． 1． 2 MPEG4 的核心思想 在 MPEG． 4 制定之前， MPEG． MPEG． H． 26 H． 263 都是采 用第一代壓縮編碼技術(shù)，著眼于圖像信號(hào)的統(tǒng)計(jì)特性來(lái)設(shè)計(jì)編碼器，屬于波形編碼的范疇。 MPEG4則代表了基于模型／對(duì)象的第二代壓縮編碼技術(shù)，它充分利用了人眼視覺(jué)特性，抓 住了圖像信息傳輸?shù)谋举|(zhì)，從輪廓、紋理思路出發(fā)，支持基于視覺(jué)內(nèi)容的交互功能，適應(yīng)了多媒體信息的應(yīng)用由播放型轉(zhuǎn)向基于內(nèi)容的訪(fǎng)問(wèn)、檢 索及操作的發(fā)展趨勢(shì)，如圖 21 所示。 AV 對(duì)象是聽(tīng)覺(jué)、視覺(jué)、或者視聽(tīng)內(nèi)容的表示單元，其基本單位是原始 AV 對(duì)象，它可以是自然的或合成的聲音、圖像。 MPEG4 不僅可提供高壓縮率，同時(shí)也可實(shí)現(xiàn)更好的多媒體內(nèi)容互動(dòng)性及全 方位的存取性，它采用開(kāi)放的編碼系統(tǒng)，可隨時(shí) 加入新的編碼算法模塊，同時(shí)也 可根據(jù)不同應(yīng)用需求現(xiàn)場(chǎng)配置解碼器，以支持多種多媒體應(yīng)用【 12】。每一個(gè)框架下定義了多個(gè)級(jí)(Level)，用于限制計(jì)算的復(fù)雜度，也適應(yīng)于不同編碼領(lǐng)域的細(xì)分要求，具有很大的靈活性。所以，考慮表 2． 1 所列三類(lèi)編碼框架。本章節(jié)重點(diǎn)介紹課題應(yīng)用的 SP 框架關(guān)鍵的技術(shù)，為后續(xù)章節(jié)的論述，打下基礎(chǔ)。是后續(xù)的 PVOP 所需運(yùn)動(dòng)估計(jì)的參考點(diǎn)，因此，在視頻碼流中需要周期性的插入 IVOP。 在實(shí)際的編碼中，一個(gè)視頻對(duì)象組 (GOV)包括一個(gè) I— VOP 和多個(gè) PVOP。好的運(yùn)動(dòng)估計(jì)算法可以快速確定匹配的運(yùn)動(dòng)估計(jì)向量，大大減少計(jì)算量，提高編碼速率。 下面主要介紹 MPEG 一 4 SP 框架區(qū)別于以 前編碼標(biāo)準(zhǔn)的一些特點(diǎn)： (1)1／ 2 或者 1／ 4 像素精度估計(jì) 考慮到前后兩幀的物體運(yùn)動(dòng)不一定是整數(shù)像素，為提供運(yùn)動(dòng)估計(jì)的精度，需要在 1／ 2 或者 1／ 4 像素位置內(nèi)插一個(gè)參考幀。因運(yùn)動(dòng)向量超出原有圖像的邊界，因此稱(chēng)為無(wú)限制運(yùn)動(dòng)向量。在 MPEG4 中以視頻包作為再同步單位瞳168。 (2)在重新建立同步之后，用數(shù)據(jù)恢復(fù)工具恢復(fù)前面丟失的數(shù)據(jù)。若紋理信息發(fā)生錯(cuò)誤，則用運(yùn)動(dòng)信息從上一個(gè)解碼的 VOP 中恢復(fù)出當(dāng)前的紋理。 2． 2 雙核 BF561 性能分析 Blackfin系列 DSP 是 AnalogDevices 與 Intel 聯(lián)合開(kāi)發(fā)的體現(xiàn)高性能體系架構(gòu)的第四代 DSP 產(chǎn)品。因而B(niǎo)lackfin DSP 在編程易用性、性能和功耗方面都有重大改進(jìn)，并經(jīng)過(guò)優(yōu)化設(shè)計(jì)，可用于在有功 率限制的應(yīng)用中，處理調(diào)制解調(diào)器、音頻、視頻、圖像和語(yǔ)音信號(hào)。DMAl 和 DMA2 用來(lái)進(jìn)行與外設(shè)進(jìn)行數(shù)據(jù)交換，每個(gè) DMA 都有 12 個(gè)可編程外設(shè) DMA 通道和兩個(gè) MDMA 通道； IMDMA 是內(nèi)部 MDMA，用于在片內(nèi)存儲(chǔ)單元間進(jìn)行數(shù)據(jù)傳輸。 2． 2． 2 BF561 的存儲(chǔ)結(jié)構(gòu) ADSP． BF561 的結(jié)構(gòu)體系將存儲(chǔ)器構(gòu)造成統(tǒng)一的 4GB 地址空間 【 23】，用32 位地址尋址。 L2 存儲(chǔ)器提供額外的容量，但性能稍低一些。 ADSP． BF561 的每一個(gè) DSP 核都擁有 100KB 的片上存儲(chǔ)空洲 241，即 Ll存儲(chǔ)空間。 ADSP． BF561的每個(gè) DSP核都有兩個(gè)數(shù)據(jù) SRAM單元，每個(gè)數(shù)據(jù)欄包括低地址的 16KB SRAM 單元，和高地址的 16KBCache／SRAM 單元。 此外， ADSP． BF561 還提供 128KB 的 L2 存儲(chǔ)器， L2 運(yùn)行在 1／ 2 處理器全速帶寬上，比 L1 存儲(chǔ)器的響應(yīng)時(shí)間要長(zhǎng)。對(duì)于較大數(shù)據(jù)量的程序和數(shù)據(jù)空間，可以使用 L2 內(nèi)存。這是通過(guò)將 L1 內(nèi)存配置成 SRAM，或指令 (數(shù)據(jù) )高速緩存器 (Cache)，或二者的結(jié)合來(lái)完成的。而傳統(tǒng) DSP 則不具有這種獨(dú)特而強(qiáng)大的功能。指令集還提供了體現(xiàn) BF561 全部特點(diǎn)的多功能指令，以使在一個(gè)指令中能夠使用多個(gè)DSP 內(nèi)核資源 m1。例如 AI+=R0． H,R1． H，A0+=R0． L,R1． L R2=[10++]l l[I 1++]=R3：在這個(gè)例子中，有兩個(gè)乘法／加法器操 作，一個(gè)讀一個(gè)寫(xiě)操作，還有地址指針自加操作。所以在編程中盡量采用并行指令和零開(kāi)銷(xiāo)循環(huán)來(lái) 完成算法，進(jìn)行流水線(xiàn)操作，同時(shí)注意地址的變化，處理器的空載。每個(gè)獨(dú)立的有 DMA 能力的 外設(shè)至少有一個(gè)專(zhuān)用 DMA 通道?？刂泼恳粋€(gè) BF561 外設(shè)的時(shí)鐘也能降低功耗網(wǎng)。 一是系統(tǒng)一般會(huì)提供多種多樣的用于連接其他子系統(tǒng)的外圍設(shè)備，這些外圍設(shè)備包括低速的串行端口 (如串行外圍接口 SPI 和通用異步收發(fā)器 UAI 玎 )、可編程通信接口 PCI、通用串行總線(xiàn) USB 以及外圍一些設(shè)備。數(shù)字信號(hào)處理器 DSP 適于處理大量的數(shù)據(jù)。因此， 采用 BF561 處理器，能夠以極佳的性?xún)r(jià)比實(shí)現(xiàn)音頻、視頻、圖像等多媒體信息實(shí)時(shí)編碼的功能，適合本課題的研發(fā)需求。 對(duì)于 BF561 知識(shí)概述部分著重介紹 BF61 適應(yīng)于多媒體丌發(fā)的特性。視頻編碼算法的主流是以離散余弦變換和運(yùn)動(dòng)估計(jì)為框架的混合編碼算法瞳 8J，其也被 MPEG 一 4 國(guó)際標(biāo)準(zhǔn)所采用。 原始的視頻數(shù)據(jù)輸入的時(shí)域編碼模塊，利用視頻時(shí)間上的相關(guān)性，通過(guò)參考幀進(jìn)行運(yùn)動(dòng)估計(jì)補(bǔ)償，減少時(shí)間上的冗余度。因此，凸顯出去研究 DCT／ IDCT 和運(yùn)動(dòng)估計(jì)算法，對(duì)提高編碼效率的重大作用。但是，不同于 KL 變換，其存在快速算法，能夠?qū)崟r(shí)編碼，因而其得到廣泛的使用。 3． 1． 1 DCT 算法理論基礎(chǔ) 在視頻編碼算法中，廣泛使用的 8*8 二維 DCT、 IDCT 的定義如下： 其中 f(i， J)是在 (f， J)位置處的像素值， u 和 v 分別是水平和垂直位置索引，而 常量 c(u)和 c(V)如下： 這樣經(jīng)過(guò)正交變換所得的結(jié)果 F(u， v)就是 DCT 系數(shù)，我們把其中的 F(O，0)成為直流系數(shù) (DC， Direct Coefficient) ，而其他的成為交流系數(shù) (AC，AlternatingCurrent)。 因此，在實(shí)際的應(yīng)用中，采用 DCT 快速算法，這也是 DCT 廣泛應(yīng)用的原因。多年以來(lái)，提出了一系列的 DCT 快速算法。表 31 介紹各種算法效率的特點(diǎn)。而不應(yīng)只考慮其中某個(gè)加法或乘法的運(yùn)算次數(shù)。乘法指令對(duì) 16 位的定點(diǎn)數(shù)據(jù)進(jìn)行相乘運(yùn)算，產(chǎn)生 32位結(jié)果，該結(jié)果可以累加或累減到 40 位的累加器中。 以 Fo 的計(jì)算過(guò)程，簡(jiǎn)單說(shuō)明算法蝶形圖的含義。 上述所求的 b 即 Fo 的值。下面顯示如何用fractl6 代替原始浮點(diǎn)數(shù)據(jù)。 例如下列語(yǔ)句： R0=[10++川 R1=[11++]； 可以在一個(gè)內(nèi)核周期內(nèi)完成，但是因 10， 11 地址空間緊密相連，所以，可能產(chǎn)生數(shù)據(jù)總線(xiàn)阻塞的現(xiàn)象，影響流水線(xiàn)的正常運(yùn)行。 對(duì)于相關(guān)的視頻圖像，發(fā)送端不一定必須把每幀圖像上所有的像素都傳給接收端，而只要將物體的運(yùn)動(dòng)的信息告知接收端，接收端就可以根據(jù)運(yùn)動(dòng)信息和前一幀圖像的內(nèi)容來(lái)更新當(dāng)前幀圖像，這比全部傳送每幀圖像的具體細(xì)節(jié)所需的數(shù)據(jù)量要小的多。運(yùn)動(dòng)補(bǔ)償則是通過(guò)當(dāng)前幀與參考幀對(duì)應(yīng)像素值相減，來(lái)形成一個(gè)殘差，這個(gè)殘差經(jīng)過(guò)編碼和變換，攜帶一些解碼器所需要的信息輸出到解碼器。殘差編碼后的大小是和經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償后殘留在殘差上的能量相關(guān)的。 塊匹配法相對(duì)簡(jiǎn)單，壓縮效率高，易于實(shí)時(shí)實(shí)現(xiàn)。 因此，運(yùn)動(dòng)估計(jì)的主要目標(biāo)就是使預(yù)測(cè)塊與當(dāng) Ij{『塊之間的殘差塊和運(yùn)動(dòng)向量的值盡量小，匹配誤差最小的參考?jí)K所對(duì)應(yīng)的位移就是所求的運(yùn)動(dòng)向量。 3． 2． 2 常用的搜索算法分析 確定了 匹配準(zhǔn)則后，就要通過(guò)運(yùn)動(dòng)搜索獲得最佳匹配塊，而如何進(jìn)行運(yùn)動(dòng)搜索。全搜索算法搜索到的結(jié)果是全局最優(yōu)。其采用一種由租到細(xì)的搜索模式，從搜索窗口中心丌始，以最大搜索長(zhǎng)度的一半為步長(zhǎng)檢測(cè)中心及周?chē)?8個(gè)鄰點(diǎn)的 SAD 值，找到 SAD 值最小點(diǎn)，下一步以該最小點(diǎn)為中心，步長(zhǎng)減半，并在縮小的方形的中心及周?chē)?9 個(gè)點(diǎn)找 SAD 最小點(diǎn)，依此類(lèi)推，直到步長(zhǎng)為 1。并且，沒(méi)有很好的利用視頻序列空間上的相關(guān)性。第一種模式如圖 36(a)所示，稱(chēng)為大 鉆石型搜索模式 (LDSP， Large Diamond Search Pattern)。 在 DS 算法中交替使用兩種搜索模板。但是DS 只是一種搜索策略上的折中處理，其性能上的缺陷表現(xiàn)在：不論是大運(yùn)動(dòng)視頻序列， 還是保持靜止的視頻序列， DS 算法同等地對(duì)待搜索區(qū)域的各個(gè)部分，而且都要經(jīng)歷從 LDSP 到 SDSP 的搜索過(guò)程，至少要對(duì) 13 個(gè)搜索點(diǎn)進(jìn)行計(jì)算。并且通過(guò)一系列的試驗(yàn)，驗(yàn)證了該算法的可行性和有效性。本文進(jìn)行如下統(tǒng)計(jì)分析：表 3． 2 統(tǒng)計(jì)相鄰塊運(yùn)動(dòng)向量相等時(shí)，當(dāng)前塊運(yùn)動(dòng)向量等于該值的概率，表 3． 3 統(tǒng)計(jì)利用相鄰塊各種組合進(jìn)行正確預(yù)測(cè)的比例。從表 3． 2 和表 3． 3 可知， 234 組合情 下正確率最高， H． 263 就使用了 234 組合來(lái)預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)向量。 3．改進(jìn)的搜索策略 FS 算法對(duì)每個(gè)候選點(diǎn)都進(jìn)行匹配計(jì)算，因此所得最優(yōu)匹配點(diǎn)即為全局最優(yōu)點(diǎn)。 1 范圍內(nèi)，且運(yùn) _pre動(dòng)向量的分布在水平和垂直方向要高于其他方向，因此在進(jìn)行運(yùn)動(dòng)搜索時(shí)，可有限考慮水平和垂直方向。否則，用菱形算法進(jìn)行搜索。 (2)預(yù)測(cè)當(dāng)前宏塊的運(yùn)動(dòng)向量。比較 (0， O)點(diǎn)和 V pre 對(duì)應(yīng)點(diǎn)的 SAD 值， SAD 值小的那個(gè)為起始搜索點(diǎn)。 (6)以 SAD 值最小的點(diǎn)為中心擴(kuò)展一個(gè)大菱形模板，在轉(zhuǎn)入 (5)。其中， Hall Monitor是典型的監(jiān)視序列，圖形運(yùn)動(dòng)微小、平緩； Football 屬于大運(yùn)動(dòng)序列； Mobile 屬于運(yùn)動(dòng)序列，圖像復(fù)雜。 從表 3． 6 可以看出，對(duì)于運(yùn)動(dòng)平緩的測(cè)試序列 Hall Monitor， DS 算法需要14． 58 個(gè)搜索點(diǎn)，本文算法只需要 2． 54 個(gè)搜索點(diǎn)；對(duì)于運(yùn)動(dòng)比較劇烈的 Mobile測(cè)試序列，本文算法平均搜索點(diǎn)數(shù)也只有 DS 算法的 1／ 3；即使對(duì)于運(yùn)動(dòng)非常劇烈的 Football 測(cè)試序列，平均搜索點(diǎn)數(shù)也只是 DS 算法的 1／ 2 左右。 根據(jù)視頻序列中運(yùn)動(dòng)向量相關(guān)性的研究，本文提出了基于預(yù)測(cè)的改進(jìn)菱形搜索算法，新算法引入了提前中止準(zhǔn)則，通過(guò)增加起點(diǎn)預(yù)測(cè)模塊，設(shè)計(jì)了新的菱形算法的流程。 運(yùn)動(dòng)估計(jì)算法的改進(jìn)以?xún)?yōu)秀的菱形算法為基礎(chǔ)，結(jié)合目前運(yùn)動(dòng)估計(jì)算法領(lǐng)域新的研究成果，設(shè)計(jì)了一種基于預(yù)測(cè)的菱形算法，通過(guò)試驗(yàn)驗(yàn)證了該算法的可行性和有效性。建立軟件平臺(tái)的作用是：一方面是進(jìn)行算法的研究、改進(jìn)和調(diào)試；另一方面作為 DSP 移植的基礎(chǔ)，便于 DSP 平臺(tái)的開(kāi)發(fā)和移植。 ADI 公司另外還增加了各種庫(kù)函數(shù)，使用起來(lái)更加方便。統(tǒng)計(jì)學(xué)的特性使編程者可以不用中止程序就能夠得到處理器性能，就像運(yùn)行了中斷一樣，這使得丌發(fā)者不用中斷程序的實(shí)時(shí)性就可以得到重要的代碼執(zhí)行情況，從而在本質(zhì)上可以找到軟件速度和效率的瓶頸，集中改進(jìn)影響程序性能的地方。 4． 2 MPEG 一 4 SP 編碼框架概述 MPEG． 4 SP 編碼框架定義面向甚低碼率視頻通信標(biāo)準(zhǔn)【 50】。其中，內(nèi)部宏塊的紋理編碼采用 DCT 變換和 AC／ DC 預(yù)測(cè)，進(jìn)一步降低了碼率。目前 MPEG． 4 SP 己成為嵌入式系統(tǒng)開(kāi)發(fā)的首選。經(jīng)過(guò)運(yùn)動(dòng)估計(jì)補(bǔ)償、離散余弦編碼(DCT)、量化、游程編碼和可變長(zhǎng)編碼等過(guò)程。視頻采集采用 ADI 公司的 AD7183， CCD 攝像頭采集到的模擬視頻信號(hào)經(jīng)過(guò) AD71 83 轉(zhuǎn)換為數(shù)字視頻信號(hào)通過(guò)并行外部接口 (PPI)送到 BF561 處理器。壓縮后的視頻碼流通過(guò)串行外設(shè)接口 (SPI)輸出到網(wǎng)卡發(fā)送到網(wǎng)絡(luò)，或者直接解碼送到顯示 設(shè)備實(shí)時(shí)播放。 3．在 PC 平臺(tái)上面，進(jìn)行算法的初步優(yōu)化，除去不必要的代碼，調(diào)整函數(shù)的個(gè)數(shù)，把一些使用頻繁的小函數(shù) ，直接寫(xiě)入代碼中，進(jìn)行移植的準(zhǔn)備。 6．修改數(shù)據(jù)的輸入輸出模式，輸入源變?yōu)閿z像頭，輸出源變?yōu)?SDRAM 上面的緩存，最后以數(shù)據(jù)塊的形式，寫(xiě)入文件。 10．修改輸入控制代碼，實(shí)現(xiàn) BF561 雙核在宏塊層上的并行處理。移植的步驟如下： 1．在 VisualDSP 4． 5++下，建立一個(gè)“ MPEG． 4 encoder”的項(xiàng)目組，根據(jù)開(kāi)發(fā)環(huán)境的特點(diǎn)。要注意，如果代碼的位置在 corea 項(xiàng)目?jī)?nèi)，說(shuō)明代碼存放在內(nèi)核 A 的 L1 空間，如果代碼的位置在 sml3 項(xiàng)目?jī)?nèi)，說(shuō)明代碼存放在外部的 SDRAM。 4． VisualDSP 4． 5++完全支持 C 語(yǔ)言，對(duì)于 C 語(yǔ)言的絕大部