【正文】 的應(yīng)用進(jìn)行 系統(tǒng)裁剪和選擇 。為此， MPEG4 提供了一個(gè)包含各種工具和算法的工具箱，給出了 各種任意形狀 可視對(duì)象的高效表達(dá)式。 MPEG4 可用于各種圖片和視頻的高效壓縮 ； 圖片和視頻的基于內(nèi)容 的編碼 ； 紋理、圖片和視頻的基于內(nèi)容的可伸縮性 ； 空域、時(shí)域和質(zhì)量的可伸縮性 。 誤碼環(huán)境下的堅(jiān)韌性和恢復(fù)能力。而對(duì)合成節(jié)目源中可視信息的編碼，包括人臉及相應(yīng)動(dòng)畫流的參數(shù)描述、帶有紋理映射的靜態(tài)和動(dòng)態(tài)網(wǎng)格編碼以及依賴于觀看應(yīng)用的紋理編碼。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) MPEG4 可視信息的 碼率范圍 可從 5 ~ 64 kb/s ( CIF以下的分辨率和 15 Hz以下的幀頻 ) 直至 64 kb/s ~ 4 Mb/s ( ITUR 601的各種圖像分辨率 )，并支持 MPEG1 和 MPEG2 已經(jīng)提供的大多數(shù)功能。 MPEG4支持的碼率和相應(yīng)的功能如圖 。 圖 MPEG4支持的碼率和相應(yīng)的功能圖 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 圖 甚低比特率視頻核 —— VLBV core (Very Low Bit Rate Video core )。該核提供了 5 ~ 64 kb/s 的甚低比特率業(yè)務(wù)的算法和工具，它支持甚低分辨率 ( 從每行每列的幾個(gè)像素到 CIF 級(jí)分辨率，即每幀 288 行，每行 352 個(gè)像素 ) 和甚低幀速率 ( 0 ~ 15 Hz ) 的圖像序列。 圖 左上方的是 MPEG4 的 高比特率核 —— HBRV core ( Higher Bit Rate Video core )。它提供了 64 kb/s ~ 4 Mb/s 的高比特率圖像傳輸?shù)墓ぞ吆退惴?。這些工具和算法與 VLBV core 所提供的是相同的。 HBRV core的 主要應(yīng)用對(duì)象是多媒體廣播、數(shù)字電視圖像級(jí)別的交互信號(hào)傳遞。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) MPEG4 與 MPEG1 / 2 的 不同之處 在于， MPEG1 /2 中輸入、進(jìn)行編碼的圖像區(qū)域是標(biāo)準(zhǔn)矩形區(qū)域，而 MPEG4 可以是 任意形狀區(qū)域 。 如果 MPEG4 中輸入的圖像序列沒有分解成一系列不同形狀的 VOP，而是傳統(tǒng)的矩形區(qū)域， MPEG4就不必對(duì) VOP的形狀信息進(jìn)行編碼，那么該編碼過程就和 MPEG1 /2一樣了。圖 。 由此， MPEG4 的 “基于內(nèi)容” 的編碼方法可以看做是MPEG1 /2 編碼方法的擴(kuò)展 。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 圖 MPEG4甚低碼率編碼與通用編碼 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 為了高效地降低圖像信號(hào)的時(shí)間冗余度， MPEG4 使用了基于塊的 運(yùn)動(dòng)估值和補(bǔ)償技術(shù) 。它主要采用 三種圖像類型 ： ( 1 ) IVOP ( Intra VOP )，它是不采用基準(zhǔn)圖像的編碼而產(chǎn)生的圖像。 ( 2 ) PVOP ( Predicted VOP )，它采用上一個(gè) IVOP 或上一個(gè) PVOP 來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。 ( 3 ) BVOP ( BidirectionallyPredicted VOP )，它同時(shí)采用前面和后面的 IVOP 或 PVOP 作基準(zhǔn)，進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼。 三種圖像幀結(jié)構(gòu)關(guān)系如圖 所示。 圖 幀結(jié)構(gòu)關(guān)系示意圖 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 二 . MPEG4 基于 VOP的視頻編碼 基于矩形幀編碼的傳統(tǒng)視頻編碼標(biāo)準(zhǔn) ( 如 / 、MPEG1 /MPEG2 ) 在實(shí)際應(yīng)用中也獲得了巨大成功。然而 MPEG4并不滿足于此，它的目標(biāo)在于采用 現(xiàn)代圖像編碼方法 ，利用人眼的視覺特性，抓住圖像信息傳輸?shù)谋举|(zhì)，從輪廓、紋理的思路出發(fā)，支持 基于視覺內(nèi)容 的交互功能。而實(shí)現(xiàn)基于內(nèi)容交互功能的關(guān)鍵在于基于視頻對(duì)象的編碼。 圖 所示為 MPEG4 基于內(nèi)容 圖像編碼方法的簡(jiǎn)化原理圖。 從矩形幀到 VOP， MPEG4 順應(yīng)了現(xiàn)代圖像壓縮編碼的發(fā)展潮流，即從 基于像素 的傳統(tǒng)編碼向 基于對(duì)象和內(nèi)容 的現(xiàn)代編碼的轉(zhuǎn)變。MPEG4視頻編碼技術(shù)翻開了圖像編碼史上嶄新的一頁(yè)。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 圖 MPEG4 基于內(nèi)容圖像編碼方法的簡(jiǎn)化原理圖 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 面向?qū)ο?的編碼方式有以下幾個(gè)優(yōu)點(diǎn) : (1) 不同的對(duì)象可以采用不同的 編碼方案，因而具有最大的靈活性和可持續(xù)發(fā)展性。 (2) 相同的對(duì)象不 需要重復(fù)編碼 ，只需要給出不同的位置信息。 (3) 有些不變的對(duì)象，可以不用編碼傳送或只需要傳送簡(jiǎn)單的位移信息。 (4) 重要的對(duì)象采用 高質(zhì)量畫面 ，不重要的對(duì)象采用高效壓縮方法，背景甚至可以在接收端虛擬。 (5) 在傳送過程中，某些對(duì)象信息的丟失，不影響場(chǎng)景中的其它對(duì)象。 (6) 作者可以很方便地在場(chǎng)景中隨意放置對(duì)象，改變它的 形狀 或音響效果。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) ( 7 ) 具有很強(qiáng)的互操作性。 ( 8 ) 觀眾可以選擇不同的語(yǔ)言。 三 . MPEG4視頻信號(hào)編碼基本框圖 MPEG4 基本編碼結(jié)構(gòu)包括形狀編碼 ( 對(duì)任意形狀的 VSP 編碼 )、運(yùn)動(dòng)補(bǔ)償和紋理編碼。其中運(yùn)用的主要技術(shù)是運(yùn)動(dòng)估值補(bǔ)償、 DCT 變換 ( 采用標(biāo)準(zhǔn)的 8 8 DCT或自適應(yīng) DCT ) 和混合 DPCM ( 差分脈沖編碼 ) 等，如圖 ，該圖與圖 基本相同。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 圖 MPEG4編碼器基本框圖 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 167。 標(biāo)準(zhǔn) 一 . 標(biāo)準(zhǔn)中的主要技術(shù) 標(biāo)準(zhǔn)的主導(dǎo)思想是與現(xiàn)有的視頻編、解碼標(biāo)準(zhǔn)一致的 —— 基于 塊的混合編碼方法 。但是它同時(shí)運(yùn)用了大量不同的技術(shù)，使得其 視頻編碼性能遠(yuǎn)遠(yuǎn)優(yōu)于 任何其它標(biāo)準(zhǔn)。 標(biāo)準(zhǔn)采用了與已經(jīng)制定的視頻編碼標(biāo)準(zhǔn) ( 如 H. 263 和MPEG4 ) 相類似的一些編、解碼方法。主要包括如下幾項(xiàng)技術(shù)： (1) 將每個(gè)視頻圖像分成 16 16的像素宏塊 ，使得視頻圖像能以像素宏塊為單位進(jìn)行處理。 (2) 利用時(shí)域相關(guān)性。時(shí)域上的相關(guān)性存在于那些連續(xù)圖像的塊之間，這就使得在編碼的時(shí)候只需要 編碼那些差值 即可。 一般是通過運(yùn)動(dòng)估值和運(yùn)動(dòng)補(bǔ)償來(lái)利用時(shí)域相關(guān)性的。 對(duì)于一個(gè)像素塊來(lái)說(shuō)，在已經(jīng)編碼好的前一幀或前幾幀圖像中搜索其相關(guān) 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 像素塊，從而獲得其運(yùn)動(dòng)矢量，而該運(yùn)動(dòng)矢量就在編碼端和解碼端被用來(lái) 預(yù)測(cè)當(dāng)前像素塊 。 (3) 利用殘差的空域冗余度。在運(yùn)動(dòng)估值后， 編碼端只需要編碼殘差 即可，也就是對(duì)當(dāng)前塊與其相應(yīng)的預(yù)測(cè)塊的 差值進(jìn)行編碼 。編碼過程還是采用 變換、量化、掃描輸出 和 熵編碼 等步驟。 (4) 其它技術(shù)包括傳統(tǒng)的 4∶ 2∶ 0 的色度數(shù)據(jù)與亮度數(shù)據(jù)的采樣關(guān)系，塊運(yùn)動(dòng)矢量，超越圖像邊界的運(yùn)動(dòng)矢量，變換塊大小的劃分，可分級(jí)的量化， I、 P 和 B圖像類型等。 與以往的編碼方法的 不同之處 有以下幾個(gè)方面 ： 1. 運(yùn)動(dòng)估值和運(yùn)動(dòng)補(bǔ)償 H. 264 采用了不同大小和形狀的宏塊分割與亞分割的方法。一個(gè)宏塊的 16 16 亮度值可以按照 16 1 16 8 16 或 8 8 進(jìn)行分割，而如果選擇了 8 8分割，那么還可以按照 8 8 4 8 或 4 4進(jìn)行 亞分割 。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 2. 幀內(nèi)預(yù)測(cè) 在以往標(biāo)準(zhǔn)中，都是采用的幀間預(yù)測(cè)的方式，而只 采用幀內(nèi)( Intra )編碼的圖像稱為 I 圖像 。在 I 圖像中是直接把像素塊的數(shù)值進(jìn)行變換。這樣處理的結(jié)果就導(dǎo)致 I 圖像包含了大量的信息，壓縮效率不是很高。 根據(jù)相鄰像素可能有相同的性質(zhì)，利用了相鄰像素的相關(guān)性，采用了 新的幀內(nèi) ( Intra ) 預(yù)測(cè)模式 。通過當(dāng)前像素塊的左邊和上邊的像素 (已編碼重建的像素 )進(jìn)行預(yù)測(cè)，只對(duì)實(shí)際值和預(yù)測(cè)值的 差值進(jìn)行編碼 ，這樣就能用較少的比特?cái)?shù)來(lái)表達(dá)幀內(nèi)( Intra )編碼的像素塊信息。在 H. 264 標(biāo)準(zhǔn)中，亮度塊可以有 9 種 4 4 塊和 4種 16 16塊的 幀內(nèi) ( Intra ) 預(yù)測(cè)模式 ，而色度 8 8 塊的 4 種模式與亮度的 4種 16 16塊的模式相同。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 3. 幀間預(yù)測(cè) 幀間預(yù)測(cè)用于降低圖像的時(shí)域相關(guān)性，通過采用 多幀參考 和更小運(yùn)動(dòng)預(yù)測(cè)區(qū)域 等方法，對(duì)下一幀進(jìn)行精確預(yù)測(cè)，從而減少傳輸?shù)臄?shù)據(jù)量。每個(gè)亮度宏塊被劃分成形狀不等的區(qū)域，作為運(yùn)動(dòng)描述區(qū)域。其劃分方法有 16 1 16 8 1 8 8 共 4 種。 當(dāng)選用 8 8方式時(shí) , 可以進(jìn)一步劃分成 8 8 4 8 和4 4 共 4個(gè) 子區(qū)域 。每個(gè)區(qū)域包含自己的運(yùn)動(dòng)矢量，每個(gè)運(yùn)動(dòng)矢量和區(qū)域選取信息必須通過編碼傳輸。因此，當(dāng)選用較大區(qū)域時(shí)，用于表示運(yùn)動(dòng)矢量和區(qū)域選取的數(shù)據(jù)量減少，但運(yùn)動(dòng)補(bǔ)償后的殘差會(huì)增大 。 當(dāng)選用小區(qū)域時(shí)，殘差減少 ，預(yù)測(cè)更精確，但用于表示運(yùn)動(dòng)矢量和區(qū)域選取的數(shù)據(jù)量會(huì)增大。大區(qū)域適合反映幀間同質(zhì)部分，小區(qū)域適合表現(xiàn)幀間的細(xì)節(jié)部分。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 4. 整數(shù)變換 把 運(yùn)動(dòng)估值 和幀內(nèi) ( Intra ) 預(yù)測(cè)的殘差結(jié)果 從時(shí)域變換到頻域，使用了類似于 4 4 離散余弦變換 ( Discrete Cosine Transform， DCT ) 的整數(shù)變換，而不是像 MPEG2和 MPEG4那樣采用 8 8 DCT 的浮點(diǎn)數(shù)變換。 由于 使用的是以整數(shù)為基礎(chǔ)的空間變換，具有效果好、計(jì)算快 ( 只需加法與移位運(yùn)算 )，反變換過程中不會(huì)出現(xiàn)失配問題等優(yōu)點(diǎn)，并且結(jié)合量化過程，保證了在 16位計(jì)算系統(tǒng)中，計(jì)算結(jié)果有最大精度且不會(huì)溢出。同時(shí)，由于變換塊大小從 8 8變?yōu)? 4 4，能夠 減少塊效應(yīng)和震鈴效應(yīng) 。根據(jù)殘差系數(shù)的不同， 采用了 3 種整數(shù)變換矩陣，如圖 。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 圖 3種整數(shù)變換矩陣 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 二 . H. 264 標(biāo)準(zhǔn)至少包括以下應(yīng)用領(lǐng)域： (1) 建立在有線、衛(wèi)星、有線調(diào)制解調(diào)器、 DSL等上的廣播 。 (2) 可用于光或磁設(shè)備的存儲(chǔ)，如 DVD。 (3) 通過 ISDN、以太網(wǎng)、局域網(wǎng)、 DSL、無(wú)線移動(dòng)網(wǎng)等進(jìn)行 會(huì)話服務(wù) 。 (4) 通過 ISDN、以太網(wǎng)、局域網(wǎng)、 DSL、無(wú)線移動(dòng)網(wǎng)等進(jìn)行 圖像 傳輸 或 多媒體流服務(wù) 。 (5) 通過 ISDN、以太網(wǎng)、局域網(wǎng)、 DSL、無(wú)線移動(dòng)網(wǎng)等提供 多媒體 消息服務(wù) ( MMS ) 。 第 5 章 視頻壓縮編碼標(biāo)準(zhǔn) 具體應(yīng)用為有線電視 ( CATV )、衛(wèi)星圖像直接廣播 ( DBS )、數(shù)字地面電視廣播 ( DTTB )、交互存儲(chǔ)媒介 ( ISM )、多媒體郵件 ( MMM )、 IP 包網(wǎng)絡(luò)上多媒體服務(wù) ( MSPN )、實(shí)時(shí)通信服務(wù) ( RTC )、 遠(yuǎn)程圖像監(jiān)視 ( RVS )、 數(shù)字電視移動(dòng)接收 、 手機(jī)電視等。而且該標(biāo)準(zhǔn)也考慮被未來(lái)網(wǎng)絡(luò)所利用。