【文章內(nèi)容簡介】 (8)不支持冗余片。擴(kuò)展檔次(Extended Profile)主要應(yīng)用于流媒體中，如視頻點播。其解碼器支持的特性如下：(1)B片類型；(2)SP和S1類型；(3)數(shù)據(jù)分層片；(4)自適應(yīng)雙向編碼(Weighted Prediction)；(5)Baseline中支持的所有特性；(6)支持場編碼：(7)支持幀場自適應(yīng)編碼；(8)不支持隔行掃描和CABAC。(High Profile)，它主要是在MainProfile的基礎(chǔ)上新增了8x8幀內(nèi)預(yù)測、自定義量化(custom quant)及無損視頻編碼(lossless video coding)等。 ：視頻編碼層(VCL，Video Coding Layer)和網(wǎng)絡(luò)提取層(NAL，Network Abstraction Layer)，如圖23【1】所示。其中VCL負(fù)責(zé)高效的視頻內(nèi)容表示，NAL負(fù)責(zé)以網(wǎng)絡(luò)所要求的恰當(dāng)?shù)姆绞綄?shù)據(jù)進(jìn)行打包和傳送。這樣，高編碼效率和網(wǎng)絡(luò)友好性的任務(wù)分別由VCL和NAL來完成。圖23 Figure23 hierarchical structureVCL數(shù)據(jù)即編碼處理的輸出，它表示被壓縮編碼后的視頻數(shù)據(jù)序列。在VCL數(shù)據(jù)傳輸或存儲之前，這些編碼的VCL數(shù)據(jù)，先被映射或封裝進(jìn)NAL單元中。NAL包括自己的頭部信息、段結(jié)構(gòu)信息和實際載荷信息。每個NAL單元包括一個原始字節(jié)序列負(fù)荷(RBSP)、一組對應(yīng)于視頻編碼數(shù)據(jù)的NAL頭信息。NAL單元序列的機(jī)構(gòu)見圖24【11】圖24 NAL單元序列Figure24 NAL unit sequence 高精度的運動估計。即真正的運動矢量的位移可能是以l/4甚至1/8像素為基本單位的。顯然，運動矢量位移的精度越高，則幀間剩余誤差越小，傳輸碼率越低，即壓縮比越高[12]。在H．264中采用了6階FIR濾波器的內(nèi)插獲得1/2像素位置的值。當(dāng)1/2像素值獲得后，l/4像素值可通過線性內(nèi)插獲得，對于4：l：1的視頻格式，亮度信號的l/4像素精度對應(yīng)于色度部分的1/8像素的運動矢量，因此需要對色度信號進(jìn)行1/8像素的內(nèi)插運算。理論上，如果將運動補(bǔ)償?shù)木仍黾右槐?例如從整像素精度提高到1/2像素精度)，但實際驗證發(fā)現(xiàn)在運動矢量精度超過1/8像素后，系統(tǒng)基本上就沒有明顯增益了，因此，只采用了1/4像素精度的運動矢量模式，而不是采用1/8像素的精度。 靈活的運動補(bǔ)償 每個宏塊(16X16像素)可以4種方式分割：一個16X1 6，兩個16X8，兩個8X16，四個8X8。其運動補(bǔ)償也相應(yīng)有四種。而8X8模式的每個子宏塊還可以四種方式分割：一個8X8，兩個4X8或兩個8X4及4個4X4。詳見圖25[13]所示。這些分割和子宏塊大大提高了各宏塊之間的關(guān)聯(lián)性。這種分割下的運動補(bǔ)償則稱為樹狀結(jié)構(gòu)運動補(bǔ)償[11]。圖25 Figure25 in the macro block and submacroblock partition每個分割或子宏塊都有一個獨立的運動補(bǔ)償。每個MV必須被編碼、傳輸，分割的選擇也需編碼到壓縮比特流中。對大的分割尺寸而言，MV選擇和分割類型只第79頁(共77頁)需少量的比特，但運動補(bǔ)償殘差在多細(xì)節(jié)區(qū)域能量將非常高。小尺寸分割運動補(bǔ)償殘差能量低，但需要較多的比特表征MV和分割選擇。分割尺寸的選擇影響了壓縮性能。整體而言，大的分割尺寸適合平坦區(qū)域，而小尺寸適合多細(xì)節(jié)區(qū)域。宏塊的色度成分(Cr和Cb)則為相應(yīng)亮度的一半(水平和垂直各一半)。色度塊采用和亮度塊同樣的分割模式，只是尺寸減半(水平和垂直方向都減半)。 幀內(nèi)預(yù)測在視頻編碼中，通常的方法是把整幅圖像分為若干宏塊，然后對每一個宏塊進(jìn)行編碼。在編碼時采用Intra或Inter兩種模式。在Intra模式中通常直接對宏塊進(jìn)行DCT變換，對變換系數(shù)進(jìn)行熵編碼。這樣做在一定程度上消除了幀內(nèi)的空間冗余度，但是由于DCT只是利用了宏塊內(nèi)部像素之間的相關(guān)性，而沒有考慮相鄰宏塊問的相關(guān)性。，利用相鄰宏塊的相關(guān)性對待編碼的宏塊進(jìn)行預(yù)測，對預(yù)測殘差進(jìn)行變換編碼，以消除空間冗余。以前的標(biāo)準(zhǔn)是在變換域中進(jìn)行預(yù)測，【14】。，幀內(nèi)亮度塊預(yù)測分為l6xl6的預(yù)測和4x4的預(yù)測。其中亮度4x4塊有9種預(yù)測模式，如圖26【15】所示。圖26 4x4亮度塊的9種預(yù)測模式Figure26 4x4 luminance of 9 prediction model4x4亮度塊的預(yù)測模式描述詳見表21【11】。表21 4x4亮度塊預(yù)測模式描述Table21 4x4 luminance prediction models described16xl6的亮度塊，有4種預(yù)測模式，如圖27【15】所示。圖27 16x16亮度塊的4種預(yù)測模式Figure27 16x16 luminance block of four kinds of prediction mode表22 16x16塊的預(yù)測模式描述Table22 16x16 block prediction model description16x16亮度塊的預(yù)測模式描述詳見表22【11】。色度塊的預(yù)測是固定的8x8的，其預(yù)測與16xl6類似，也有4種預(yù)測模式，只是模式編號不同。其中DC(模式O)，水平(模式1)，垂直(模式2)，平面(模式3)。 整數(shù)DCT變換及量化4的整數(shù)DCT變換作為殘差宏塊的基本變換，這種變換的對象是經(jīng)過運動補(bǔ)償預(yù)測或者幀內(nèi)預(yù)測后的包含殘差數(shù)據(jù)的44塊。這類變換是基于DCT變換，但又不同于DCT。，便于使用簡單的定點運算方式。變換的單位是44塊，而不是以往常用的88塊。由于用于變換塊的尺寸縮小，運動物體的劃分更精確，這樣，不但變換計算量比較小，而且在運動物體邊緣處的銜接誤差也大為減小。圖28 DCT變換中宏塊的變換塊及掃描順序Figure28 DCT transform block to the blocks in the macro and scanning order如圖28[16]所示，[17]：(1)宏塊中的每個44亮度塊以及44色度塊的DCT變換，變換矩陣H1如公式(21)。(2)對宏塊中的44亮度直流系數(shù)的Hadamard變換，其變換矩陣H2如公式(22)。(3)對宏塊中22色度直流系數(shù)的Hadamard變換。其變換矩陣H3如公式(23)。 (21) (22) (23)在對塊進(jìn)行了DCT變換以后，由于圖像的信息主要集中在低頻部分，高頻分量很小。這時候，就需要對這些變換后的系數(shù)進(jìn)行量化。量化主要就是將每個圖像樣點編碼映射成較小的數(shù)值。： (24)其中，Yij是待量化的系數(shù)，Zij是輸出的量化系數(shù)，QStep是量化步長，round（）是取整函數(shù)。QStep的取值與量化參數(shù)（QP）有關(guān)，QP的范圍是051，它與量化步長的對應(yīng)關(guān)系如表23所示，QP值每增加1，%，QP每增加6，QStep加倍。表23 Qstep與QP的對應(yīng)關(guān)系Table23 Qstep and correspondence between QP，還要處理DCT變換中未處理完的計算，可表述為： (25)其中PF代表DCT變換中的縮放矩陣，再轉(zhuǎn)化： (26)其中： (27) (28)那么，只要建立一個QP和PF的對應(yīng)關(guān)系，就可以對系數(shù)進(jìn)行量化，計算出MF值。量化的時候，可通過QP值算出qbits，再根據(jù)OP，取出對應(yīng)的MF值，就可以對矩陣進(jìn)行量化了。表24 Table24 in the MF value 熵編碼多媒體數(shù)據(jù)壓縮的方法可分為有損壓縮和無損壓縮。利用信源的統(tǒng)計特性進(jìn)行碼率壓縮的編碼就稱為熵編碼，也叫統(tǒng)計編碼。熵編碼是無損壓縮編碼方法，它生成的碼流可以經(jīng)解碼無失真地恢復(fù)出原數(shù)據(jù)。除了指數(shù)型Golomb碼和基于上下文的變長編碼(CAVLC)相結(jié)合的熵編碼技術(shù)之外，(CABAC：Context—based Adaptive Binary Arithmetic Coding)技術(shù)。CABAC【11,18】充分發(fā)揮了算術(shù)編碼壓縮效率高的特點，其思想是用O到1的區(qū)間上的一個數(shù)來表示一個字符輸入流，它的本質(zhì)是為整個輸入流分配一個碼字，而不是給輸入流中的每個字符分別指定碼字。CABAC是用區(qū)間遞進(jìn)的方法來為輸入流尋找這個碼字的，它從于第一個符號確定的初始區(qū)間(O到1)開始，逐個字符地讀入輸入流，在每一個新的字符出現(xiàn)后遞歸地劃分當(dāng)前區(qū)間，劃分的根據(jù)是各個字符的概率，將當(dāng)前區(qū)間按照各個字符的概率劃分成若干子區(qū)間，將當(dāng)前字符對應(yīng)的子2區(qū)間取出，作為處理下一個字符時的當(dāng)前區(qū)間。到處理完最后一個字符后，得到了最終區(qū)間，在最終區(qū)間中任意挑選一個數(shù)作為輸出。CAVLC的基本思想【11】就是對出現(xiàn)頻率大的符號使用較短的碼字，而出現(xiàn)頻率小的符號采用較長的碼字。這樣可以使得平均碼長最小。CAVLC用于亮度和色度殘差數(shù)據(jù)的編碼。殘差經(jīng)過變換量化后的數(shù)據(jù)表現(xiàn)出如下特性：44塊數(shù)據(jù)經(jīng)過預(yù)測、變換、量化后，非零系數(shù)主要集中在低頻部分，而高頻系數(shù)大部分是零；量化后的數(shù)據(jù)經(jīng)過zigzag掃描，DC系數(shù)附近的非零系數(shù)值較大，而高頻位置上的非零系數(shù)值大部分是+1和1；相鄰的44塊的非零系數(shù)的數(shù)目是相關(guān)的。CAVLC充分利用殘差經(jīng)過整數(shù)變換、量化后數(shù)據(jù)的特性進(jìn)行壓縮，進(jìn)一步減少數(shù)據(jù)中的冗余信息。與CABAC相比，CAVLC的復(fù)雜度相對較低，壓縮率比CABAC低1O％～15％，不過比起以前的熵編碼方案，CAVLC已經(jīng)相當(dāng)有效，而且CAVLC更為簡單，易于實現(xiàn)。 環(huán)路濾波技術(shù)去塊效應(yīng)濾波器(Deblocking Filter)的作用是消除經(jīng)反量化和反變換后重建圖像中由于預(yù)測誤差產(chǎn)生的塊效應(yīng)，即塊邊緣處的像素值跳變，從而一來改善圖像的主觀質(zhì)量，二來減少預(yù)測誤差。出現(xiàn)方塊效應(yīng)的原因，一是在對塊的幀內(nèi)和幀間預(yù)測殘差的DCT變換過程中，由于量化系數(shù)過于粗糙，因而反量化過程恢復(fù)的量化系數(shù)就帶有誤差，會造成圖象方塊邊界的視覺不連續(xù)性。二是運動補(bǔ)償預(yù)測，運動補(bǔ)償塊可能是從不同幀的不同位置上的內(nèi)插樣點數(shù)據(jù)中復(fù)制而來的，因此運動補(bǔ)償塊的匹配不可能是絕對準(zhǔn)確的，所以在運動補(bǔ)償塊的邊界處將出現(xiàn)數(shù)據(jù)不連續(xù)性。，采用的是4x4的DCT變換，與以前標(biāo)準(zhǔn)相比塊效應(yīng)相對小些，但從視覺上看仍較為明顯，因此采用了一個自適應(yīng)的環(huán)路濾波器，以盡量消除塊效應(yīng)現(xiàn)象。[19]。其邊界強(qiáng)度(BS)從O4，對不同的塊邊緣采用不同強(qiáng)度的濾波過程。濾波過程一般是先對垂直邊界進(jìn)行水平濾波，再對水平邊界進(jìn)行垂直濾波。 抗誤碼技術(shù)H．264標(biāo)準(zhǔn)也是通過多種抗誤碼技術(shù)的聯(lián)合應(yīng)用來增強(qiáng)視頻流在誤碼、丟包多發(fā)環(huán)境(如無線和IP信道)中傳輸?shù)聂敯粜?。：參?shù)集、靈活的宏塊排列次序(FMO)和冗余片技術(shù)。參數(shù)集[20]，它所包含的信息極其重要，它的受損將影響到大量的VCL和NAL單元，被影響的單元即使能正確接收到也不能被正確解碼。參數(shù)集的靈活使用大大增強(qiáng)了編解碼器的抗誤碼能力。由于采用了可靠的傳輸機(jī)制和性能更好的信道，參數(shù)集能被及時可靠地送達(dá)解碼器端，保證了相應(yīng)VCL與NAL單元的正確解碼。靈活的宏塊排列次序[20](FMO)允許以不同于圖像掃描順序的組織方式將宏塊分配給各片，在這種方式中，每個宏塊按照宏塊配置圖固定地分配給一個片，片中的宏塊按照掃描順序被編碼，每個片單獨傳輸。若某個片在傳輸過程中丟失，可以利用其他被正確接收、包含與丟失片中宏塊相鄰宏塊的片來進(jìn)行有效的誤碼掩蓋。由于在解碼器中各個片被獨立解碼，從而有效地抑制了錯誤的蔓延，提高了解碼的容錯力。冗余片技術(shù)[20]，簡單地講就是，在同一個比特流中，編碼器除了將片自身中已編碼的宏塊放置其中外，同一宏塊的1個或多個冗余的表示也同時被放置其中，通過利用宏塊的1個或多個冗余表示來克服誤碼造成的不可用片對重構(gòu)圖像的影響。冗余片使用不同的編碼參數(shù)來編碼，從而形成對同一宏塊的不同表示。正是這種主次冗余片不同編碼參數(shù)的運用，使得冗余片技術(shù)在花銷最少比特數(shù)的情況下，最大限度地保證了重構(gòu)圖像的質(zhì)量，在有誤碼傾向的移動信道或IP信道環(huán)境下尤為明顯。 率失真優(yōu)化模型率失真優(yōu)化(RDO，Rate Distortion optimized)策略[11]是一種代價函數(shù)方案，它在網(wǎng)絡(luò)傳輸和編碼技術(shù)中有著廣泛的應(yīng)用。其主要思想是：在計算代價函數(shù)時，同時考慮碼率和失真度兩方面因素的制約，在保證低失真度的同時保證低碼率，這樣更加有利于視頻流的傳輸。在整個編碼器編碼的過程中，碼率失真控制著整個編碼流程，RDO技術(shù)在圖像的失真度和碼率之間做到了很好的權(quán)衡。，其編碼性能相對于以往的所有編碼標(biāo)準(zhǔn)都有了很大的提高。在給定的限定碼率Rc下，對于給定信源樣本序列所選的編碼模式，應(yīng)使編碼后的失真度最小，如式29所示。 (29)式29中，D(s，I)與R(s，I)分別表示輸出比特流的失真度和碼率，I為編碼模式，S為樣本。在實際應(yīng)用中，通常采用式210來選取編碼模式。 (210)其中：