【文章內容簡介】 (8)不支持冗余片。擴展檔次(Extended Profile)主要應用于流媒體中，如視頻點播。其解碼器支持的特性如下：(1)B片類型；(2)SP和S1類型；(3)數據分層片；(4)自適應雙向編碼(Weighted Prediction)；(5)Baseline中支持的所有特性；(6)支持場編碼：(7)支持幀場自適應編碼；(8)不支持隔行掃描和CABAC。(High Profile)，它主要是在MainProfile的基礎上新增了8x8幀內預測、自定義量化(custom quant)及無損視頻編碼(lossless video coding)等。 ：視頻編碼層(VCL，Video Coding Layer)和網絡提取層(NAL，Network Abstraction Layer)，如圖23【1】所示。其中VCL負責高效的視頻內容表示，NAL負責以網絡所要求的恰當的方式對數據進行打包和傳送。這樣，高編碼效率和網絡友好性的任務分別由VCL和NAL來完成。圖23 Figure23 hierarchical structureVCL數據即編碼處理的輸出，它表示被壓縮編碼后的視頻數據序列。在VCL數據傳輸或存儲之前，這些編碼的VCL數據，先被映射或封裝進NAL單元中。NAL包括自己的頭部信息、段結構信息和實際載荷信息。每個NAL單元包括一個原始字節(jié)序列負荷(RBSP)、一組對應于視頻編碼數據的NAL頭信息。NAL單元序列的機構見圖24【11】圖24 NAL單元序列Figure24 NAL unit sequence 高精度的運動估計。即真正的運動矢量的位移可能是以l/4甚至1/8像素為基本單位的。顯然，運動矢量位移的精度越高，則幀間剩余誤差越小，傳輸碼率越低，即壓縮比越高[12]。在H．264中采用了6階FIR濾波器的內插獲得1/2像素位置的值。當1/2像素值獲得后，l/4像素值可通過線性內插獲得，對于4：l：1的視頻格式，亮度信號的l/4像素精度對應于色度部分的1/8像素的運動矢量，因此需要對色度信號進行1/8像素的內插運算。理論上，如果將運動補償的精度增加一倍(例如從整像素精度提高到1/2像素精度)，但實際驗證發(fā)現在運動矢量精度超過1/8像素后，系統基本上就沒有明顯增益了，因此，只采用了1/4像素精度的運動矢量模式，而不是采用1/8像素的精度。 靈活的運動補償 每個宏塊(16X16像素)可以4種方式分割：一個16X1 6，兩個16X8，兩個8X16，四個8X8。其運動補償也相應有四種。而8X8模式的每個子宏塊還可以四種方式分割：一個8X8，兩個4X8或兩個8X4及4個4X4。詳見圖25[13]所示。這些分割和子宏塊大大提高了各宏塊之間的關聯性。這種分割下的運動補償則稱為樹狀結構運動補償[11]。圖25 Figure25 in the macro block and submacroblock partition每個分割或子宏塊都有一個獨立的運動補償。每個MV必須被編碼、傳輸，分割的選擇也需編碼到壓縮比特流中。對大的分割尺寸而言，MV選擇和分割類型只第79頁(共77頁)需少量的比特，但運動補償殘差在多細節(jié)區(qū)域能量將非常高。小尺寸分割運動補償殘差能量低，但需要較多的比特表征MV和分割選擇。分割尺寸的選擇影響了壓縮性能。整體而言，大的分割尺寸適合平坦區(qū)域，而小尺寸適合多細節(jié)區(qū)域。宏塊的色度成分(Cr和Cb)則為相應亮度的一半(水平和垂直各一半)。色度塊采用和亮度塊同樣的分割模式，只是尺寸減半(水平和垂直方向都減半)。 幀內預測在視頻編碼中，通常的方法是把整幅圖像分為若干宏塊，然后對每一個宏塊進行編碼。在編碼時采用Intra或Inter兩種模式。在Intra模式中通常直接對宏塊進行DCT變換，對變換系數進行熵編碼。這樣做在一定程度上消除了幀內的空間冗余度，但是由于DCT只是利用了宏塊內部像素之間的相關性，而沒有考慮相鄰宏塊問的相關性。，利用相鄰宏塊的相關性對待編碼的宏塊進行預測，對預測殘差進行變換編碼，以消除空間冗余。以前的標準是在變換域中進行預測，【14】。，幀內亮度塊預測分為l6xl6的預測和4x4的預測。其中亮度4x4塊有9種預測模式，如圖26【15】所示。圖26 4x4亮度塊的9種預測模式Figure26 4x4 luminance of 9 prediction model4x4亮度塊的預測模式描述詳見表21【11】。表21 4x4亮度塊預測模式描述Table21 4x4 luminance prediction models described16xl6的亮度塊，有4種預測模式，如圖27【15】所示。圖27 16x16亮度塊的4種預測模式Figure27 16x16 luminance block of four kinds of prediction mode表22 16x16塊的預測模式描述Table22 16x16 block prediction model description16x16亮度塊的預測模式描述詳見表22【11】。色度塊的預測是固定的8x8的，其預測與16xl6類似，也有4種預測模式，只是模式編號不同。其中DC(模式O)，水平(模式1)，垂直(模式2)，平面(模式3)。 整數DCT變換及量化4的整數DCT變換作為殘差宏塊的基本變換，這種變換的對象是經過運動補償預測或者幀內預測后的包含殘差數據的44塊。這類變換是基于DCT變換，但又不同于DCT。，便于使用簡單的定點運算方式。變換的單位是44塊，而不是以往常用的88塊。由于用于變換塊的尺寸縮小，運動物體的劃分更精確，這樣，不但變換計算量比較小，而且在運動物體邊緣處的銜接誤差也大為減小。圖28 DCT變換中宏塊的變換塊及掃描順序Figure28 DCT transform block to the blocks in the macro and scanning order如圖28[16]所示，[17]：(1)宏塊中的每個44亮度塊以及44色度塊的DCT變換，變換矩陣H1如公式(21)。(2)對宏塊中的44亮度直流系數的Hadamard變換，其變換矩陣H2如公式(22)。(3)對宏塊中22色度直流系數的Hadamard變換。其變換矩陣H3如公式(23)。 (21) (22) (23)在對塊進行了DCT變換以后，由于圖像的信息主要集中在低頻部分，高頻分量很小。這時候，就需要對這些變換后的系數進行量化。量化主要就是將每個圖像樣點編碼映射成較小的數值。： (24)其中，Yij是待量化的系數，Zij是輸出的量化系數，QStep是量化步長，round（）是取整函數。QStep的取值與量化參數（QP）有關，QP的范圍是051，它與量化步長的對應關系如表23所示，QP值每增加1，%，QP每增加6，QStep加倍。表23 Qstep與QP的對應關系Table23 Qstep and correspondence between QP，還要處理DCT變換中未處理完的計算，可表述為： (25)其中PF代表DCT變換中的縮放矩陣，再轉化： (26)其中： (27) (28)那么，只要建立一個QP和PF的對應關系，就可以對系數進行量化，計算出MF值。量化的時候，可通過QP值算出qbits，再根據OP，取出對應的MF值，就可以對矩陣進行量化了。表24 Table24 in the MF value 熵編碼多媒體數據壓縮的方法可分為有損壓縮和無損壓縮。利用信源的統計特性進行碼率壓縮的編碼就稱為熵編碼，也叫統計編碼。熵編碼是無損壓縮編碼方法，它生成的碼流可以經解碼無失真地恢復出原數據。除了指數型Golomb碼和基于上下文的變長編碼(CAVLC)相結合的熵編碼技術之外，(CABAC：Context—based Adaptive Binary Arithmetic Coding)技術。CABAC【11,18】充分發(fā)揮了算術編碼壓縮效率高的特點，其思想是用O到1的區(qū)間上的一個數來表示一個字符輸入流，它的本質是為整個輸入流分配一個碼字，而不是給輸入流中的每個字符分別指定碼字。CABAC是用區(qū)間遞進的方法來為輸入流尋找這個碼字的，它從于第一個符號確定的初始區(qū)間(O到1)開始，逐個字符地讀入輸入流，在每一個新的字符出現后遞歸地劃分當前區(qū)間，劃分的根據是各個字符的概率，將當前區(qū)間按照各個字符的概率劃分成若干子區(qū)間，將當前字符對應的子2區(qū)間取出，作為處理下一個字符時的當前區(qū)間。到處理完最后一個字符后，得到了最終區(qū)間，在最終區(qū)間中任意挑選一個數作為輸出。CAVLC的基本思想【11】就是對出現頻率大的符號使用較短的碼字，而出現頻率小的符號采用較長的碼字。這樣可以使得平均碼長最小。CAVLC用于亮度和色度殘差數據的編碼。殘差經過變換量化后的數據表現出如下特性：44塊數據經過預測、變換、量化后，非零系數主要集中在低頻部分，而高頻系數大部分是零；量化后的數據經過zigzag掃描，DC系數附近的非零系數值較大，而高頻位置上的非零系數值大部分是+1和1；相鄰的44塊的非零系數的數目是相關的。CAVLC充分利用殘差經過整數變換、量化后數據的特性進行壓縮，進一步減少數據中的冗余信息。與CABAC相比，CAVLC的復雜度相對較低，壓縮率比CABAC低1O％～15％，不過比起以前的熵編碼方案，CAVLC已經相當有效，而且CAVLC更為簡單，易于實現。 環(huán)路濾波技術去塊效應濾波器(Deblocking Filter)的作用是消除經反量化和反變換后重建圖像中由于預測誤差產生的塊效應，即塊邊緣處的像素值跳變，從而一來改善圖像的主觀質量，二來減少預測誤差。出現方塊效應的原因，一是在對塊的幀內和幀間預測殘差的DCT變換過程中，由于量化系數過于粗糙，因而反量化過程恢復的量化系數就帶有誤差，會造成圖象方塊邊界的視覺不連續(xù)性。二是運動補償預測，運動補償塊可能是從不同幀的不同位置上的內插樣點數據中復制而來的，因此運動補償塊的匹配不可能是絕對準確的，所以在運動補償塊的邊界處將出現數據不連續(xù)性。，采用的是4x4的DCT變換，與以前標準相比塊效應相對小些，但從視覺上看仍較為明顯，因此采用了一個自適應的環(huán)路濾波器，以盡量消除塊效應現象。[19]。其邊界強度(BS)從O4，對不同的塊邊緣采用不同強度的濾波過程。濾波過程一般是先對垂直邊界進行水平濾波，再對水平邊界進行垂直濾波。 抗誤碼技術H．264標準也是通過多種抗誤碼技術的聯合應用來增強視頻流在誤碼、丟包多發(fā)環(huán)境(如無線和IP信道)中傳輸的魯棒性。：參數集、靈活的宏塊排列次序(FMO)和冗余片技術。參數集[20]，它所包含的信息極其重要，它的受損將影響到大量的VCL和NAL單元，被影響的單元即使能正確接收到也不能被正確解碼。參數集的靈活使用大大增強了編解碼器的抗誤碼能力。由于采用了可靠的傳輸機制和性能更好的信道，參數集能被及時可靠地送達解碼器端，保證了相應VCL與NAL單元的正確解碼。靈活的宏塊排列次序[20](FMO)允許以不同于圖像掃描順序的組織方式將宏塊分配給各片，在這種方式中，每個宏塊按照宏塊配置圖固定地分配給一個片，片中的宏塊按照掃描順序被編碼，每個片單獨傳輸。若某個片在傳輸過程中丟失，可以利用其他被正確接收、包含與丟失片中宏塊相鄰宏塊的片來進行有效的誤碼掩蓋。由于在解碼器中各個片被獨立解碼，從而有效地抑制了錯誤的蔓延，提高了解碼的容錯力。冗余片技術[20]，簡單地講就是，在同一個比特流中，編碼器除了將片自身中已編碼的宏塊放置其中外，同一宏塊的1個或多個冗余的表示也同時被放置其中，通過利用宏塊的1個或多個冗余表示來克服誤碼造成的不可用片對重構圖像的影響。冗余片使用不同的編碼參數來編碼，從而形成對同一宏塊的不同表示。正是這種主次冗余片不同編碼參數的運用，使得冗余片技術在花銷最少比特數的情況下，最大限度地保證了重構圖像的質量，在有誤碼傾向的移動信道或IP信道環(huán)境下尤為明顯。 率失真優(yōu)化模型率失真優(yōu)化(RDO，Rate Distortion optimized)策略[11]是一種代價函數方案，它在網絡傳輸和編碼技術中有著廣泛的應用。其主要思想是：在計算代價函數時，同時考慮碼率和失真度兩方面因素的制約，在保證低失真度的同時保證低碼率，這樣更加有利于視頻流的傳輸。在整個編碼器編碼的過程中，碼率失真控制著整個編碼流程，RDO技術在圖像的失真度和碼率之間做到了很好的權衡。，其編碼性能相對于以往的所有編碼標準都有了很大的提高。在給定的限定碼率Rc下，對于給定信源樣本序列所選的編碼模式，應使編碼后的失真度最小，如式29所示。 (29)式29中，D(s，I)與R(s，I)分別表示輸出比特流的失真度和碼率，I為編碼模式，S為樣本。在實際應用中，通常采用式210來選取編碼模式。 (210)其中：