【正文】 給一個片，片中的宏塊按照掃描順序被編碼，每個片單獨傳輸。若某個片在傳輸過程中丟失，可以利用其他被正確接收、包含與丟失片中宏塊相鄰宏塊的片來進行有效的誤碼掩蓋。由于在解碼器中各個片被獨立解碼，從而有效地抑制了錯誤的蔓延，提高了解碼的容錯力。 冗余片技術(shù) [20]，簡單地講就是，在同一個比特流中，編碼器除了將片自身中已編碼的宏塊放置其中外，同一宏塊的 1 個或多個冗余的表示也同時被放置其中，通過利用宏塊的 1個或多個冗余表示來克服誤碼造成的不可用片對重構(gòu)圖像的影響。冗余片使用不同 的編碼參數(shù)來編碼，從而形成對同一宏塊的不同表示。正是這種主次冗余片不同編碼參數(shù)的運用，使得冗余片技術(shù)在花銷最少比特數(shù)的情況下，最大限度地保證了重構(gòu)圖像的質(zhì)量，在有誤碼傾向的移動信道或 IP 信道環(huán)境下尤為明顯。 率失真優(yōu)化模型 率失真優(yōu)化 (RDO， Rate Distortion optimized)策略 [11]是一種代價函數(shù)方案，它在網(wǎng)絡(luò)傳輸和編碼技術(shù)中有著廣泛的應(yīng)用。其主要思想是：在計算代價函數(shù)時，同時考慮碼率和失真度兩方面因素的制約，在保證低失真度的同時保證低碼率，這樣更加有利于視頻流的傳輸。 第 2 章 算法及其在 3G 中的應(yīng)用 第 26 頁 (共 77 頁 ) 在整個編碼器 編碼的過程中，碼率失真控制著整個編碼流程， 編碼器的幀內(nèi)幀間編碼的各種預(yù)測模式和宏塊劃分方法的最終選取都是依據(jù) RDO 模型的， RDO 技術(shù)在圖像的失真度和碼率之間做到了很好的權(quán)衡。在 編碼器中采用的是基于Lagrangian 優(yōu)化算法的編碼控制模型，其編碼性能相對于以往的所有編碼標(biāo)準(zhǔn)都有了很大的提高。 在給定的限定碼率 Rc 下，對于給定信源樣本序列所選的編碼模式，應(yīng)使編碼后的失真度最小，如式 29所示。 cR)I,S(R)I,S(Dm i n ? (29) 式 29中， D(s， I)與 R(s， I)分別表示輸出比特流的失真度和碼率， I為編碼模式， S為樣本。 在實際應(yīng)用中，通常采用式 210 來選取編碼模式。 )I,S(Jm i na r gI ?? (210) 其中： ? ? ? ? )I,S(RI,SDI,SJ ????? (211) 式 (211)中λ是 Lagrange 參數(shù)。對于樣本 S 及其選定的編碼模式 I，當(dāng)其編碼后得到的比特率和失真度的線性組合 J(S， I|λ )(Lagrangian 代價函數(shù) )最小時，此時的編碼模式是最優(yōu)的。 在 Lagrange 參數(shù)λ MODE 與量化參數(shù) Q 選定后， 的編碼器通過最小化Lagrangian 代價函數(shù)實現(xiàn)對每一個宏塊的編碼模式的選定。宏塊 Sk 的 Lagrangian代價函數(shù)如式 (212)所示。 ? ? )QI,S(R)QI,S(D,QI,SJ KKR E CM O D EKKR E CM O D EKKM O D E ????? (212) 在不同編碼模式下，編碼后比特流的比特率 RREC與失真度 DREC的計算并不完全相第 2 章 算法及其在 3G 中的應(yīng)用 第 27 頁 (共 77 頁 ) 同。在幀內(nèi)模式下， RREC為熵編碼后比特流的比特率，失真度 DREC則由宏塊的原始像素和重建像素決定，且共有 2種計算方式，分別如式 (213)和 (214)所示。 2A)y,x(|]t,y,x[39。s]t,y,x[s|SSD ???? (213) ? ?? ? ?? A)y,x( |]t,y,x[39。St,y,xS|S A D (214) 對于 SKIP 模式，由于無需殘差信號，因此比特率 RREC與失真度 DREC與量化參數(shù)無關(guān)。其中失真度 DREC由宏塊的原始像素值和預(yù)測像素值決定。 在幀間模式下，失真度 DDFD由式 (215)或式 (216)得到。 2A)y,x( tyx|]mt,my,mx[39。s]t,y,x[s|SSDi? ? ????? (215) |]mt,my,mx[39。s]t,y,x[s|S A DiA)y,x(tyx? ? ????? (216) 視具體情況而定，一般采用式 (216)來計算。 3G中的應(yīng)用 3G 移動通信系統(tǒng)中的視頻業(yè)務(wù) 多媒體視頻傳輸是 3G 系統(tǒng)的一個重要應(yīng)用 [60]， 3G 的一個 標(biāo)志就是多媒體應(yīng)用。根據(jù)所需的速率，最大所允許的端到端時延，以及最大的時延抖動， H． 264定義了三種視頻傳輸服務(wù)： (1)應(yīng)用于視頻電話和視頻會議的電路交換和包交換會話服務(wù)(PCS)。有嚴(yán)格的時延限制，在這種應(yīng)用中，編碼、傳輸和解碼實時地在雙向同時進行。 (2)應(yīng)用于直播和視頻錄像的包交換流媒體服務(wù) (ms)。與實時編碼相比對 時延要求降低，通常流媒體服務(wù)使用不可靠的傳輸協(xié)議，編碼和傳輸是分開的，而解碼／顯示與發(fā)送／傳輸同時進行。 (3)多媒體信息服務(wù) (MMS)。該類應(yīng)用沒有實時性的約束，編碼，傳輸和解碼完全分離。 第 2 章 算法及其在 3G 中的應(yīng)用 第 28 頁 (共 77 頁 ) 3G 系統(tǒng)及信道特性 3G 系統(tǒng)應(yīng)用高度復(fù)雜的無線鏈路技術(shù)，例如寬帶接入、分集技術(shù)、空時編碼、多天線系統(tǒng)、快速功率控制等，使得 3G 系統(tǒng)的無線空中接口技術(shù)相比 2G／ 2． 5G 系統(tǒng)有了很大的提高，在運動條件下能夠給用戶提供 384kbps 的信道帶寬，在靜止條件下提供的帶寬可以達到 2Mbps。但是由于無線信道固有的特點，使 得在 3G 環(huán)境下的視頻傳輸面臨著許多問題，主要原因包括： (1)帶寬波動。無線信道的吞吐量會因為多徑衰落、時延擴展、噪聲影響和多址干擾等原因而降低，而無線信道的容量會隨著基站與移動臺之間距離的變化而波動。當(dāng)移動臺在不同基站間切換時，信道帶寬往往會帶來劇烈的變換。因此，無線信道上的視頻業(yè)務(wù)必須充分考慮到信道帶寬的波動。(2)信道資源有限。無線網(wǎng)絡(luò)的信道帶寬資源非常有限，而且在系統(tǒng)繁忙時分配給每個用戶的帶寬會比系統(tǒng)空閑時少很多。而很多視頻業(yè)務(wù)對實時性要求比較高，需要視頻流能夠及時傳送。為了能在有限的網(wǎng)絡(luò)帶寬中傳送大 量的視頻數(shù)據(jù)，必須對原始視頻數(shù)據(jù)進行高效壓縮。因此，面向無線通信環(huán)境下的視頻編碼方法要有的壓縮能力，還要進行碼率控制，使得視頻流的輸出碼率能與無線信道帶寬有效匹配。 (3)信道誤碼率高。與有線網(wǎng)絡(luò)相比，無線信道具有很大的噪聲。無線網(wǎng)絡(luò)的時變特性與噪聲影響常常使傳輸?shù)目煽啃源鬄榻档?，在無線信道中經(jīng)常會出現(xiàn)連續(xù)的或突發(fā)性的傳輸錯誤。無線信道的誤碼率比較高，一般在 105 以上，有的應(yīng)用中甚至高達 102。因此，為了提高視頻傳輸?shù)目煽啃?，必須充分考慮視頻編碼數(shù)據(jù)的容錯性能。 (4)用戶終端設(shè)備簡單。手持無線終端設(shè)備 (手機、 無線 PDA 等 )是無線移動接入時適用的主要終端設(shè)備。對于這些簡易終端來說，由于追求移動性、方便性、低功耗和低成本，其處理能力與顯示能力與 PC 機相比都有很多限制。因此，用戶終端設(shè)備的特點決定了無線視頻業(yè)務(wù)中的視頻流的分辨率不可能很高，視頻播放的幀率必須降低，視頻編碼的復(fù)雜度也必須予以充分考慮。 編碼在 3G 中的應(yīng)用 由于 3G 通信系統(tǒng)固有的帶寬有限，誤碼率高等特點，以下從 H． 264 視頻流編碼的壓縮效率、網(wǎng)絡(luò)適應(yīng)性和容錯技術(shù) 3個方面分析和討論在 3G 中的應(yīng)用。 適用于 3G 的 H． 264 編碼技術(shù) 第 2 章 算法及其在 3G 中的應(yīng)用 第 29 頁 (共 77 頁 ) (1)幀內(nèi)預(yù)測編碼。在 H． 264/AVC 中，考慮到單個視頻圖像中存在的空間冗余度，當(dāng)對 I片進行編碼時可使用幀內(nèi)預(yù)測。這種幀內(nèi)預(yù)測不是在時間域，而是在空間域上進行的預(yù)測編碼算法，利用相鄰宏塊之間的相似性進行預(yù)測，獲得更高的壓縮效率。幀內(nèi)預(yù)測主要用在 I幀中，也可以用在 P 幀的幀內(nèi)編碼宏塊中。 (2)幀間預(yù)測編碼。 P 片和 B 片中的運動預(yù)測補償統(tǒng)稱為幀間預(yù)測編碼，由于采用了多種獨特的技術(shù)，使壓縮效率大大提高。例如，它們可以使用多種不同大小和形狀的幀間預(yù)測模式，能轉(zhuǎn)換成相當(dāng)于 15％左右的碼率節(jié)??；使用亞像素空間精度與使用 整數(shù)像素空間精度相比，能產(chǎn)生大于 20％的碼率節(jié)省；使用多參考幀預(yù)測與只使用一個參考幀相比，能產(chǎn)生 5— 10％的碼率節(jié)省。 (3)以整數(shù)變換為基礎(chǔ)的空間域變換。 H． 264 變換采用了 16 位的整數(shù)算法，在沒有損失精確度的情況下，避免了反變換的失配 (mismatch)問題。在量化過程中還可有機結(jié)合變換中的系數(shù)矩陣，使得變換過程中不再出現(xiàn)小數(shù)乘法問題，并且在量化過程中巧妙地回避了除法運算。同時也減少了方塊效應(yīng)，通過這些手段，進一步壓縮了圖像信息的冗余度，提高了壓縮效率。 (4)上下文相關(guān)的可變長度編碼 CAVLC。 H． 264 編碼在經(jīng)過系數(shù)變換和量化后，要對冗余塊進行 4 4(或 2 2)掃描，最后用 CAVLC 編碼。它根據(jù)已傳輸?shù)恼Z法元素的出現(xiàn)概率在現(xiàn)有變長編碼表中切換選擇編碼參數(shù)。利用相鄰塊間非零系數(shù)的個數(shù)相關(guān)和零系數(shù)集中在高頻段等特性，采用從高頻開始的逆向掃描方式，充分挖掘了數(shù)據(jù)的統(tǒng)計特性，提高了壓縮比。 (5)環(huán)路去塊效應(yīng)自適應(yīng)濾波 (In Loop Deblochng Filtering)。環(huán)內(nèi)去塊狀效應(yīng)自適應(yīng)濾波器在減少塊狀效應(yīng)的同時，并不影響圖像內(nèi)容的銳度 (sharpness)，使得圖像的主觀質(zhì)量有顯著提高。與此同時 ，同產(chǎn)生同樣客觀質(zhì)量的沒有濾波器的視頻流相比，采用去塊狀效應(yīng)濾波器通常要降低 5— 10％的比特率。 視頻流在 3G 中的傳輸適應(yīng)性 標(biāo)準(zhǔn)適用于無線網(wǎng)絡(luò)傳輸?shù)闹饕蛑痪褪窃诟拍钌戏譃閮蓪樱阂曨l編碼層 VCL(Video Coding Layer)和網(wǎng)絡(luò)抽象層 NAL(Network Abstraction Layer)，其第 2 章 算法及其在 3G 中的應(yīng)用 第 30 頁 (共 77 頁 ) 中 VCL負責(zé)高效的視頻內(nèi)容表示，它被設(shè)計成盡可能獨立的網(wǎng)絡(luò)， NAL 負責(zé)對編碼信息進行打包封裝并通過指定網(wǎng)絡(luò)進行傳輸。在 VCL 層和 NAL 層交接處定義了數(shù)據(jù)片(slice)層 。 NAL 有兩種工作模式：單數(shù)據(jù)片模式 SSM(Single Slice Mode)和數(shù)據(jù)分割模式 DPM(Data Partition Mode)。 SSM 模式是指一個 RTP 數(shù)據(jù)包中只含有一個數(shù)據(jù)片信息。 DPM 是指將數(shù)據(jù)片分割成 A、 B、 C 三個數(shù)據(jù)分區(qū)，分別被封裝到相應(yīng)的 RTP數(shù)據(jù)包中。 RTP 數(shù)據(jù)包必須按照先 A 后 B，最后 C 的順序進行發(fā)送，屬于同一數(shù)據(jù)片的 RTP 數(shù)據(jù)包時間戳也必須是一致的。由于 3G 網(wǎng)絡(luò)中的“全 IP”趨勢，未來 3G 無線網(wǎng)絡(luò)中的多媒體應(yīng)用必將大部分以分組交換方式來進行，通常 NAL 單元以 RTP 包形式按照 RTP／ DUP／ IP 協(xié)議進行封裝和傳輸。 中還定義了兩種新的幀編碼類型，即 SP 幀和 SI 幀來完成不同流的切換，可以根據(jù)傳輸網(wǎng)絡(luò)和用戶終端的具體情況自適應(yīng)地在不同碼率的視頻流之間切換，這大大改善了視頻流對 3G網(wǎng)絡(luò)的適應(yīng)性。 適合 3G 的容錯新技術(shù) （ 1）參數(shù)集 (Parameter Sets) H． 264 標(biāo)準(zhǔn)中，取消了序列層和圖像層，將原本屬于序列和圖像頭部的大部分句法元素分離出來形成序列參數(shù)集 SPS(Sequence Parameter Set)和圖像參數(shù)集PPS(Picture Parameter Set)。 序列參數(shù)集包括了與一個圖像序列有關(guān)的所有信息，如編碼所用的檔次和級別、圖像大小等，應(yīng)用于視頻序列。圖像參數(shù)集包含了屬于一個圖像的所有片的信息，如熵編碼方法、 FMO，宏塊到片組的映射方式等，應(yīng)用視頻序列中的一個或多個獨立的圖像。多個不同序列參數(shù)集和圖像參數(shù)集被解碼器正確接收后，被存儲于不同的己編碼位置，解碼器依據(jù)每個己編碼片的片頭的存儲位置選擇合適的圖像參數(shù)集來使用。在高誤碼率的無線傳輸信道環(huán)境下，使用參數(shù)集的關(guān)鍵是，要確保在相應(yīng)的 VCL 與NAL 單元到達解碼器時，參數(shù)集已可靠、及時地到達 解碼器。參數(shù)集的靈活使用可以大大提高錯誤恢復(fù)能力。 （ 2）冗余片（ Redundant Slice) 第 2 章 算法及其在 3G 中的應(yīng)用 第 31 頁 (共 77 頁 ) H． 264 編碼器除了對片內(nèi)的宏塊進行一次編碼外，還可以采用不同的編碼參數(shù)對同一個宏塊進行一次或多次編碼，生成冗余片，冗余片的信息也被編碼進同一個視頻流中。解碼器在能夠使用主片的情況下會拋棄冗余片，反之如果主片丟失，也可以通過冗余片來重構(gòu)質(zhì)量不高但可以接受的圖像。在 3G 無線移動信道高誤碼率的情況下，非常適合采用該技術(shù)。 (3)靈活的宏塊排序 (FMO) FMO 技術(shù)通過片組 (slice group)技術(shù)來實現(xiàn)。片組 是由一個或者多個片組成，而每個片中通常包括一系列的宏塊。采用 FMO 進行視頻編碼的好處在于，可以使因信道傳輸而引起的錯誤分散。具體實施方法是：幀圖中的宏塊可以組成一個或幾個片組，每一個片組單獨傳輸，當(dāng)一個片