【文章內容簡介】 于視頻直播。 多描述編碼簡介穩(wěn)健的視頻編碼壓縮方法是實時網(wǎng)絡視頻傳輸?shù)年P鍵，多描述編碼是近年來興起的一種新的面向不可靠信道傳輸?shù)木幋a方法，與分層編碼同屬錯誤恢復范疇，即通過冗余信息使解碼器具有一定的錯誤恢復能力。 多描述編碼的基本原理多描述編碼可以理解成這樣一個問題：在發(fā)端，一個信息源有多種描述形式，這些描述構成一個集合，接收端從集合的子集中盡可能的精確恢復出信息源。這與多用戶信息論中的多址接入問題十分相似。實際上常把多描述編碼抽象成多用戶信息論的問題，很多多描述編碼的理論結果直接來源于多用戶信息論，或是用其中的方法、結論加上特定的條件推導得到。多描述編碼的模型見圖22：圖22 多描述編碼模型信源通過多描述編碼器得到、…多個描述，各描述通過獨立的信道傳送到解碼端，解碼器最少接收0個描述，最多接收n個描述，一共有1種接收情況。顯然接收到的描述數(shù)目不同，解碼器能恢復的信源程度也不同，當所有描述都收到時，能最大限度地恢復信源，收到的描述少，恢復的效果要差一些。有關收到描述與信源失真之間的關系一直是多描述編碼的難點，在理論上它等價于多用戶的信息率失真問題，但在應用中不完全由理論指導實踐，還要考慮算法復雜度、算法效率等實際問題。 在實時視頻傳輸中，多描述編碼作為保證傳輸可靠性的一種有效方法得到了應用。其基本思想是對同一視頻內容采用多個描述，每個描述分別在獨立的信道上傳送，并且接收端根據(jù)每個描述都可以獲得可接受的視頻質量，同一視頻的多個描述結合起來可以使視頻質量得到增強，圖23為兩個描述情況下的多描述編碼示意圖。進行MDC編碼的意義在于，如果一幅圖像是通過多個獨立的描述疊加合成的，那么，丟失其中的一個描述只是降低重建圖像的質量，而不會終止整個解碼過程。圖23 兩描述編碼的框圖為了保證從任一描述中都可以恢復出一定質量的視頻，每個描述都必須包含足夠多的視頻信息，這意味著多描述編碼方案要比一般的編碼方案效率低。但是由于同一視頻內容的所有描述在采用不同信道傳輸?shù)倪^程中同時被破壞的概率非常小，因此與一般編碼方法相比，這種編碼方法雖然會降低壓縮效率，但在傳輸時提高了可靠性。 常用的多描述編碼方法多描述編碼可以從預測、量化、DCT變換、熵編碼、信道編碼等方面進行。目前已有的應用于靜態(tài)圖像和視頻編碼的多描述編碼算法主要分為以下幾類：1)基于量化的多描述編碼；2)基于變換的多描述編碼；3)基于空域或變換域的多描述編碼；4)基于時域采樣的多描述編碼；5)基于空間亞采樣的多描述編碼等。在實際應用中主要是從編碼冗余度、編碼質量、編碼復雜度、丟包復原能力、主觀效果等方面考察算法的優(yōu)劣。1) 基于量化的多描述編碼多描述量化的基本思想是：設計量化區(qū)間相互重疊的量化器(通常一個量化器的量化區(qū)間是另一個的平移)，每個量化器量化原信號產生一個描述。對兩個描述的多描述編碼，收到一個描述時，相當于原信號經(jīng)兩倍的量化步長量化得到重建信號(粗量化)，收到兩個描述時則相當于使用原量化步長量化(精細量化)。這類方法包括多描述標量量化[15]、多描述矢量量化以及多描述格型量化[16] [17]等。其中，Vaishampayan 提出的多描述標量量化方法（MDSQ）是多描述量化的經(jīng)典方法，在圖像多描述中得到成功應用。然而，該方法卻不能直接應用于基于預測編碼的視頻多描述，主要是因為預測環(huán)是基于先前的重建信號，而每個描述的重建信號未必相同，這違背了多描述的基本假設即相同信號被映射到不同的描述。因此，Vaishampayan在文獻[18]中通過在兩個邊預測環(huán)上增加額外的量化器將MDSQ擴展到了多描述視頻編碼中，且Regunathan等對此進行了改進[19]?？偟膩碚f，這類方法的主要問題在于冗余度較高。因此，如何設計出比較好的量化過程，既不產生很大的冗余，又能夠達到理想的效果成為關鍵。2) 基于變換的多描述編碼在壓縮編碼中，變換的作用是去相關。但在基于變換的多描述編碼中，信源被編碼成多個描述，若要從其他描述中恢復出丟失的描述就需要這些描述之間具有一定的相關性，因此這里的變換是為了使各個描述之間具有相關性。多描述變換編碼可被認為是針對于刪除信道的一種聯(lián)合信源信道的編碼技術，它的基本思想是通過變換在多個描述之間引入相關，這樣丟失的數(shù)據(jù)便可以從接收的數(shù)據(jù)中估計出來。它與多描述量化的不同在于，冗余的引入是通過相關變換來實現(xiàn)的，而多描述量化中的冗余是通過量化而引入的?；趯ο嚓P變換PCT（Pairwise Correlating Transform）的多描述編碼是其中較為常見的一類，文獻[20]中將預測誤差編碼到兩個描述中，并且為解決誤匹配問題，把中央預測和邊沿預測之間的誤匹配信號也部分編碼到每個描述中。該方法的對相關變換表示為 ，其中，和分別為預測誤差的DCT系數(shù)對。文獻[21]的方法和文獻[20]相似，也是利用相關編換PCT對I幀和預測誤差幀的DCT系數(shù)進行變換引入冗余，只是系數(shù)配對的方法有所不同。這類方法的優(yōu)點在于總冗余度可由PCT參數(shù)和誤匹配信號量化步長所控制，缺點主要是產生質量可接受的視頻信號，其信號冗余度過大。3) 基于空域或變換域的多描述編碼這類方法主要是在變換域將變換系數(shù)交替送入多路描述來實現(xiàn)多描述編碼，其中最重要的一些系數(shù)送入每一路描述，或是借助重疊塊運動補償技術生成一個具有很強相關性的運動矢量場，并對運動矢量場和殘差信號場同時采用多描述編碼。文獻[22] 兼容的多描述視頻編碼方案， 解碼器解碼。其基本思路如下：對幀內不同的DCT 系數(shù)塊，采用不同的閾值進行判斷，若非零系數(shù)大于該閾值，則兩個描述中都包含該系數(shù)，反之對小于閾值的非零系數(shù)則根據(jù)其幅值選擇出現(xiàn)在某一描述中。該方法在高冗余度下性能較好，但低冗余度下性能欠佳。4) 基于運動矢量的多描述編碼這類方法利用重疊塊運動補償來引入冗余，將運動矢量信息包含在不同的描述之中。文獻[23]中將每幀視頻圖像劃分為88的塊，但運動矢量是以1616宏塊進行運動估計，然后對運動矢量按梅花陣列進行次采樣分成兩個粗糙的場，這兩個場通過不同的信道傳輸?shù)浇獯a器。解碼器使用重疊塊運動補償技術，根據(jù)信道情況提供不同的運動補償?shù)念A測圖像。該方法冗余度低，但存在誤匹配累積問題。圖24梅花形抽樣基于運動矢量的多描述編碼要解決的主要問題是當某個描述丟失時，如何從已收到的描述中恢復出丟失的運動矢量。5) 基于運動補償?shù)亩嗝枋鼍幋a這類方法[24][25][26][27]是多描述編碼的研究熱點所在，其基本思想是采用高階預測來增強描述之間的相關性，然后將編碼得到的數(shù)據(jù)打上奇幀或是偶幀的標記，平均分配到不同的描述中。為避免產生由于編解碼器預測所用參考幀不一致而造成的解碼圖像信號質量下降問題，需另外設置邊沿預測器。這類方法中，預測器和誤匹配錯誤量化器可以控制編碼冗余度，以適應信道狀況的變換。但在描述數(shù)增加時，解碼端的復雜度將顯著提高。6) 基于時域采樣的多描述編碼這類方法主要是利用視頻序列間的時間相關性進行編碼。最簡單的做法[28]是將視頻流按奇數(shù)幀和偶數(shù)幀分解為兩個描述，每個描述采用獨立的預測環(huán)，即奇數(shù)幀（或偶數(shù)幀）用其前面重建的奇數(shù)幀（或偶數(shù)幀）進行預測。該方法冗余度固定，但時間預測距離太長。7） 基于空間亞采樣的多描述編碼通過空間亞采樣來得到多幅子圖像，然后對這多幅子圖像進行獨立的預測編碼，是最簡單直接的多描述視頻編碼方案[29]。在對圖像進行亞采樣之后，相鄰象素間的相關性降低，在進行獨立的預測編碼時，其運動補償?shù)男蕦⒋鬄橄陆?。為此，可以采用基于棋盤分割插值的多描述編碼[30]，借助一些成熟的圖像修復技術，將輸入圖像按照棋盤模式分割并插值成兩路相同分辨率的近似圖像，再對這兩路圖像進行獨立的運動預測、補償和編碼。 視頻多描述編碼存在的普遍問題無論是采用何種方式的視頻多描述編碼，面臨的普遍問題在于：1）發(fā)生丟包時，編碼端和解碼端的參考幀將會不一致（基于空間亞采樣的方法除外）；2）冗余。解決第一個問題的方法通常是在編碼端模擬出解碼端可能遇到的各種情況，如圖25所示。其中，X表示輸入的原始數(shù)據(jù)，表示當兩個描述都收到時恢復出的數(shù)據(jù)，表示只收到一個描述時恢復出來的數(shù)據(jù)，表示兩個描述都收到時當前幀與重建的當前幀的預測誤差，、表示只收到一個描述時當前幀與重建的當前幀的預測誤差，雖然都是當前幀的重建幀，但是與、之間存在著差異，用( i=2)表示它們之間存在的差異，稱之為不匹配信息。往往根據(jù)實際需要對采用不同的處理方式，通常有兩種處理方式：讓所包含的全部信息成為描述中的內容或者只提取出中的某些重要信息成為描述中的內容。圖 25 編碼端模擬解碼端可能遇到的所有情況視頻多描述編碼帶來的另一個問題是冗余，從上圖可看出，冗余主要來自。當兩個描述都收到時，這部分信息是不發(fā)揮作用的?？刂迫哂嗟姆椒ㄒ埠芏?，比如編碼中的重要信息、調整量化步長等。 多描述P2P視頻系統(tǒng) 多描述P2P視頻傳輸系統(tǒng)多描述視頻編碼技術與P2P多路徑技術結合可以在丟包網(wǎng)絡中提供可靠的視頻通信[31]，圖26給出了一種將多描述視頻編碼技術與多路徑技術結合的可靠視頻傳輸系統(tǒng)。該系統(tǒng)包括兩部分：多描述視頻編解碼子系統(tǒng)和多路徑傳輸子系統(tǒng)。多描述視頻編解碼子系統(tǒng)主要解決差錯傳播的問題，多路徑傳輸子系統(tǒng)主要是將數(shù)據(jù)包通過不同的路徑傳輸。其中，多描述編解碼子系統(tǒng)具備以下特點，只要有一個流正確接收，就可以解碼，同時結合其他已被部分破壞的流中的正確信息恢復出破壞的流。多路徑傳輸子系統(tǒng)提高了正確接收流的概率。圖 26 多描述視頻傳輸系統(tǒng)設計該系統(tǒng)時要考慮兩個主要問題：1）編碼端應將視頻編碼成幾個描述；2）傳輸時應采用幾條路徑。顯然，描述越多，解碼端解碼的可能性就越大，但同時還要考慮到編碼效率的問題，目前算法大都采用兩個描述。至于采用幾條路徑傳輸才恰當，這個問題比較復雜，隨著傳輸路徑增多，通信中斷率不斷下降，傳輸質量更加穩(wěn)定，但是同時網(wǎng)絡也變得更加復雜。 多描述P2P視頻系統(tǒng)性能優(yōu)勢與傳統(tǒng)的基于單流的P2P 視頻系統(tǒng)相比，基于多描述編碼的P2P 視頻系統(tǒng)在性能上有如下優(yōu)勢：1） 有效對抗網(wǎng)絡丟包在基于包交換的通信系統(tǒng)中，由于網(wǎng)絡擁塞等原因造成的包丟失是不可避免的，如何提高音視頻信號在網(wǎng)絡中傳輸質量變得越來越重要。傳統(tǒng)的壓縮編碼加糾錯機制要么不便實現(xiàn)要么造成很大的延時。而對視頻數(shù)據(jù)進行多描述編碼，生成多個相互獨立可解碼的子描述，并采用不同的通道進行傳輸。接收端收到任一描述都能夠生成質量可接受的重建視頻，且由于各個信道互不相關，所有描述丟失的概率遠小于單個描述丟失的概率，這就大大提高了抗傳輸差錯性。2） 降低系統(tǒng)時延與基于單流的P2P系統(tǒng)相比，多描述編碼方案在網(wǎng)絡發(fā)生丟包的情況下不進行重傳，而是利用接收到的部分描述生成質量可接受的重建視頻，大大降低了網(wǎng)絡時延。3） 網(wǎng)絡異構性在目前的網(wǎng)絡架構中，用戶可能通過以太網(wǎng)、ADSL、無線網(wǎng)絡等多種方式接入Internet，其中，ADSL的網(wǎng)絡帶寬具有不對稱性，上行鏈路遠低于下行鏈路帶寬。P2P系統(tǒng)中要求各個Peer節(jié)點或多或少地具備向其他用戶提供服務的能力。采用適當?shù)亩嗝枋鼍幋a方案，使得每個描述的碼率低于上行鏈路帶寬，而所有描述的總碼率低于下行鏈路帶寬。這樣可以降低對上行帶寬的要求，以確保單個ADSL用戶至少能夠提供一個描述，而高帶寬用戶可根據(jù)需要傳輸多個甚至全部的子描述，從而充分利用網(wǎng)絡資源。4） 降低服務負載對原視頻數(shù)據(jù)進行多描述編碼，將生成的多個描述分散到多個服務節(jié)點，新加入的用戶可以從多個服務節(jié)點獲得所需的描述，從而避免了對單個服務節(jié)點的集中訪問，大大提高了服務負載能力。5） P2P服務網(wǎng)絡拓撲的動態(tài)性節(jié)點頻繁地加入或退出服務在P2P系統(tǒng)中很常見，在基于多描述的P2P流媒體系統(tǒng)中，當一個服務節(jié)點失去作用，僅導致單個描述暫時的丟失，接受服務的節(jié)點仍可利用其余的描述重建音視頻，從而大大降低了由于網(wǎng)絡震蕩造成的服務中斷。6） 版權問題在基于多描述編碼的P2P流媒體系統(tǒng)中，媒體數(shù)據(jù)的所有描述分散在網(wǎng)絡中，除媒體服務器外，不大可能存儲在同一個節(jié)點上，從而阻止了節(jié)點對媒體數(shù)據(jù)的非法訪問。 本章小結本章介紹基于多描述編碼的P2P流媒體相關基礎理論，簡要介紹了流媒體和P2P技術，著重介紹多描述編碼，常用的多描述編碼方法，并給出基于多描述P2P視頻傳輸系統(tǒng)模型及性能優(yōu)勢。這些理論將作為本文后續(xù)章節(jié)的基礎。南京郵電大學碩士研究生學位論文 第三章 基于MDC的P2P VOD系統(tǒng)簡介第三章 基于MDC的P2P VOD系統(tǒng)簡介本文作者作為校企合作項目的參與者之一，完成的多描述編解碼方案屬于整個P2P VOD原型系統(tǒng)的一部分，此外還包括P2P平臺的搭建，流搜索傳輸，緩存管理、音視頻同步播放等方面的內容，為此本章對整個基于多描述編碼的P2P VOD系統(tǒng)做宏觀介紹，并給出媒體流在系統(tǒng)中的運作流程。 城域網(wǎng)現(xiàn)狀由于本項目實現(xiàn)的P2P VOD原型系統(tǒng)運營于城域網(wǎng)，本節(jié)首先對城域網(wǎng)現(xiàn)狀做簡要介紹。城域網(wǎng)作為開放型的綜合網(wǎng)絡平臺，可實現(xiàn)話音、圖像、數(shù)據(jù)、多媒體、IP接入等業(yè)務及各種增值、智能業(yè)務。它主要包括3個網(wǎng)絡層次，分別為接入層、匯聚層和核心層。核心層和匯聚層采用高端路由器組網(wǎng)，提供強大的路由處理和流量的快速轉發(fā)，支持業(yè)務隔離和用戶隔離。接入層由業(yè)務接入控制點設備組成，包括寬帶接入服務器（Bras）和業(yè)務接入路由器（SR）。Bras與路由器的區(qū)別在于Bras不僅有路由功能，還具有業(yè)務控制功能。目前業(yè)務接入路由器主要由三層交換機承擔，在路由能力、多業(yè)務支持及業(yè)務處理能力方面尚顯不足，所以現(xiàn)在的城域網(wǎng)大多采用Bras集中式設備對用戶進行接入控制管理。圖 31 城域網(wǎng)結構城域網(wǎng)中典型的寬帶接入方式主要有ADSL和以太網(wǎng)兩種。ADSL用戶利用電信運營商的傳統(tǒng)銅纜，通過ADSL Modem接入到局端的DSLAM設備，再通過二層接入設備接入到Bras。以太網(wǎng)用戶通過樓道、小區(qū)、局端的以太網(wǎng)交換機接入到Bras，如圖31所示。 系統(tǒng)性能目標根據(jù)用戶需求，項目最終實現(xiàn)的運行于城域網(wǎng)范圍內的P2P VOD原型系統(tǒng)需滿