【文章內(nèi)容簡介】 于視頻直播。 多描述編碼簡介穩(wěn)健的視頻編碼壓縮方法是實時網(wǎng)絡(luò)視頻傳輸?shù)年P(guān)鍵，多描述編碼是近年來興起的一種新的面向不可靠信道傳輸?shù)木幋a方法，與分層編碼同屬錯誤恢復(fù)范疇，即通過冗余信息使解碼器具有一定的錯誤恢復(fù)能力。 多描述編碼的基本原理多描述編碼可以理解成這樣一個問題：在發(fā)端，一個信息源有多種描述形式，這些描述構(gòu)成一個集合，接收端從集合的子集中盡可能的精確恢復(fù)出信息源。這與多用戶信息論中的多址接入問題十分相似。實際上常把多描述編碼抽象成多用戶信息論的問題，很多多描述編碼的理論結(jié)果直接來源于多用戶信息論，或是用其中的方法、結(jié)論加上特定的條件推導(dǎo)得到。多描述編碼的模型見圖22：圖22 多描述編碼模型信源通過多描述編碼器得到、…多個描述，各描述通過獨立的信道傳送到解碼端，解碼器最少接收0個描述，最多接收n個描述，一共有1種接收情況。顯然接收到的描述數(shù)目不同，解碼器能恢復(fù)的信源程度也不同，當(dāng)所有描述都收到時，能最大限度地恢復(fù)信源，收到的描述少，恢復(fù)的效果要差一些。有關(guān)收到描述與信源失真之間的關(guān)系一直是多描述編碼的難點，在理論上它等價于多用戶的信息率失真問題，但在應(yīng)用中不完全由理論指導(dǎo)實踐，還要考慮算法復(fù)雜度、算法效率等實際問題。 在實時視頻傳輸中，多描述編碼作為保證傳輸可靠性的一種有效方法得到了應(yīng)用。其基本思想是對同一視頻內(nèi)容采用多個描述，每個描述分別在獨立的信道上傳送，并且接收端根據(jù)每個描述都可以獲得可接受的視頻質(zhì)量，同一視頻的多個描述結(jié)合起來可以使視頻質(zhì)量得到增強(qiáng)，圖23為兩個描述情況下的多描述編碼示意圖。進(jìn)行MDC編碼的意義在于，如果一幅圖像是通過多個獨立的描述疊加合成的，那么，丟失其中的一個描述只是降低重建圖像的質(zhì)量，而不會終止整個解碼過程。圖23 兩描述編碼的框圖為了保證從任一描述中都可以恢復(fù)出一定質(zhì)量的視頻，每個描述都必須包含足夠多的視頻信息，這意味著多描述編碼方案要比一般的編碼方案效率低。但是由于同一視頻內(nèi)容的所有描述在采用不同信道傳輸?shù)倪^程中同時被破壞的概率非常小，因此與一般編碼方法相比，這種編碼方法雖然會降低壓縮效率，但在傳輸時提高了可靠性。 常用的多描述編碼方法多描述編碼可以從預(yù)測、量化、DCT變換、熵編碼、信道編碼等方面進(jìn)行。目前已有的應(yīng)用于靜態(tài)圖像和視頻編碼的多描述編碼算法主要分為以下幾類：1)基于量化的多描述編碼；2)基于變換的多描述編碼；3)基于空域或變換域的多描述編碼；4)基于時域采樣的多描述編碼；5)基于空間亞采樣的多描述編碼等。在實際應(yīng)用中主要是從編碼冗余度、編碼質(zhì)量、編碼復(fù)雜度、丟包復(fù)原能力、主觀效果等方面考察算法的優(yōu)劣。1) 基于量化的多描述編碼多描述量化的基本思想是：設(shè)計量化區(qū)間相互重疊的量化器(通常一個量化器的量化區(qū)間是另一個的平移)，每個量化器量化原信號產(chǎn)生一個描述。對兩個描述的多描述編碼，收到一個描述時，相當(dāng)于原信號經(jīng)兩倍的量化步長量化得到重建信號(粗量化)，收到兩個描述時則相當(dāng)于使用原量化步長量化(精細(xì)量化)。這類方法包括多描述標(biāo)量量化[15]、多描述矢量量化以及多描述格型量化[16] [17]等。其中，Vaishampayan 提出的多描述標(biāo)量量化方法（MDSQ）是多描述量化的經(jīng)典方法，在圖像多描述中得到成功應(yīng)用。然而，該方法卻不能直接應(yīng)用于基于預(yù)測編碼的視頻多描述，主要是因為預(yù)測環(huán)是基于先前的重建信號，而每個描述的重建信號未必相同，這違背了多描述的基本假設(shè)即相同信號被映射到不同的描述。因此，Vaishampayan在文獻(xiàn)[18]中通過在兩個邊預(yù)測環(huán)上增加額外的量化器將MDSQ擴(kuò)展到了多描述視頻編碼中，且Regunathan等對此進(jìn)行了改進(jìn)[19]。總的來說，這類方法的主要問題在于冗余度較高。因此，如何設(shè)計出比較好的量化過程，既不產(chǎn)生很大的冗余，又能夠達(dá)到理想的效果成為關(guān)鍵。2) 基于變換的多描述編碼在壓縮編碼中，變換的作用是去相關(guān)。但在基于變換的多描述編碼中，信源被編碼成多個描述，若要從其他描述中恢復(fù)出丟失的描述就需要這些描述之間具有一定的相關(guān)性，因此這里的變換是為了使各個描述之間具有相關(guān)性。多描述變換編碼可被認(rèn)為是針對于刪除信道的一種聯(lián)合信源信道的編碼技術(shù)，它的基本思想是通過變換在多個描述之間引入相關(guān)，這樣丟失的數(shù)據(jù)便可以從接收的數(shù)據(jù)中估計出來。它與多描述量化的不同在于，冗余的引入是通過相關(guān)變換來實現(xiàn)的，而多描述量化中的冗余是通過量化而引入的。基于對相關(guān)變換PCT（Pairwise Correlating Transform）的多描述編碼是其中較為常見的一類，文獻(xiàn)[20]中將預(yù)測誤差編碼到兩個描述中，并且為解決誤匹配問題，把中央預(yù)測和邊沿預(yù)測之間的誤匹配信號也部分編碼到每個描述中。該方法的對相關(guān)變換表示為 ，其中，和分別為預(yù)測誤差的DCT系數(shù)對。文獻(xiàn)[21]的方法和文獻(xiàn)[20]相似，也是利用相關(guān)編換PCT對I幀和預(yù)測誤差幀的DCT系數(shù)進(jìn)行變換引入冗余，只是系數(shù)配對的方法有所不同。這類方法的優(yōu)點在于總?cè)哂喽瓤捎蒔CT參數(shù)和誤匹配信號量化步長所控制，缺點主要是產(chǎn)生質(zhì)量可接受的視頻信號，其信號冗余度過大。3) 基于空域或變換域的多描述編碼這類方法主要是在變換域?qū)⒆儞Q系數(shù)交替送入多路描述來實現(xiàn)多描述編碼，其中最重要的一些系數(shù)送入每一路描述，或是借助重疊塊運動補(bǔ)償技術(shù)生成一個具有很強(qiáng)相關(guān)性的運動矢量場，并對運動矢量場和殘差信號場同時采用多描述編碼。文獻(xiàn)[22] 兼容的多描述視頻編碼方案， 解碼器解碼。其基本思路如下：對幀內(nèi)不同的DCT 系數(shù)塊，采用不同的閾值進(jìn)行判斷，若非零系數(shù)大于該閾值，則兩個描述中都包含該系數(shù)，反之對小于閾值的非零系數(shù)則根據(jù)其幅值選擇出現(xiàn)在某一描述中。該方法在高冗余度下性能較好，但低冗余度下性能欠佳。4) 基于運動矢量的多描述編碼這類方法利用重疊塊運動補(bǔ)償來引入冗余，將運動矢量信息包含在不同的描述之中。文獻(xiàn)[23]中將每幀視頻圖像劃分為88的塊，但運動矢量是以1616宏塊進(jìn)行運動估計，然后對運動矢量按梅花陣列進(jìn)行次采樣分成兩個粗糙的場，這兩個場通過不同的信道傳輸?shù)浇獯a器。解碼器使用重疊塊運動補(bǔ)償技術(shù)，根據(jù)信道情況提供不同的運動補(bǔ)償?shù)念A(yù)測圖像。該方法冗余度低，但存在誤匹配累積問題。圖24梅花形抽樣基于運動矢量的多描述編碼要解決的主要問題是當(dāng)某個描述丟失時，如何從已收到的描述中恢復(fù)出丟失的運動矢量。5) 基于運動補(bǔ)償?shù)亩嗝枋鼍幋a這類方法[24][25][26][27]是多描述編碼的研究熱點所在，其基本思想是采用高階預(yù)測來增強(qiáng)描述之間的相關(guān)性，然后將編碼得到的數(shù)據(jù)打上奇幀或是偶幀的標(biāo)記，平均分配到不同的描述中。為避免產(chǎn)生由于編解碼器預(yù)測所用參考幀不一致而造成的解碼圖像信號質(zhì)量下降問題，需另外設(shè)置邊沿預(yù)測器。這類方法中，預(yù)測器和誤匹配錯誤量化器可以控制編碼冗余度，以適應(yīng)信道狀況的變換。但在描述數(shù)增加時，解碼端的復(fù)雜度將顯著提高。6) 基于時域采樣的多描述編碼這類方法主要是利用視頻序列間的時間相關(guān)性進(jìn)行編碼。最簡單的做法[28]是將視頻流按奇數(shù)幀和偶數(shù)幀分解為兩個描述，每個描述采用獨立的預(yù)測環(huán)，即奇數(shù)幀（或偶數(shù)幀）用其前面重建的奇數(shù)幀（或偶數(shù)幀）進(jìn)行預(yù)測。該方法冗余度固定，但時間預(yù)測距離太長。7） 基于空間亞采樣的多描述編碼通過空間亞采樣來得到多幅子圖像，然后對這多幅子圖像進(jìn)行獨立的預(yù)測編碼，是最簡單直接的多描述視頻編碼方案[29]。在對圖像進(jìn)行亞采樣之后，相鄰象素間的相關(guān)性降低，在進(jìn)行獨立的預(yù)測編碼時，其運動補(bǔ)償?shù)男蕦⒋鬄橄陆?。為此，可以采用基于棋盤分割插值的多描述編碼[30]，借助一些成熟的圖像修復(fù)技術(shù)，將輸入圖像按照棋盤模式分割并插值成兩路相同分辨率的近似圖像，再對這兩路圖像進(jìn)行獨立的運動預(yù)測、補(bǔ)償和編碼。 視頻多描述編碼存在的普遍問題無論是采用何種方式的視頻多描述編碼，面臨的普遍問題在于：1）發(fā)生丟包時，編碼端和解碼端的參考幀將會不一致（基于空間亞采樣的方法除外）；2）冗余。解決第一個問題的方法通常是在編碼端模擬出解碼端可能遇到的各種情況，如圖25所示。其中，X表示輸入的原始數(shù)據(jù)，表示當(dāng)兩個描述都收到時恢復(fù)出的數(shù)據(jù)，表示只收到一個描述時恢復(fù)出來的數(shù)據(jù)，表示兩個描述都收到時當(dāng)前幀與重建的當(dāng)前幀的預(yù)測誤差，、表示只收到一個描述時當(dāng)前幀與重建的當(dāng)前幀的預(yù)測誤差，雖然都是當(dāng)前幀的重建幀，但是與、之間存在著差異，用( i=2)表示它們之間存在的差異，稱之為不匹配信息。往往根據(jù)實際需要對采用不同的處理方式，通常有兩種處理方式：讓所包含的全部信息成為描述中的內(nèi)容或者只提取出中的某些重要信息成為描述中的內(nèi)容。圖 25 編碼端模擬解碼端可能遇到的所有情況視頻多描述編碼帶來的另一個問題是冗余，從上圖可看出，冗余主要來自。當(dāng)兩個描述都收到時，這部分信息是不發(fā)揮作用的。控制冗余的方法也很多，比如編碼中的重要信息、調(diào)整量化步長等。 多描述P2P視頻系統(tǒng) 多描述P2P視頻傳輸系統(tǒng)多描述視頻編碼技術(shù)與P2P多路徑技術(shù)結(jié)合可以在丟包網(wǎng)絡(luò)中提供可靠的視頻通信[31]，圖26給出了一種將多描述視頻編碼技術(shù)與多路徑技術(shù)結(jié)合的可靠視頻傳輸系統(tǒng)。該系統(tǒng)包括兩部分：多描述視頻編解碼子系統(tǒng)和多路徑傳輸子系統(tǒng)。多描述視頻編解碼子系統(tǒng)主要解決差錯傳播的問題，多路徑傳輸子系統(tǒng)主要是將數(shù)據(jù)包通過不同的路徑傳輸。其中，多描述編解碼子系統(tǒng)具備以下特點，只要有一個流正確接收，就可以解碼，同時結(jié)合其他已被部分破壞的流中的正確信息恢復(fù)出破壞的流。多路徑傳輸子系統(tǒng)提高了正確接收流的概率。圖 26 多描述視頻傳輸系統(tǒng)設(shè)計該系統(tǒng)時要考慮兩個主要問題：1）編碼端應(yīng)將視頻編碼成幾個描述；2）傳輸時應(yīng)采用幾條路徑。顯然，描述越多，解碼端解碼的可能性就越大，但同時還要考慮到編碼效率的問題，目前算法大都采用兩個描述。至于采用幾條路徑傳輸才恰當(dāng)，這個問題比較復(fù)雜，隨著傳輸路徑增多，通信中斷率不斷下降，傳輸質(zhì)量更加穩(wěn)定，但是同時網(wǎng)絡(luò)也變得更加復(fù)雜。 多描述P2P視頻系統(tǒng)性能優(yōu)勢與傳統(tǒng)的基于單流的P2P 視頻系統(tǒng)相比，基于多描述編碼的P2P 視頻系統(tǒng)在性能上有如下優(yōu)勢：1） 有效對抗網(wǎng)絡(luò)丟包在基于包交換的通信系統(tǒng)中，由于網(wǎng)絡(luò)擁塞等原因造成的包丟失是不可避免的，如何提高音視頻信號在網(wǎng)絡(luò)中傳輸質(zhì)量變得越來越重要。傳統(tǒng)的壓縮編碼加糾錯機(jī)制要么不便實現(xiàn)要么造成很大的延時。而對視頻數(shù)據(jù)進(jìn)行多描述編碼，生成多個相互獨立可解碼的子描述，并采用不同的通道進(jìn)行傳輸。接收端收到任一描述都能夠生成質(zhì)量可接受的重建視頻，且由于各個信道互不相關(guān)，所有描述丟失的概率遠(yuǎn)小于單個描述丟失的概率，這就大大提高了抗傳輸差錯性。2） 降低系統(tǒng)時延與基于單流的P2P系統(tǒng)相比，多描述編碼方案在網(wǎng)絡(luò)發(fā)生丟包的情況下不進(jìn)行重傳，而是利用接收到的部分描述生成質(zhì)量可接受的重建視頻，大大降低了網(wǎng)絡(luò)時延。3） 網(wǎng)絡(luò)異構(gòu)性在目前的網(wǎng)絡(luò)架構(gòu)中，用戶可能通過以太網(wǎng)、ADSL、無線網(wǎng)絡(luò)等多種方式接入Internet，其中，ADSL的網(wǎng)絡(luò)帶寬具有不對稱性，上行鏈路遠(yuǎn)低于下行鏈路帶寬。P2P系統(tǒng)中要求各個Peer節(jié)點或多或少地具備向其他用戶提供服務(wù)的能力。采用適當(dāng)?shù)亩嗝枋鼍幋a方案，使得每個描述的碼率低于上行鏈路帶寬，而所有描述的總碼率低于下行鏈路帶寬。這樣可以降低對上行帶寬的要求，以確保單個ADSL用戶至少能夠提供一個描述，而高帶寬用戶可根據(jù)需要傳輸多個甚至全部的子描述，從而充分利用網(wǎng)絡(luò)資源。4） 降低服務(wù)負(fù)載對原視頻數(shù)據(jù)進(jìn)行多描述編碼，將生成的多個描述分散到多個服務(wù)節(jié)點，新加入的用戶可以從多個服務(wù)節(jié)點獲得所需的描述，從而避免了對單個服務(wù)節(jié)點的集中訪問，大大提高了服務(wù)負(fù)載能力。5） P2P服務(wù)網(wǎng)絡(luò)拓?fù)涞膭討B(tài)性節(jié)點頻繁地加入或退出服務(wù)在P2P系統(tǒng)中很常見，在基于多描述的P2P流媒體系統(tǒng)中，當(dāng)一個服務(wù)節(jié)點失去作用，僅導(dǎo)致單個描述暫時的丟失，接受服務(wù)的節(jié)點仍可利用其余的描述重建音視頻，從而大大降低了由于網(wǎng)絡(luò)震蕩造成的服務(wù)中斷。6） 版權(quán)問題在基于多描述編碼的P2P流媒體系統(tǒng)中，媒體數(shù)據(jù)的所有描述分散在網(wǎng)絡(luò)中，除媒體服務(wù)器外，不大可能存儲在同一個節(jié)點上，從而阻止了節(jié)點對媒體數(shù)據(jù)的非法訪問。 本章小結(jié)本章介紹基于多描述編碼的P2P流媒體相關(guān)基礎(chǔ)理論，簡要介紹了流媒體和P2P技術(shù)，著重介紹多描述編碼，常用的多描述編碼方法，并給出基于多描述P2P視頻傳輸系統(tǒng)模型及性能優(yōu)勢。這些理論將作為本文后續(xù)章節(jié)的基礎(chǔ)。南京郵電大學(xué)碩士研究生學(xué)位論文 第三章 基于MDC的P2P VOD系統(tǒng)簡介第三章 基于MDC的P2P VOD系統(tǒng)簡介本文作者作為校企合作項目的參與者之一，完成的多描述編解碼方案屬于整個P2P VOD原型系統(tǒng)的一部分，此外還包括P2P平臺的搭建，流搜索傳輸，緩存管理、音視頻同步播放等方面的內(nèi)容，為此本章對整個基于多描述編碼的P2P VOD系統(tǒng)做宏觀介紹，并給出媒體流在系統(tǒng)中的運作流程。 城域網(wǎng)現(xiàn)狀由于本項目實現(xiàn)的P2P VOD原型系統(tǒng)運營于城域網(wǎng)，本節(jié)首先對城域網(wǎng)現(xiàn)狀做簡要介紹。城域網(wǎng)作為開放型的綜合網(wǎng)絡(luò)平臺，可實現(xiàn)話音、圖像、數(shù)據(jù)、多媒體、IP接入等業(yè)務(wù)及各種增值、智能業(yè)務(wù)。它主要包括3個網(wǎng)絡(luò)層次，分別為接入層、匯聚層和核心層。核心層和匯聚層采用高端路由器組網(wǎng)，提供強(qiáng)大的路由處理和流量的快速轉(zhuǎn)發(fā)，支持業(yè)務(wù)隔離和用戶隔離。接入層由業(yè)務(wù)接入控制點設(shè)備組成，包括寬帶接入服務(wù)器（Bras）和業(yè)務(wù)接入路由器（SR）。Bras與路由器的區(qū)別在于Bras不僅有路由功能，還具有業(yè)務(wù)控制功能。目前業(yè)務(wù)接入路由器主要由三層交換機(jī)承擔(dān)，在路由能力、多業(yè)務(wù)支持及業(yè)務(wù)處理能力方面尚顯不足，所以現(xiàn)在的城域網(wǎng)大多采用Bras集中式設(shè)備對用戶進(jìn)行接入控制管理。圖 31 城域網(wǎng)結(jié)構(gòu)城域網(wǎng)中典型的寬帶接入方式主要有ADSL和以太網(wǎng)兩種。ADSL用戶利用電信運營商的傳統(tǒng)銅纜，通過ADSL Modem接入到局端的DSLAM設(shè)備，再通過二層接入設(shè)備接入到Bras。以太網(wǎng)用戶通過樓道、小區(qū)、局端的以太網(wǎng)交換機(jī)接入到Bras，如圖31所示。 系統(tǒng)性能目標(biāo)根據(jù)用戶需求，項目最終實現(xiàn)的運行于城域網(wǎng)范圍內(nèi)的P2P VOD原型系統(tǒng)需滿