【正文】 序列進(jìn)行空間1/4下采樣之后，每個子序列的碼率仍然較大：360288825＝。此外，進(jìn)行空間亞采樣后，相鄰象素間的相關(guān)性降低，運動補(bǔ)償?shù)男室泊蟠蠼档?。為了保證每個子描述的碼率低于512kbps。圖43給出本文的多描述編解碼模型：圖41 基于空間亞采樣的多描述編解碼模型由于YUV圖像存儲格式。 YUV圖像格式簡介YUV格式（亦稱YCrCb）是被歐洲電視系統(tǒng)所采用的一種顏色編碼方法，主要用于優(yōu)化彩色視頻信號的傳輸，使其向后兼容老式黑白電視。其中，Y表示明亮度，即灰度值；而U和V表示的則是色度，作用是描述影像色彩及飽和度，用于指定象素的顏色。YUV的優(yōu)點之一是，色度頻道的采樣率可比Y頻道低，同時不會明顯降低視覺質(zhì)量。 YUV主要采樣格式Y(jié)UV主要有四種采樣格式，如圖42所示（色度分量用圈表示，亮度分量用叉表示）：圖42 YUV主要采樣格式1） YUV 4:4:4YUV三個頻道的采樣率相同，因此在生成的圖像里，每個象素的三個分量信息完整（每個分量通常8比特）。2） YUV 4:2:2每個色差頻道的采樣率是亮度信道的一半，所以水平方向的色度抽樣率只是4:4:4的一半，即2:1的水平下采樣，沒有垂直下采樣。對于每兩個U樣例或V樣例，每個掃描行都包含四個Y樣例。3） YUV 4:1:14:1:1的色度抽樣，是在水平方向上對色度進(jìn)行4:1抽樣，沒有垂直下采樣。對于每個U樣例或V樣例，每個掃描行都包含四個Y樣例。對于低端用戶和消費類產(chǎn)品這仍然是可以接受的。4） YUV 4:2:04:2:0并不意味著只有Y，Cb分量而沒有Cr分量，它指得是對每行掃描線來說，只有一種色度分量以2:1的抽樣率存儲。相鄰的掃描行存儲不同的色度分量，也就是說，如果一行是4:2:0的話，下一行就是4:0:2，再下一行是4:2:0...以此類推。對每個色度分量來說，水平方向和豎直方向都是2:1下采樣，所以可以說色度的抽樣率是4:1。 YUV存儲格式Y(jié)UV存儲格式[34]主要分為打包（packed）YUV和平面（planar）YUV兩種：打包YUV格式中，亮度分量Y、兩個色度分量U和V是緊挨著存放在一個單獨的矩陣中的；而平面YUV格式把Y、U、V三個分量分別存放在不同的矩陣中，每一個矩陣看作是一個平面，最終看到的圖像是將三個平面融合在一起得到的。對于YUV4:4:4格式而言，采用打包格式是很合適的，但YUV另外幾種格式都是通過亞采樣來獲得的，其亮度分量與色度分量的分辨率不相同，大都采用平面格式存放。下面以44大小的圖像為例，分別給出YUV4:4:4打包矩陣以及兩種YUV4:2:0格式I420及YV12的平面矩陣。圖43 44大小4:4:4打包YUV矩陣圖44 兩種YUV4:2:0格式的平面矩陣可見，在I420平面格式的YUV矩陣中，所有的Y樣本以unsigned char的數(shù)組形式出現(xiàn)在內(nèi)存的最開始，接下來就是所有的U（Cb）樣本，步幅是Y的一半，而且有一半Y的行數(shù)；接下來是所有V（Cr）樣本，和V有同樣的步幅行數(shù)。YV12跟I420的差別僅在于U和V的存儲次序不同。 [35]是1995年自MPEG2視頻壓縮標(biāo)準(zhǔn)發(fā)布以后的最新、最有前途的視頻壓縮標(biāo)準(zhǔn)，由ITUT和ISO/IEC的聯(lián)合開發(fā)組共同開發(fā)。通過該標(biāo)準(zhǔn)，在同等圖象質(zhì)量下的壓縮效率比以前的標(biāo)準(zhǔn)提高了2倍以上，因此。 ，也是DPCM加變換編碼的混合編碼模式，但它采用“回歸基本”的簡潔設(shè)計，不用眾多的選項，++好的多的壓縮性能。加強(qiáng)了對各種信道的適應(yīng)能力，采用“網(wǎng)絡(luò)友好”的結(jié)構(gòu)和語法，有利于對誤碼和丟包的處理，應(yīng)用范圍較寬，以滿足不同速率、不同解析度以及不同（存儲）場合的需求。它既保留了以往壓縮技術(shù)的優(yōu)點和精華又具有其他壓縮技術(shù)無法比擬的許多優(yōu)點。1) 低碼流(Low Bit Rate)：和MPEG2和MPEG4 ASP等壓縮技術(shù)相比，在同等圖像質(zhì)量下，MPEG4的1/3； 2) 高質(zhì)量的圖象：、流暢的高質(zhì)量圖象；3) 容錯能力強(qiáng)：；4) 網(wǎng)絡(luò)適應(yīng)性強(qiáng)：(NAL: Network Adaptation Layer)，(例如互聯(lián)網(wǎng)，CDMA，GPRS，WCDMA，CDMA2000等)。 ，其應(yīng)用面十分廣泛。具體說來，并支持一類特定的應(yīng)用。1) 基本檔次( baseline profile)：利用I片和P片支持幀內(nèi)和幀間編碼，支持利用基于上下文的自適應(yīng)的變長編碼進(jìn)行的熵編碼(CAVLC)。主要用于可是電話、會議電視、無線通信等實時視頻通信。2) 主要檔次( main profile)：支持隔行視頻，采用B片的幀間編碼和采用加權(quán)預(yù)測的幀內(nèi)編碼；支持利用上下文的自適應(yīng)的算術(shù)編碼(CABAC)。主要用于數(shù)字廣播電視與數(shù)字視頻存儲。3) 擴(kuò)展檔次( extend profile)：支持碼流之間有效的切換(SP和SI片)、改進(jìn)誤碼性能(數(shù)據(jù)分割)，但不支持隔行視頻和CABAC，主要應(yīng)用于流媒體。各個檔次具有不同的功能，擴(kuò)展檔次包括了基本檔次的所有功能，而不能包括主要檔次的全部功能。每一檔次設(shè)置不同的參數(shù)(如取樣速率、圖像尺寸、編碼比特率等)，得到對應(yīng)的編解碼器性能的不同級。 :2:0的連續(xù)或隔行視頻的編碼和解碼，算法在概念上可以分為兩層：視頻編碼層(VCL: Video Coding Layer)和網(wǎng)絡(luò)提取層（NAL: Network Abstraction Layer）。VCL負(fù)責(zé)高效的視頻內(nèi)容表示，包括核心壓縮引擎和塊、宏塊及片的語法級別的定義，它的設(shè)計目標(biāo)是盡可能地獨立于網(wǎng)絡(luò)的情況下進(jìn)行高效的編解碼；而NAL則負(fù)責(zé)將VCL產(chǎn)生的比特字符串適配到各種各樣的網(wǎng)絡(luò)和多元環(huán)境中，它覆蓋了所有的片級別以上的語法級別，同時支持以下功能：獨立片解碼、起始碼惟一保證、SEI以及流格式編碼數(shù)據(jù)傳送。，每個NAL單元包含一個原始字節(jié)序列負(fù)荷（RBSP）及一組對應(yīng)于視頻編碼數(shù)據(jù)的NAL頭信息。NAL單元序列的結(jié)構(gòu)如圖45所示，其中，NAL單元的頭信息定義了RBSP單元的類型，其余部分則為RBSP數(shù)據(jù)。圖45 NAL單元序列結(jié)構(gòu)，實際中根據(jù)不同的傳輸環(huán)境選擇不同的傳輸方式。在網(wǎng)絡(luò)傳輸?shù)沫h(huán)境下，編碼器將每個NAL各自獨立、完整地放入一個分組中。由于分組都有頭部，解碼器可以很方便地檢測出NAL的分界，依次取出NAL進(jìn)行解碼。為了節(jié)省碼流。如果編碼數(shù)據(jù)是存儲在介質(zhì)（如DVD）上，由于NAL是依次緊密排列的，解碼器將無法在數(shù)據(jù)流中分辨出每個NAL的起始位置和終止位置，為此， 。當(dāng)數(shù)據(jù)流是存儲在介質(zhì)上時，在每個NAL前添加起始碼：0x000001。在某些類型的介質(zhì)上，為了尋址的方便，要求數(shù)據(jù)流在長度上對齊，或必須是某個常數(shù)的倍數(shù)?？紤]到這種情況，直到該NAL的長度符合要求。在這樣的機(jī)制下，解碼器在碼流中檢測起始碼，作為一個NAL的起始標(biāo)識，當(dāng)檢測到下一個起始碼時，當(dāng)前NAL結(jié)束。，這是因為連著的三個字節(jié)的0中的任何一個字節(jié)的0要么屬于起始碼，要么是起始碼前面添加的0。在一些應(yīng)用中，視頻編碼需要和音頻及相關(guān)信息一起傳輸或存儲，這就需要一些實現(xiàn)的機(jī)制，目前常用的是RTP/UDP協(xié)議協(xié)同出現(xiàn)。 本章小結(jié)在現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施條件下，設(shè)計能應(yīng)用于P2P VOD系統(tǒng)合理可行的多描述視頻編解碼方案是當(dāng)前研究熱點也是難點所在。我們從算法可行性、實現(xiàn)復(fù)雜度、解碼速度等實際因素考慮，采用對視頻圖像空間進(jìn)行1/，生成4個可獨立解碼的子描述。本文中采用YUV 4:2:0格式720576大小的視頻序列作為輸入數(shù)據(jù)，由于在對圖像空間進(jìn)行1/4下采樣時涉及到Y(jié)UV圖像的存儲格式，、傳輸及解碼檢測。因此。南京郵電大學(xué)碩士研究生學(xué)位論文 第五章 多描述視頻編解碼的實現(xiàn)第五章 多描述視頻編解碼的實現(xiàn)本文多描述編解碼方案的實現(xiàn)主要分為兩部分：1) 多描述編碼，完成將輸入的YUV420格式的標(biāo)清大小的視頻序列編碼為4個碼率低于512kbps的子描述； 2) 多描述視頻解碼，負(fù)責(zé)將接收到的同步的視頻子描述進(jìn)行解碼重建，供播放使用。具體實現(xiàn)的過程中，還需考慮本文模塊與P2P VOD原型系統(tǒng)中其他模塊的交互、解碼實時性等實際應(yīng)用問題，本章對實現(xiàn)過程進(jìn)行詳細(xì)闡述。 本文所設(shè)計的多描述編解碼方案是否能成功應(yīng)用，（尤其是解碼器）的性能，為此，并通過測評選擇合適的編解碼器。 ，各個組織開發(fā)出了不同的編碼程序，我們主要介紹其中的三種開源編碼器，分別是JM編碼器，X264編碼器以及T264編碼器。，其程序結(jié)構(gòu)比較冗長，只考慮引入各種新特性以提高編碼性能，編碼復(fù)雜度較高。適于進(jìn)行學(xué)術(shù)研究，不適用于實際應(yīng)用。，它的主要特點是注重實用，和JM編碼器相比較，在不明明顯降低編碼性能的情況下，努力降低編碼的復(fù)雜度。，如多參考幀、幀間預(yù)測中不必要的塊模式、CABAC等，對數(shù)據(jù)的管理也較JM編碼器優(yōu)秀，并且對其中的算法進(jìn)行了匯編優(yōu)化，大大提高了編碼速度。X264在網(wǎng)上口碑極佳。，編碼器編碼輸出標(biāo)準(zhǔn)的264碼流，解碼器只能解T264編碼器生成的碼流。T264和X264的出發(fā)點相似，并吸收了JM、X26XVID的優(yōu)點。本文系統(tǒng)中的多描述編碼部分屬于媒體創(chuàng)作的一部分，可以先將節(jié)目源制作好再放到媒體服務(wù)器上使用，不需要達(dá)到實時編碼的性能（25幀/s），但是編碼速度也不宜太慢。T264雖然有較好的壓縮性能及編碼速度，但程序的健壯性還有待進(jìn)一步的驗證，因而選擇X264編碼程序作為本文的壓縮程序。 在本文的多描述解碼算法中。在P2P VOD這樣的實時視頻應(yīng)用系統(tǒng)中，解碼速度尤為重要，此外，還要考慮二次開發(fā)難易程度。為此，包括JM decoder，T264 decoder，p264 decoder，ffmpeg libavcodec，對其進(jìn)行解碼速度評測，選擇適用于本系統(tǒng)的解碼器。 JM decoderJM ，通常也稱為校驗?zāi)Ｐ?。，但是解碼速度慢，實用性較差。 T264 decoderT264是國內(nèi)的開源項目，是T264 decoder的程序做過匯編優(yōu)化，速度較快，但是只支持T264本身的碼流。 p264 decoderx264本身沒有解碼器，但其包含解碼器的部分函數(shù)雛形。李世平根據(jù)這些函數(shù)雛形實現(xiàn)了p264 decoder，支持baseline的解碼，并對其進(jìn)行了匯編優(yōu)化，解碼速度較快。 ffmpeg libavcodecffmpeg是一個大項目，它包含各種音視頻標(biāo)準(zhǔn)的codec，還支持各類文件格式(.avi,.mp4,.mkv)的解析，是非常好的音視頻編解碼庫，支持的標(biāo)準(zhǔn)非常全，而且解碼的速度也很快。本文編碼端采用X264編碼程序，由于T264解碼器不支持X264的碼流，本節(jié)對其他三種解碼器進(jìn)行解碼速度評測。1) 測試環(huán)境CPU: Pentium4 , RAM: DDR 1GOS: windows xp2) 測試序列分辨率序列名稱特點編碼幀數(shù)CIF(352288)foreman紋理復(fù)雜度一般，運動劇烈，畫面人物和鏡頭均運動，還有場景的切換200mthr_dou背景簡單；畫面人物運動幅度不大mobile紋理復(fù)雜度極高，運動形式豐富——畫面有多個運動物體，但各個運動物體運動方向規(guī)則且平緩，鏡頭在移動D1(720480)Soccer2鏡頭有移動，畫面的足球運動員的運動也很劇烈300puppy鏡頭無運動，畫面中的玩具小狗也只有簡單的運動1003) 編碼參數(shù)編碼程序：x264[36] svn check out 參數(shù)設(shè)置示例：frames 300 nocabac –qp 26 o 3522884) 解碼器程序編譯環(huán)境JM86 decoder[37]: vc60 releasex264 decoder[38]: vc60 releaseffmpeg libavcodec[39]: MinGW5) 解碼參數(shù)設(shè)置不保存重建序列6) 解碼速度結(jié)果表51：解碼速度比較（單位：fps）分辨率序列名稱量化步長JM86 decoderP264decoderffmpeglibavcodecCIFforeman2615fps左右36mthr_dou2636200mobile2636D1(720480)soccer2265fps左右36puppy2636可見，解碼速度：ffmpeg p264 decoder jm86 decoder本文的算法中，解碼端在最耗時的情況下需連續(xù)解4幀大小為360*288的文件，其平均解碼時間應(yīng)在40ms之內(nèi)。從評測結(jié)果看，ffmepg及p264decoder的解碼速度都可以滿足要求。但是ffmpeg的程序結(jié)構(gòu)比較差，這個文件有8000多行，不利于閱讀，編譯環(huán)境為gcc或MinGW，移植到vc下比較難。而p264decoder代碼架構(gòu)清晰，程序的可移植性較好。所以。 多描述視頻編碼實現(xiàn)多描述編碼部分實現(xiàn)將輸入的720576大小YUV420格式的視頻節(jié)目源劃分為四個碼率低于512kbps的子描述，分成兩個部分：1) 對原始視頻序列進(jìn)行空間1/4下采樣，得到4個低分辨率的YUV格式的子序列；2) ，如圖51所示：圖51 多描述視頻編碼示意 子流劃分將輸入的大小為72057采樣格式為I420 () 的原始視頻序列的每一幀圖像進(jìn)行1/4下采樣，生成4個大小為36028采樣格式I420的YUV視頻子序列。其實現(xiàn)過程如下：1) 定義二維數(shù)組Y[720][576]、U[360][288]及V[360][288]分別用于存儲讀入的視頻Y、U、V數(shù)據(jù)；定義4個大小為SIZ