【文章內(nèi)容簡介】 ................................................................................................... 39 總結(jié)與展望 .................................................................................................................................... 43 參考文獻(xiàn) ........................................................................................................................................ 44 附錄 ................................................................................................................................................ 45 致謝 ................................................................................................................................................ 63 電信學(xué)院學(xué)士學(xué)位論文 1 第一章 緒論 數(shù)字視頻技術(shù)在通信和廣播領(lǐng)域得到了日益廣泛的應(yīng)用，隨著互聯(lián)網(wǎng)和移動(dòng)通信的迅猛發(fā)展，視頻信息和多媒體信息在互聯(lián)網(wǎng)和移動(dòng)網(wǎng)絡(luò)中的處理和傳輸技術(shù)成為國內(nèi)外專家研究的熱點(diǎn)之一。 視頻信息具有直觀性、確切性、高效性與廣泛性等一系列的有點(diǎn)，但其信息量太大，要使視頻得到 有效的應(yīng)用，必須首先解決視頻壓縮編碼問題，其次既要解決壓縮后視頻質(zhì)量保證的問題。這兩者是相互矛盾的，是矛盾的兩個(gè)方面。我們的任務(wù)是既要有較大的壓縮比，又要保證一定的視頻質(zhì)量。 傳統(tǒng)的視頻編碼技術(shù)主要是面向存儲(chǔ)的，目標(biāo)是單純地追求某一固定碼率下的壓縮效率；隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和 Inter 的迅猛發(fā)展，面向網(wǎng)絡(luò)應(yīng)用的視頻服務(wù)正飛速增長，如：視頻會(huì)議、可視電話、視頻點(diǎn)播、視頻監(jiān)控等。視頻編碼的目標(biāo)由單純的追求高壓縮率轉(zhuǎn)向了使視頻流能夠更好地適應(yīng)各種不同的網(wǎng)絡(luò)環(huán)境和用戶終端，并具有一定的容錯(cuò)性和可伸縮性。 [1] 但是，視頻（尤其是實(shí)時(shí)視頻）對(duì)帶寬、延遲和丟失率等都有一定要求，而現(xiàn)有的因特網(wǎng)提供的服務(wù)不能為視頻應(yīng)用提供服務(wù)質(zhì)量保證。并且，由于網(wǎng)絡(luò)和接收端的異構(gòu)性，使得很難充分利用現(xiàn)有網(wǎng)絡(luò)帶寬和資源、實(shí)現(xiàn)服務(wù)的靈活性。由于網(wǎng)絡(luò)的異構(gòu)性和缺乏 QoS保證，帶寬往往在一個(gè)較大范圍內(nèi)變化，在速率起伏很大的 IP（ Inter Protocol）網(wǎng)絡(luò)及具有不同傳輸特性的異構(gòu)網(wǎng)絡(luò)上進(jìn)行視頻傳輸?shù)囊蠛蛻?yīng)用越來越多。因此對(duì)視頻編碼的要求不但是保證高壓縮率，同時(shí)還要求編碼后的視頻流能夠適應(yīng)一定的網(wǎng)絡(luò)帶寬的變化，并具有一定的容錯(cuò)性和多 方面的可伸縮性針對(duì)網(wǎng)絡(luò)應(yīng)用對(duì)視頻編碼技術(shù)提出的特殊要求。在這種背景下，視頻可伸縮編碼的重要性日益突出，其應(yīng)用非常廣泛，且具有很高的理論研究及實(shí)際應(yīng)用價(jià)值，因此受到人們的極大關(guān)注。 可伸縮性視頻編碼有很好的應(yīng)用前景，如無線局域網(wǎng)或 IP 網(wǎng)上傳輸視頻流、網(wǎng)上直播、移動(dòng)電子商務(wù)等。因分層的可伸縮視頻編碼方法通常把每層的視頻流分解成基本層碼流和增強(qiáng)層碼流，這就允許視頻流可在不同的網(wǎng)絡(luò)環(huán)境或流量中傳輸。在 IP 網(wǎng)絡(luò)中不同質(zhì)量的視頻流能被分配給一個(gè)或多個(gè)不同的客戶端，因此根據(jù)網(wǎng)絡(luò)流量的計(jì)費(fèi)管理系統(tǒng)就可得到保證，如 DVBH 或 3GPP 的 MBMS 等網(wǎng)絡(luò)，它們有不同能力的終端設(shè)備。應(yīng)用分層編碼方法，如果網(wǎng)絡(luò)支持某種網(wǎng)絡(luò)流僅傳輸?shù)侥骋辉O(shè)備，那么終端不必接受所有的位流。例如在 MBMS 或 DVBH 網(wǎng)絡(luò)中可能把 基本層碼流發(fā)送到低性能的終端設(shè)備，位流的其他層發(fā)送到高性能終端設(shè)備。用 可伸縮性碼流代替聯(lián)播，可大大減輕主干線的負(fù)擔(dān)。 電信學(xué)院學(xué)士學(xué)位論文 2 可伸縮性視頻編碼另一個(gè)很有前途的應(yīng)用是在視頻監(jiān)視系統(tǒng)中，一般來說，從許多攝像機(jī)得到的視頻必須在終端設(shè)備上存儲(chǔ)和顯示，這可能有不同的空域或時(shí)域分辨率。例如在一個(gè)監(jiān)視器或在移動(dòng)設(shè)備上（如可視電話或 PDA），許多場景分屏顯示，從專用攝像機(jī)上觀看場景，對(duì)這樣的應(yīng)用，可伸縮性視頻編碼很有吸引力，因?yàn)椴恍枰a或格式轉(zhuǎn)換。監(jiān)視攝像機(jī)發(fā)送出來的大量數(shù)據(jù)必須存儲(chǔ)起來，可伸縮性編碼可在某一特定時(shí)間后刪除已存場景的高分辨率層，僅把低分辨率復(fù)制到文檔中，不必重新編碼和復(fù)制，使存儲(chǔ)更加靈活。一般整個(gè)分辨率視頻能保持 1~3 天，中間質(zhì)量（減少時(shí)域或空域分辨率）的視頻可保持一周，低質(zhì)量（時(shí)域、空域分辨率同時(shí)減少）的視頻可保持更長的時(shí)間。 [2] 研究概況 與 發(fā)展趨勢 可伸縮視頻編碼（ SVC）是目前國際上研 究的熱點(diǎn)。聯(lián)合視頻組（ JVT）圍繞 SVC 展開了大量的研究工作，提出了作為 ，實(shí)現(xiàn)了時(shí)域、空域和質(zhì)量（ SNR）的可伸縮性。 ，越來越多的視頻應(yīng)用已經(jīng)或即將采用 。由于存在不同的網(wǎng)絡(luò)和不同的終端，因此對(duì)于視頻編碼的可伸縮性方面的要求也越來越迫切。所謂的可伸縮視頻編碼（ scalable video coding： SVC）技術(shù)包括空域可伸縮性（分辨率伸縮），時(shí)域可伸縮性（幀率伸縮），質(zhì)量可伸縮性和復(fù)雜度可伸縮 性等，要求視頻編解碼器在比特流級(jí)別具有以下可伸縮特性：通過簡單的丟包或截?cái)啻a流等操作提取出的子碼流具有較低的空間－時(shí)間分辨率和 /或較低的碼率（對(duì)應(yīng)于較低的視頻質(zhì)量），同時(shí)任何可能子碼流的編碼效率應(yīng)該與相應(yīng)非可伸縮視頻編解碼器相當(dāng)。 當(dāng)前國際上對(duì)于視頻編碼技術(shù)的研究熱點(diǎn)逐漸集中于在 視頻編碼。 2020 年 1 月， ISO 的 MPEG 和 ITU－ T 的 VCEG，同意聯(lián)合起來將 SVC 作為（ JVT）提出了草案，收錄為 。此后 ，每次 JVT 的會(huì)議都圍繞著 SVC 技術(shù)對(duì)草案進(jìn)行修訂和完善。在 2020 年 10 月的 JVT會(huì)議上，提出了 。 [3] ，擴(kuò)展集中所采用的 術(shù)都與 AVC 標(biāo)準(zhǔn)中的定義一致（例如，運(yùn)動(dòng)補(bǔ)償預(yù)測， intra 預(yù)測，變換編碼，熵編碼，去塊濾波器等），只加入或修改了很少一部分內(nèi)容。 ：（ 1）時(shí)域分級(jí)預(yù)測結(jié)構(gòu)；（ 2）用于空域可伸縮性的層間預(yù)測機(jī)制；（ 3）基本層與 兼容；（ 4）用漸進(jìn)細(xì)化片（ progressive refinement slices）實(shí)現(xiàn)精細(xì)顆粒的質(zhì)量可伸縮性；（ 5）NAL 單元概念的使用和擴(kuò)展。 在主要檔次中采用了基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼 (Contextbased Adaptive Binary Arithmetic Coding， CABAC)。 CABAC 是一種高效的熵編碼方法，它在計(jì)電信學(xué)院學(xué)士學(xué)位論文 3 算的復(fù)雜度和編碼效率之間作了折衷，建立了基于查表的概率模型，對(duì)乘法運(yùn)算也作了優(yōu)化，從而獲得很高的編碼效率。 國內(nèi)外有許多的專家學(xué)者都對(duì) CABAC 做了 大量的研究，包括：如何進(jìn)行 CABAC 的軟硬件實(shí)現(xiàn)的算法設(shè)計(jì)以達(dá)到效率的進(jìn)一步提高；針對(duì)編碼時(shí)間較長的重要圖的 CABAC編碼算法進(jìn)行優(yōu)化，降低其計(jì)算復(fù)雜度，減少其內(nèi)存訪問次數(shù)；優(yōu)化上下文模型的表征，降低 CABAC 編碼器與內(nèi)存之間的頻繁訪問和上下文模型表格初始化時(shí)的 CPU 計(jì)算量；通過犧牲少量的編碼準(zhǔn)確度來降低 CABAC 的計(jì)算復(fù)雜度，提高編碼速率；在 CABAC 過程中引入子表法與流重用發(fā)，來提高編碼精確度，等等。 被認(rèn)為是傳統(tǒng)視頻編碼技術(shù)的領(lǐng)導(dǎo)者，通過多種新技術(shù)的應(yīng)用使編碼效率得到很大的提高，在 Mbit/s 左右速率下就可以達(dá)到接近 DVD 的畫質(zhì)效果，但是由于其實(shí)現(xiàn)復(fù)雜度非常高，大規(guī)模工業(yè)化使用還尚待時(shí)日。目前市場上已有的一些 編碼產(chǎn)品，多數(shù)只實(shí)現(xiàn) 標(biāo)準(zhǔn)的部分算法，未能完全發(fā)揮 的編碼效率，預(yù)計(jì)形成成熟的產(chǎn)業(yè)鏈還需 一段 時(shí)間。在標(biāo)準(zhǔn)化方面， 無疑是最為全面的，它能夠支持從低碼率的手機(jī)、電視到高碼率的高清晰電視等多種應(yīng)用方式。而 中可伸縮性編碼將來的發(fā)展方向應(yīng)注重編碼效率的提高及算法復(fù)雜度減小。 我主要的研究工作包括以下幾個(gè)方面： 以 為主，研究各種可伸縮視頻編碼技術(shù) ； 研究 CABAC 編碼協(xié)議以及 源程序的相關(guān)部分，將源程序的流程與編碼過程對(duì)應(yīng)起來 ； 深入研究并理清 CABAC 對(duì)圖像的各種句法元素的編碼過程 ； 分析比較 CABAC 的 性能。 本文安排 本文余下內(nèi)容將如下安排。第二章將詳細(xì)介紹 標(biāo)準(zhǔn) （下文凡提到“標(biāo)準(zhǔn)”，均指文獻(xiàn) [4]） 中的 基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼 CABAC， 包括對(duì)它的二進(jìn)化，上下文建模與二進(jìn)制算術(shù)編碼這三種基本組成部分的 深入 描述。 第三章將解釋 的官方測試源碼 中涉及 到 CABAC 的部分 程序，并與標(biāo)準(zhǔn)相對(duì)應(yīng)。第三章將通過 分析CABAC 的性能，并與 CAVLC 相比較 。 具體的章節(jié)安排見目錄。 電信學(xué)院學(xué)士學(xué)位論文 4 第二章 標(biāo)準(zhǔn)中的 CABAC 又名“ MPEG4 AVC(Advanced Video Coding)”，是國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門（ International Telemunications Union－ Telemunication Standardization Sector ，ITUT）與國際標(biāo)準(zhǔn)化組織（ International Organization for Standardization， ISO）聯(lián)合開發(fā)組共同開發(fā)的最新國際視頻編碼標(biāo)準(zhǔn)，于 2020 年 5 月發(fā)布了第一個(gè)版本。在該標(biāo)準(zhǔn)中采用了一系列先進(jìn)的編碼技術(shù)，在編碼效率、網(wǎng)絡(luò)適應(yīng)性等諸多方面都超越了以往的視頻編碼標(biāo)準(zhǔn)。其中，為了改進(jìn)以往標(biāo)準(zhǔn)中熵編碼 (Entropy Coding)存在的編碼效率低、重建效果差以及存在一些不可避免的幀間符號(hào)冗余等不足， 中規(guī)定了兩種熵編碼的模式，即基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼 (Contextbsaed Adaptive Binary Arithmetic Coding， CABAC)和基于上下文自適應(yīng)可變長編碼 (Contextbsaed Adaptive VariableLength Coding，CAVLC )。 熵編碼直接對(duì)變換編碼后的系數(shù)進(jìn)行編碼。視頻信號(hào)間有很強(qiáng)的非靜態(tài)統(tǒng)計(jì)依賴性，這些統(tǒng)計(jì)特性很大程度上依賴于視頻內(nèi)容和圖像獲取方式。傳統(tǒng)的編碼思想是將視頻信號(hào)的比特流映射成一個(gè)個(gè)不同碼字長的語法元素，這種變長編碼僅僅利用了這些非靜態(tài)統(tǒng)計(jì)特性中的一部分進(jìn)行壓縮，而在以往的視頻編碼方案中，存在于語法元素?cái)?shù)值之間的高階統(tǒng)計(jì) 依賴性則基本被忽略了。 CABAC 是 ，是將自適應(yīng)的二進(jìn)制算術(shù)編碼與一個(gè)設(shè)計(jì)精良的上下文模型結(jié)合起來得到的方法。它很好地利用了語法元素?cái)?shù)值之間的高階信息，使得熵編碼的效率得到了進(jìn)一步提高。它的主要特點(diǎn)有：利用每個(gè)語法元素的上下文關(guān)系，根據(jù)已編碼元素為待編碼元素選擇概率模型，即上下文建模；根據(jù)當(dāng)前的統(tǒng)計(jì)特性自適應(yīng)地進(jìn)行概率估計(jì)；使用算術(shù)編碼。 [5] 圖 展示了在 CABAC 中編碼一個(gè)單獨(dú)的句法元素的通用方框圖。這個(gè)編碼過程 主要由三個(gè)基本步驟組成： 二值化； 上下文建模 ； 基于表格的 二進(jìn)制算術(shù)編碼 。 在第一步，一個(gè)給出的非二進(jìn)制值的句法元素唯一地對(duì)應(yīng)到一個(gè)二進(jìn)制序列，叫二進(jìn)制串。當(dāng)給出一個(gè)二進(jìn)制值的句法元素 時(shí) ，這一初始步驟將被跳過，如圖 1 所示。對(duì)于每個(gè)元素的二進(jìn)制串或每個(gè)二進(jìn)制值的句法元素，后面會(huì)根據(jù)編碼模式有一兩個(gè)子步驟。 接下來就是對(duì)二元數(shù)據(jù)進(jìn)行編碼，標(biāo)準(zhǔn)中有兩種編碼模式可供選擇。在常規(guī)編碼模式（ regular coding mode）中，一個(gè) 句法元素 的每一個(gè) 二進(jìn)值 （ bin）按其判決產(chǎn)生的順序進(jìn)入電信學(xué)院學(xué)士學(xué)位論文 5 上下文模型器，在這里，模型器根據(jù)已經(jīng)編碼過的 句法元素 或 二 進(jìn)值 為每一個(gè)輸入的 二進(jìn)值 分配一個(gè)概率模型，這就是上下文模型化。然后該 二進(jìn)值 和分配給它的概率模型一起被送進(jìn)常規(guī)算術(shù)編碼器進(jìn)行編碼，此外編碼器還要根據(jù)該二元位的值反饋一個(gè)信息給上下文模型器，用以更新上下文模型，這就是編碼中的自適應(yīng)；另一種模式是旁路編碼模式（ bypass coding mode），在該模式中，沒有模型器為每個(gè) 二進(jìn)值 分配一個(gè)特定的概率模型，輸入的二元數(shù)據(jù)是直接用一個(gè)簡單的旁路編碼器進(jìn)行編碼的，這樣做是為了加快整個(gè)編碼（以及另一端解碼）的速度，當(dāng)然，該模式只用于某些特殊的 二進(jìn)值 。 后面將更加詳細(xì)地討 論二值化，上下文建模與基于表格的二進(jìn)制算術(shù)編碼這三個(gè)主要步驟以及它們之間的相互聯(lián)系。 圖 CABAC 編碼器方框圖 CABAC 的二值化方案 有四種基本類型：一元碼，截?cái)嘁辉a， k 階指數(shù)哥倫布編碼，與定長編碼。此外，還有基于這些基本類型的聯(lián)合的 二值化 方案 與基于查表的二值化方案 。 一元碼 （ Unary） 對(duì)于 一個(gè) 非二進(jìn)制 的 無符號(hào)整數(shù)值符號(hào) x≥ 0，在 CABAC 中的一元碼碼字由 x 個(gè)“ 1”位外加一個(gè)結(jié)尾的“ 0”位組成。 例如 ，輸入的句法元素值為 4， 其二值化 結(jié)果為