【正文】 ................................................... 29 II 第 4 章 結(jié)論與展望 ................................................................................. 30 結(jié)論 ........................................................................................................................... 30 展望 ........................................................................................................................... 30 致謝 .......................................................................................................... 32 參考文獻(xiàn) .................................................................................................. 33 附錄 .......................................................................................................... 35 河海大學(xué)本科畢業(yè)設(shè)計(jì) 1 第 1 章 緒論 研究背景及意義 隨著當(dāng)今多媒體技術(shù)的應(yīng)用范圍不斷擴(kuò)大，高清數(shù)碼產(chǎn)品逐步普及，人們對(duì)圖像通信質(zhì)量及效率的要求越來越高。因?yàn)槿祟悓?duì)信息的認(rèn)識(shí)與了解大約有 70%左右來自于視覺系統(tǒng)，因此在多媒體信息中，數(shù)字視頻信息尤為重要，在人們普遍追求高清、高質(zhì)量視頻效果的今天，如高清電視、高清數(shù)碼攝像機(jī)、高清數(shù)碼相機(jī)等，首當(dāng)其沖的就是主觀質(zhì)量，人們更加注重主觀感受，而且當(dāng)今的視頻輸出端，如電視、手機(jī)屏幕為給人們提供更加優(yōu)質(zhì)的視覺效果，尺寸做得是越來越大，同時(shí)需要的精度也越來越小，因此，其中哪怕是極其輕微的塊效應(yīng)也會(huì)引起觀賞者的視覺不適。 在保 證圖像質(zhì)量的前提下，如何才能做到降低或消除塊效應(yīng)。從某種意義上來說，其重要性實(shí)際上遠(yuǎn)遠(yuǎn)超出了單純的提高圖像客觀質(zhì)量。因此，改善甚至消除塊效應(yīng)也就成為判定是否提高圖像和視頻編碼性能的一個(gè)重要指標(biāo)。從本世紀(jì)初，在日益完善的視頻標(biāo)準(zhǔn)中，一個(gè)有效改善主觀視覺質(zhì)量的方法就是利用自適應(yīng)調(diào)整濾波強(qiáng)度的去塊效應(yīng)濾波方法，但是，由于其數(shù)據(jù)量大、復(fù)雜度高，對(duì)軟硬件的要求更為苛刻，嚴(yán)重影響了處理速度，因而尋求有效的實(shí)現(xiàn)濾波操作的方案和降低濾波算法的復(fù)雜度目前成為了改善圖像質(zhì)量亟待解決的問題。 高效視頻編碼（ HEVC）是一種新型的 視頻編碼標(biāo)準(zhǔn)，是由 ITUT SG16 ，也被稱為視頻編碼專家組（ VCEG）和運(yùn)動(dòng)圖像專家組（ MPEG）聯(lián)合協(xié)作的團(tuán)隊(duì)在視頻編碼（ JCTVC）的基礎(chǔ)上聯(lián)合研制成功的，并通過了 ISO / IEC JTC 1/SC29/WG11 的認(rèn)證。第一版本的 HEVC 標(biāo)準(zhǔn)已于 20xx 年 1 月完成，預(yù)計(jì)在接下來的幾年中，將會(huì)繼續(xù)開發(fā)和三維擴(kuò)展 HEVC。與先前的視頻編碼標(biāo)準(zhǔn)相似，HEVC 編碼標(biāo)準(zhǔn)是基于混合編碼方案的采用基于塊的預(yù)測(cè)和變換編碼方式的。首先，無論是通過運(yùn)動(dòng)補(bǔ)償還是內(nèi)部幀預(yù)測(cè)得到的解碼數(shù)據(jù)，輸入信號(hào)均被分為矩形塊 。由此產(chǎn)生的預(yù)測(cè)誤差通過基于近似整數(shù)的離散余弦變換（ DCT）的塊變換進(jìn)行編碼，其次，是變換系數(shù)的量化和編碼。 圖片劃分成 1616的采樣固定宏塊，而 HEVC編碼標(biāo)準(zhǔn)則是將圖片分割成 1616，3232， 6464 采樣編碼樹單元（ CTU）。該編碼樹的單位可以進(jìn)一步分成較小的河海大學(xué)本科畢業(yè)設(shè)計(jì) 2 塊使用一個(gè)四元樹結(jié)構(gòu)，這樣的一個(gè)塊，稱為一個(gè)編碼單元（ CU），可以進(jìn)一步被分割成預(yù)測(cè)單元（ PU），也是一個(gè)根本的變換四叉樹。在每個(gè)變換四叉樹的子節(jié)點(diǎn)的又定義了一個(gè)變換單元（ TU）。所使用的變換的大小在預(yù) 測(cè)誤差編碼可以從 44 到 3232 樣品，從而允許比 ，它使用 44 和 88變換。作為最佳大小上述塊通常取決于圖像內(nèi)容的再生圖像是由塊各種尺寸，每個(gè)塊被用一個(gè)單獨(dú)的編碼變換預(yù)測(cè)模式和預(yù)測(cè)誤差。 在一個(gè)利用基于塊的預(yù)測(cè)和變換編碼方案中，不連續(xù)性可能會(huì)發(fā)生在重建的信號(hào)在塊的邊界，在塊邊界的可見的不連續(xù)性被稱為 “ 塊效應(yīng) ” 。一個(gè)主要的塊效應(yīng)的來源是塊變換編碼的預(yù)測(cè)誤差的后跟粗量化 。 此外，在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理，預(yù)測(cè)在當(dāng)前圖像的相鄰塊可能不來從在先前編碼的圖片，相鄰塊的在預(yù)測(cè)的塊邊界的不連續(xù)性產(chǎn) 生信號(hào)。類似地，應(yīng)用幀內(nèi)預(yù)測(cè)時(shí)，預(yù)測(cè)相鄰塊的過程中可能會(huì)有所不同造成不連續(xù)的預(yù)測(cè)信號(hào)的塊邊界。 解決 “ 塊效應(yīng) ” 的兩種最有效的方法就是后置濾波和環(huán)路濾波。后置濾波在視頻編碼標(biāo)準(zhǔn)中沒有被具體指定，比如在顯示緩沖區(qū)中，實(shí)現(xiàn)者可以根據(jù)特定應(yīng)用程序的需求自由地設(shè)計(jì)算法，這種方法的優(yōu)點(diǎn)是自由性比較強(qiáng)，但相對(duì)而言兼容性卻較差；環(huán)路濾波在編解碼過程中，需要避免出現(xiàn)在編碼器和解碼器中的漂移現(xiàn)象。 HEVC 標(biāo)準(zhǔn)中定義了可依次用于重建圖片的兩種環(huán)路濾波，分別是去塊效應(yīng)濾波 （ Blocking artifacts filter， BAF） 、自適應(yīng)采樣點(diǎn)補(bǔ)償濾波（ sample adaptive offset， SAO），其中去塊效應(yīng)濾波是在 編碼標(biāo)準(zhǔn)中去塊效應(yīng)濾波算法的基礎(chǔ)上發(fā)展而來的，產(chǎn)生發(fā)展的目的就是提高速度，降低算法復(fù)雜度，當(dāng)前的 HEVC模塊中取消了小塊，即 44 塊的去塊效應(yīng)濾波算法，而新增加了自適應(yīng)采樣點(diǎn)補(bǔ)償濾波和自適應(yīng)環(huán)路濾波的技術(shù)。 在 HEVC 編碼標(biāo)準(zhǔn)中，重建寫入解碼環(huán)的去塊效應(yīng)濾波（ Deblocking Filter，DBF）的像素通常需要兩個(gè)步驟：一是進(jìn)行采樣點(diǎn)自適應(yīng)補(bǔ)償（ SAO）濾波處理，二是進(jìn)行去塊效應(yīng)濾波處理，此 去塊效應(yīng)濾波環(huán)節(jié)實(shí)質(zhì)上的目的是為了盡量減少基于塊編碼而產(chǎn)生的塊效應(yīng)。 HEVC 編碼標(biāo)準(zhǔn)中的 DBF 與 似， HEVC 區(qū)別于其他編碼技術(shù)的特點(diǎn)就是對(duì) SAO 方法的引入，這是由于 DBF僅僅是用來處理塊邊界上的像素，而 SAO 濾波器的引入則大大擴(kuò)展了處理像素的范圍，可用于處理滿足某種統(tǒng)計(jì)條件的情況，如：基于梯度圖等。該項(xiàng)技術(shù)在河海大學(xué)本科畢業(yè)設(shè)計(jì) 3 很大程度上為削弱 ―塊效應(yīng) ‖做出了貢獻(xiàn)。 實(shí)際上， HEVC 和 編碼標(biāo)準(zhǔn)之間的差異是十分微小的，它們至少在主要性能上是相同的，都能使畫面實(shí)際編碼的畫幅變得更大，比如從 2K 到 4K、從 4K到 8K分辨率的變化，它們的目的是使得全高清視頻的播放速率變得更快。Netflix公司在 20xx 年的 CES 展會(huì)上已經(jīng)演示過該技術(shù)。 HEVC 被認(rèn)為是即將流行的協(xié)議標(biāo)準(zhǔn)，因?yàn)椴还苁?3D 藍(lán)光播放器還是其他的一些主流媒體的播放器，都急需一個(gè)新的編解碼器，以能達(dá)到播放 4K 內(nèi)容的能力。非?？上驳氖?HEVC協(xié)議標(biāo)準(zhǔn)的整個(gè)框架結(jié)構(gòu)已經(jīng)被確定，它將在 編碼標(biāo)準(zhǔn) 2 至 4 倍復(fù)雜度的基礎(chǔ)上，將壓縮效率提升一倍以上。當(dāng)然，新的編解碼器也有不可忽視的缺點(diǎn)，它們不支持大多數(shù)硬件，通常需要效率更高、更多的處理器來輔助，這 就意味著，如果有一個(gè)固件需要更新，而編解碼器卻跟不上升級(jí)速度的話，那么我們的電視機(jī)頂盒和藍(lán)光播放機(jī)是無法播放 HEVC 標(biāo)準(zhǔn)下編碼的視頻內(nèi)容的，這些問題都使得 HEVC 需要等待解決方案出現(xiàn)后才能繼續(xù)使用。即便如此，世界上許多知名電視機(jī)品牌和媒體運(yùn)營(yíng)商依然將 HEVC 協(xié)議標(biāo)準(zhǔn)作為未來主要研發(fā)的媒體格式，比如松下公司就已經(jīng)明確表態(tài)，要在其未來的 4K 電視及 OLED 電視上使用該協(xié)議。相信不久之后， HEVC 協(xié)議標(biāo)準(zhǔn)一定會(huì)以更強(qiáng)勁的壓縮效率表現(xiàn)，將視頻壓縮技術(shù)推向全新的高度，成為各電視和廣播載體的標(biāo)桿。 視頻編碼技術(shù)研 究現(xiàn)狀 視頻壓縮主要是通過去除視頻中的空間冗余、時(shí)間冗余和編碼冗余三種方法得以實(shí)現(xiàn)，這些編碼算法在編碼器中被有效的組合在一起，使整個(gè)編碼器具有較高的壓縮效率。目前主流的視頻編碼器采用的技術(shù)主要有預(yù)測(cè)、變換、量化、掃描和熵編碼，這些技術(shù)在編碼器中的基本實(shí)現(xiàn)次序關(guān)系如圖 11 所示。 圖 11 視頻編碼壓縮關(guān)鍵技術(shù) 圖像 /視頻編碼的預(yù)測(cè)技術(shù)分為幀內(nèi)預(yù)測(cè)（ intraprediction）和幀間預(yù)測(cè)（ interprediction）。幀內(nèi)預(yù)測(cè)是利用圖像在空間上相鄰像素之間具有相關(guān)性的特點(diǎn)，由相鄰像素預(yù)測(cè)當(dāng)前塊的像素值，這種方法可以有效地去除塊間冗余。幀內(nèi)預(yù)測(cè)包含多個(gè)預(yù)測(cè)方向，可以按照?qǐng)D像本身的特點(diǎn)選擇一個(gè)最佳的預(yù)測(cè)方向， 最河海大學(xué)本科畢業(yè)設(shè)計(jì) 4 大限度地去除空間冗余。幀間預(yù)測(cè)根據(jù)預(yù)測(cè)方向又可分為前向預(yù)測(cè)和雙向預(yù)測(cè)，以上兩種方法都是利用已編碼幀的視頻內(nèi)容對(duì)未編碼的當(dāng)前幀進(jìn)行預(yù)測(cè)，以達(dá)到消除運(yùn)動(dòng)圖像時(shí)間冗余的目標(biāo)。 利用同一幀圖像內(nèi)的像素之間的相 關(guān)性，通過變換編碼減少像素間的相關(guān)性方法達(dá)到消除空間冗余的目的。變換編碼被認(rèn)為是圖像或視頻編碼中最有效的技術(shù)之一，因?yàn)樗鼘⒖沼蛐盘?hào)變換到頻域信號(hào)，有效地去除了信號(hào)的相關(guān)性，并能夠使大部分能量集中到低頻區(qū)域。根據(jù)頻域信號(hào)的這一特點(diǎn)，就可以選擇編碼部分顯著的頻域信號(hào)，同時(shí)丟棄不顯著的頻域信號(hào)，以此達(dá)到提高壓縮效率的目標(biāo)[1]。在此過程中常用的變換技術(shù)有 KL變換、 DCT 變換以及小波變換等等。 量化是一種有損壓縮技術(shù)，量化后的視頻圖像是不能進(jìn)行無損恢復(fù)的，因?yàn)闀?huì)導(dǎo)致源圖像與重建圖像之間存在一定的誤差，所以此現(xiàn)象稱 之為失真。變化量化后的系數(shù)在熵編碼之前通常要通過 “ Z” 字 （ Zigzag）掃描，這樣的掃描過程能夠?qū)⒆儞Q量化系數(shù)重新組織成一維系數(shù)序列，使得這組序列能夠在后續(xù)過程中被高效的編碼。 目前國(guó)際上主流的視頻壓縮標(biāo)準(zhǔn)主要有以下幾種： （ 1）隸屬于國(guó)際標(biāo)準(zhǔn)化組織（ International Standardization Organization， ISO）和國(guó)際電工委員會(huì)（ International Electronics Committee， IEC）的運(yùn)動(dòng)圖像專家組（ Moving Pictures Experts Group， MPEG）組織編定的的 MPEG 標(biāo)準(zhǔn)；其中， MPEG1 標(biāo)準(zhǔn) ——主要用于 VCD 存儲(chǔ) [2]； MPEG2 標(biāo)準(zhǔn) ——主要用于數(shù)字電視廣播和數(shù)字視頻光盤 [3]； MPEG4 標(biāo)準(zhǔn) ——主要用于對(duì)隨機(jī)形狀的對(duì)象進(jìn)行編碼 [4]。 （ 2）國(guó)際電信聯(lián)盟（ International Telemunication Union， ITU）制定的 和 標(biāo)準(zhǔn)，是針對(duì)視頻會(huì)議來設(shè)定的。 （ 3） 20xx 年， ISO/IEC 下屬的 MPEG 和 ITU 下屬的視頻編碼專家組（ Video Coding Experts Group， VCEG）共同成立的聯(lián)合視頻小組（ Joint Video Team， JVT）完成的 標(biāo)準(zhǔn)即 “ MPEG4 AVC（ Advanced Video Coding） ” ，有時(shí)也被稱為“ MPEG4 Part 10” ，主要用于國(guó)際數(shù)字視頻編碼和國(guó)內(nèi)的 AVS 數(shù)字視頻編碼。 （ 4）國(guó)際電信聯(lián)盟組織（ ITUT）和運(yùn)動(dòng)視頻專家組織（ MPEG）所成立的視頻編碼聯(lián)合小組（ JVT）在定制完成 ，于 20xx河海大學(xué)本科畢業(yè)設(shè)計(jì) 5 年推出了當(dāng)前國(guó)際上最新的主要面向高清電視以及視頻編解碼系 統(tǒng)的高效視頻編碼（ High Efficient Video Coding， HEVC）標(biāo)準(zhǔn)。 國(guó)內(nèi)外研究現(xiàn)狀 視頻壓縮的標(biāo)準(zhǔn)化是視頻編碼技術(shù)產(chǎn)業(yè)化的前提。編碼器按照嚴(yán)格、統(tǒng)一的視頻壓縮標(biāo)準(zhǔn)，將視頻 /圖像壓縮轉(zhuǎn)換成碼流格式，然后在解碼器端識(shí)別這些壓縮比特流，并解碼重構(gòu)視頻 /圖像，以實(shí)現(xiàn)信息正確無誤的交互。視頻壓縮算法的研究近些年來取得了很大的成就，從而確立了一系列的視頻壓縮標(biāo)準(zhǔn)。 視頻編碼標(biāo)準(zhǔn)的發(fā)展 視頻編碼標(biāo)準(zhǔn)的演變過程，是基于著名的 ITUT 和 IOS/IEC 標(biāo)準(zhǔn)的發(fā)展過程。 ITUT編 訂了 [5]和 [6]標(biāo)準(zhǔn)， IOS/IEC編訂了 MPEG1[7]和 MPEG4[8]標(biāo)準(zhǔn)，隨后這兩個(gè)組織又聯(lián)合編訂了 [9]和 。這些標(biāo)準(zhǔn)的產(chǎn)生在視頻編碼界引起了巨大的反響，同時(shí)它們也在人們的生活中得到了越來越廣泛的應(yīng)用。在現(xiàn)今社會(huì)中這些標(biāo)準(zhǔn)的演變還在持續(xù)進(jìn)行著，人們希望通過不斷的改進(jìn)達(dá)到提升最大化視頻壓縮性能的目的，同時(shí)提高其他一些特性，如數(shù)據(jù)丟失的魯棒性等等。 視頻編碼技術(shù)歷經(jīng)了近 60 年的發(fā)展，在這一過程中，逐漸形成了變換編碼、預(yù)測(cè)編碼和熵編碼 三類經(jīng)典編碼技術(shù)，這三類技術(shù)分別用于去除視頻信號(hào)的空域冗余、時(shí)域冗余以及信息熵冗余問題。基于這三類技術(shù)，逐步形成了以塊為單位的，預(yù)測(cè)加變換的混合編碼框架。截止到目前為止，所有出現(xiàn)的視頻編碼標(biāo)準(zhǔn)都是基于這一技術(shù)框架發(fā)展起來的，包括前面提到過的 ， ， 視頻編碼標(biāo)準(zhǔn)， MPEG MPEG MPEG4 視頻編碼標(biāo)準(zhǔn)以及我國(guó)自行研發(fā)的 AVS視頻編碼標(biāo)準(zhǔn)。這些視頻編碼標(biāo)準(zhǔn)凝聚了視頻編碼技術(shù)的所有精華，體現(xiàn)了學(xué)術(shù)界以及工業(yè)界對(duì)視頻信號(hào)壓縮處理的理解。從某種程度上來說，視頻編