【文章內容簡介】 碼標準的演變是視 頻編碼技術發(fā)展的一個縮影。 、生產中的每個領域，包括高清晰度（高清）電視衛(wèi)星、有線電視信號、地面?zhèn)鬏斚到y(tǒng)、視頻內容的采集和編輯系統(tǒng)、攝像機、安全應用、互聯(lián)網和移動網絡視頻、藍光碟片以及實時會話的應用，如視頻會議、視頻聊天、臨場感系統(tǒng)。 取代了其他舊的編碼標準在視頻編碼領域的地位。但是， 準的性能依然是無法滿足如今視頻設備的多樣化發(fā)展、無法滿足高清視頻用戶數河海大學本科畢業(yè)設計 6 量的增加和超高清視頻的出 現的要求，帶有立體聲和多視點視頻捕捉、高清顯示設備的出現更是不斷地推動人們探索提高視頻壓縮技術性能的新方法。此外，針對移動設備和平板電腦的視頻應用造成的數據增加，以及傳輸需求的視頻點播服務，對當今的網絡也提出了更大、更新的挑戰(zhàn)，移動應用中的視頻也向著高質量和高分辨率的方向發(fā)展。 HEVC 的制定，基于的最主要的標準就是 ， 1999年至 20xx 年間 HEVC 一直在不斷發(fā)展。 環(huán)路去塊效應濾波技術的國內外相關研究 視頻編碼技術已被廣泛應用在減少編碼比特率，以節(jié)省信道帶 寬和磁盤空間的過程中。為了提高編碼性能，眾所周知的視頻編碼標準從 展到 HEVC，并日益成熟，性能較以往標準更是有了顯著地改善與提高。保持圖像質量不變的情況下，同時大大降低比特率。然而，塊效應卻依舊會在解碼圖像中出現。消除塊狀影像以提高圖像質量的視頻編碼系統(tǒng)是一個亟待被研發(fā)出來的。 現階段國內外針對編碼標準中的環(huán)路去塊效應濾波問題的研究主要是集中在 ，同時包括軟、硬件方面的研究。 針對視頻編碼標準中的環(huán)路去塊效應濾波問題的現有研究有西安電子科技大學 Shang 等人提出的一種基于人類視覺系統(tǒng)（ Human Visual System，簡稱 HVS）的快速環(huán)路去塊效應濾波算法，利用人類視覺系統(tǒng)的亮度、復雜度掩蔽效應進行模式分析、選擇，對去塊效應濾波的模式和濾波過程進行算法的改進；浙江大學Fang 等人則是針對軟件處理能力和兼容性設計兩個方面存在的問題，對去塊效應濾波進行了算法優(yōu)化，從而提出了高效的實現結構；浙江大學 Yi 等人針對環(huán)路去塊效應濾波判定方法進行了研究，在保證視頻質量的前提下降低了算法的復雜度。 目前應用在 HEVC 編碼標準 HM 軟件中的自適應環(huán)路濾波器，是一種由Karczewicz[10]等人首先提出的空間域的維納濾波器，通過將維納 —霍普夫方程的濾波系數進行求解，再熵編碼，最后將結果發(fā)送至解碼器的單元。自適應環(huán)路濾波的執(zhí)行，基本上代替了像素被濾波內核加窗加權的濾波操作，對于邊界的像素，這種加權較內核中的非邊界像素是可能會加重其平滑度的，為了避免存在這種不良的平滑化，權重是在考慮到像素亮度和色度分量的同時，更應該首先考慮到像河海大學本科畢業(yè)設計 7 素自身值。以上就是 Manduchi 和 Tomasi 首先提出的雙邊濾波的核心思想 [11]。從開創(chuàng)了這項工作以來，基于 路濾波和雙邊濾波的研究工作，如 Hu和 Haan使用 BLF 替代了 去塊效應濾波 [12]，并指出 BLF 增強了解碼視頻的主觀和客觀的質量。 Liu和 Hao結合了 BLF 和維納濾波進行聯(lián)合濾波 [13]。 本文的主要內容及結構 本文旨在對新一代的視頻編碼標準 HEVC 后處理技術進行研究和改善。 本論文分為四章： 第一章為緒論部分，主要介紹了課題的研究背景和意義。本章對視頻編碼的發(fā)展歷程做了詳盡的展開，簡單介紹了當今國際上通用的視頻編碼標準，并對目前國內外對 HEVC 標準的研究和改善進行了簡要的介紹。 第二章主要是對高效視頻編碼中的環(huán)路去塊效應濾波技術的算法特點和具體算法進行介紹。根據視頻編碼中塊效應產生的根本原因，考慮當前環(huán)路去塊效應濾波的特點和算法，給出算法具有的優(yōu)缺點，為以下章節(jié)進行算法改進打下了基礎。 第三章是從視頻編解碼過程中對色度和亮度分量濾波的角度，提出一種能夠同時對色度和亮度進行濾波的算法，給出算法的原 理、特點和算法執(zhí)行的步驟，對該新算法與原有算法進行試驗分析比較。 第四章是對全文進行的總結，針對高效視頻編碼中環(huán)路濾波算法所存在的問題，提出了算法的改進方案，并對去塊效應濾波技術中可以改進的方面進行了相應的展望，以促進 HEVC 編碼標準的進一步發(fā)展。 河海大學本科畢業(yè)設計 8 第 2 章 高效視頻編碼中的環(huán)路去塊效應濾波技術 高效視頻編碼中環(huán)路去塊效應濾波技術的特點 在 HEVC 編碼標準中主要定義了編碼單元（ CU）、預測單元（ PU）和變換單元（ TU）三種類型的單元格式。去塊效應濾波用于去除圖像邊界、跨片邊界或可直接編碼的信號邊界 以外所有 PU或 TU邊界相鄰的像素中。讓人關注的是，因 PU邊界在幀間預測 CB 中并不是總和 TU邊界對齊，因此 PU和 TU邊界此時均需要被考慮到，在 SPS 和片頭中有語法提示在跨片和頭邊界是否需要去塊效應濾波。 HEVC 與 ，二者的不同點在于后者只對 44 像素的塊邊界用去塊效應濾波，而前者只對 88 像素塊邊界的亮度和色度使用去塊效應濾波，因此從運算角度上來說， HEVC 在確保圖像質量的同時可以降低計算復雜度，進而提高了并行處理效率。 HEVC 中控制去塊效應濾波強度的參數和 ，但參數個數卻由原來的 5 個減少到了 3 個。設 P 和 Q 為兩個大小為 88 的相鄰像素塊，設其中一個為幀內預測圖像塊，濾波強度選擇 2；但是當滿足下列任一情況時，濾波強度應選擇 1，（ 1） P 和 Q 至少有一個是非零變換系數；（ 2） P 和 Q 的參考索引不相等；（ 3） P 和 Q 的運動變量（ MV）不相等；（ 4） P 和 Q 的 MV 分量的差值大于或等于一個整像素；如果以上的條件都不成立的話，則濾波強度為 0，這種情況就意味著不需要進行去塊效應濾波處理。 根據濾波強度和 P、 Q的平均量化參數，可以在預定義的表中確定兩個閾值：tc 和 β；對于亮度像 素，選擇不同的 β 代表不同的濾波強度，分別為：不濾波，強濾波和弱濾波。注意這個選擇可以跨過四個亮度的行和列，如果第一和最后一行或列共用，可以用以減少計算的復雜度。 對于色度像素，則只有不濾波和正常濾波兩種情況；正常濾波只有在濾波強度大于 1 的情況下才會使用，濾波處理通過控制變量 tc 和 β來實現。圖 21 為 SAO 中四種梯度模式。 河海大學本科畢業(yè)設計 9 圖 21 SAO中的四種梯度模式 在 HEVC 編碼標準中， DBF 的處理順序是 :先對整個圖像的垂直邊界進行水平濾波；再對水平邊界進行垂直濾波。這種處理使并行處理結構中同時進行多水平 行或垂直列濾波變得非常方便，同時還可以逐個 CTB 塊進行，以達到減少時延的目的。 環(huán)路去塊效應濾波的算法原理 在 HEVC 標準中定義了兩種用于重構圖片的環(huán)路濾波技術，一種是去塊效應濾波，另一中是采樣自適應補償濾波（ SAO），本節(jié)會詳細描述第一種環(huán)路濾波技術 ——去塊效應濾波。 濾波判別 （ 1）去塊效應濾波的塊邊界 獨立編碼塊創(chuàng)建在塊邊界的不連續(xù)點上，如圖 22 所示。當塊邊界的兩側相對平滑時，人類視覺系統(tǒng)就會很容易注意到塊效應的發(fā)生，但若塊邊界兩側的信號變化比較多時，人們就很難注意到它的發(fā)生。此外，若貫穿于邊界的原始信號是高變換度時，就很難判定重建信號的變化究竟是源于塊效應還是原始信號。 圖 22 一維塊效應中塊邊界示例 河海大學本科畢業(yè)設計 10 因此，去塊效應濾波設計的重點是首先判斷是否需要進行去塊效應濾波，其次是確定去塊效應濾波的濾波強度。過度濾波將導致圖像的細節(jié)過于平滑，即會丟失細節(jié)，而缺省濾波將造成主觀視頻質量的下降。是否進行塊邊界濾波取決于兩相鄰像素塊重構像素值的特征和可能在編碼過程中引起的塊效應的編碼參數。 如圖 23所示，首先將圖片分成 88的像素塊，該像素塊中分別包含像素點，垂直和水平分塊邊緣和可并行處理的非重疊像素分塊信息。當同時滿足以下三個條件時，在塊邊界的四像素部分要執(zhí)行去塊操作，（ 1）塊邊界為預測單元或變換單元的邊界；（ 2）邊 界強度大于零；（ 3）塊邊界兩側信號的變化低于指定閾值（如圖 ）。當滿足以上三點條件時，就進行強濾波操作。 采 樣 點大 小 為 8 8 的 塊垂 直 邊 界水 平 邊 界非 重 疊 的 8 8 大 小 的 塊 ，用 于 去 塊 濾 波 的 并 行 計 算 圖 23 采樣塊邊界示意圖 （ 2）邊界強度（ Bs）和邊緣水平自適應性 邊界強度（ Bs）的計算是為預測單元和變換單元的邊界而進行的，邊界強度一般有 0、 1 和 2 三個值，邊界強度的定義如表 21 所示。對于亮度分量來說，邊界強度只有 1 和 2 兩個值，這就意味著，當邊界強度不為 0 時，表示不存在靜態(tài)區(qū)域濾波。這樣有助于避免后續(xù)圖片間的像素殘差為零的相同區(qū)域進行多次濾波，這種濾波將引發(fā) “ 過平滑 ” 現象。對于色度分量，只有在邊界強度等于 2的情況下執(zhí)行濾波操作，這就意味著至少在相鄰邊界有一個塊為幀內預測塊才能河海大學本科畢業(yè)設計 11 進行濾波操作。 表 21 兩個鄰近的亮度塊邊界 Bs值的定義 條件 Bs 邊界兩側至少有一個是幀內預測塊 2 邊界兩側至少有一個塊的編碼殘差系數不全為零并且是轉換塊的邊界 1 邊界兩側圖像運動矢量之差不小于一個亮度圖像點距離 1 邊界兩側的運動補償參考幀不同或者兩側運動矢量數量不同 1 其他 0 （ 3）局部自適應性和濾波判定 當邊界強度（ Bs）大于零時，增加的條件是檢測亮度塊的邊緣，這個操作的目的是判斷是否應用去塊效應濾波。如圖 22 所示，塊效應的特點是塊邊界兩側低空間活動且不連續(xù)，因此，對于 88 像素的網格上的每個 4像素長度的塊邊界來說，滿足上述條件，然后通過檢測下列條件來判定是否應用去塊效應濾波操作。（如圖 24 所示） 圖 24 P 和 Q相鄰兩塊 4像垂直邊界 |p202p10+p00|+|p232p13+p03|+|q202q10+q00|+|q232q13+q03|β () 閾值 β取決于量化參量 QP， QP 是用來調整針對量化預測誤差系數的量化 步驟 [14]。 公式 （ ）用來評估塊邊界兩邊信號偏離直線的個數，這個直線為恒定水平信號或是斜線。以 44 的像素塊為例，為了兼顧復雜度問題，僅對同一塊中的第一行和第四行進行評估。為了敘述簡便，在圖 24 示例和公式（ ）中，僅考慮了垂直邊界的情況，可以通過將圖片旋轉 90176。從而改變方程中行、列的下標的方法將示例方法擴展到水平方向。 當相關聯(lián)的塊邊界強度大于 0 時，公式（ ）成立，執(zhí)行去塊效應濾波操作，在 HEVC 編碼標準中存在兩種去塊效應濾波模式，分別是普通濾波模式和強濾波模式。對于四像素長度的每個塊邊界，去塊效應濾波根據信號特征可以在河海大學本科畢業(yè)設計 12 普通和強濾波模式之間轉換。 （ 4）普通與強濾波的判定 采用普通濾波還是強濾波進行去塊效應濾波操作取決于四像素塊邊界的第一行和第四行（見圖 24）。下述表達式利用 i=0 和 i=3 進行評估，從而判定采用哪種濾波方式 [14][15]。 |p2i2p1i+p0i|+|q2i2q1i+q0i|β/8 () |p3ip0i|+|q0iq3i|β/8 () |p0iq0i| () 閾值參數 tc 由 QP 決定，是通過表定義的（詳見 ）。若第 0 行和第 3 行（即第 1 和第 4 行）滿足不等式（ ）、（ ）、（ ），則在塊邊界應用強去塊效應濾波，否則就應用普通濾波。公式（ ）是用于檢測塊邊界兩側的低空間活動性的（類似于公式（ ），但閾值變小），公式（ ）是用于檢測塊邊界兩側的信號平坦度的，公式（ ）用以檢測塊邊界兩側像素的強度差確實是不超過閾值的，這是一個關于 tc（ QP ）（取決于 QP）值的多重剪裁判定。將公式（ ）至公式（ ）對應條件（ 1）至條件（ 4）進行判 定的流程如圖 25 所示。 圖 25 判定流程 河海大學本科畢業(yè)設計 13 （ 5）普通濾波模式下的去塊效應濾波判定 普通濾波是由兩種模式組成的，兩者的區(qū)別在于塊邊界每側被修改的像素個數的不同，一種模式是令每個邊界滿足以下兩個條件 [16]。 |p202p10+p00|+|p232p13+p03|3/16β () |q202q10+q00|+|q232q13+q03|3/16β () 若滿足公式（ ），就可以在塊 P 中修改塊邊界的最近的和次近的兩個像素的值，若不滿足就只有最近的一個被修改。同上述規(guī)則類似的，若滿足公式（ ），就可以在塊 Q 中修改塊邊界中最近和次近的兩個像素的值，否則只有最近的一個被修改。因為是閾值 β的倍數，所以公式（ ）和（ ）中所使用的閾值也有參數 QP 決定 。如果公式（ ）和（ ）的閾值小于公式（ ）的閾值，但是大于公式（ ）的閾值，這就意味著強濾波允許在邊界兩側低空間的活動性塊邊界中使用。 濾波操作 （ 1）普通濾波 當在一幅圖片中包含一個傾斜表面 (或線性斜坡信號 )并穿過一塊邊界時，濾波器將被激活。在這種情況下，正常模式去塊效應濾波將不能修改信號，即不起作用。在 44 的普通濾波模式下（見圖 24），濾波操作適合于每一行。下述表達式像素的第二個腳標為行號，因為它們適用于每行，故此省略