【正文】 四年的本科學習生涯即將結(jié)束，籍此機會，感謝在這四年中各位老師 的悉心教導，謝謝！ 我 還 要感謝我的父母對我成長的關(guān)心和鼓勵，他們的支持和激勵鼓舞是我完成學業(yè)的基本保證。 首 先我要感謝我的導師江國星教授，他在學習與研究中給了我悉心的指導，尤其是老師嚴謹求實的治學態(tài)度、精益求精的工作精神更使我受益非淺。但同時， 標準中技術(shù)覆蓋較廣，適用范圍較寬， 由于本人水平和時間有限，還無法對其中具體應用作深入的研究。如何開發(fā)出性能更優(yōu)的算法，如和小波編碼、模型基編碼等新一代圖像編碼方法相結(jié)合 等 ，但需注意解決實時性、復雜性 的 問題。而如何針對不同的應用環(huán)境和要求，增加更多、更強大的功能，提高更好圖像質(zhì)量的視頻圖像，也是目前視頻編碼技術(shù)研究和發(fā)展的方向。在目前階段，可視電話解決方案的關(guān)鍵是圖像壓縮，因為所使用的電話傳輸能力有限、帶寬很窄甚低碼率的 建議除了適用于 PSTN 上的可視電話外，其潛在的應用也十分廣泛，如 : I) 可視移動通信 ； 2) 銀行、住宅、倉庫、電站等現(xiàn)場的無人值守、遠程監(jiān)控 ； 3) 遠程教學 ； 4) 遠程醫(yī)療 ； 5) 視頻存儲和檢索業(yè)務，如視頻點播 ； 6) 視頻存儲和投遞業(yè)務，如視頻郵件。 4 能工作在低延時模式以適應實時通信的應用 (如視頻會議 )，同時又能很好地工作在沒有延時限制的 場合 ，如視頻存儲和以服務器為基礎(chǔ) 的視頻流式 的應用。 由于 H. 264 編碼比現(xiàn)有編碼算法的壓縮比高 1 倍，這將使其在移動通信領(lǐng)域也將占有一席之地并扮演重要角色。同時， 使得在衛(wèi)星或是有線電纜上，每信道能傳送 4 路高清節(jié)目。 6 4 對于高清晰度電視的傳輸和存貯也有重要價值。把 壓縮技術(shù)應用到數(shù)字視頻的各個領(lǐng)域是今后視頻編碼的焦點。同時發(fā)現(xiàn)這個軟件最大的問題就是速度太慢，每幀用時 5－ 10 分鐘。 空間預測 時間預測 多幀參考 預測模式選擇 變 換 4 4 或 2 2 量化 掃描 反量化反掃描反 DCT 運動補償 模式表 熵 編 碼 反塊濾波 頭序列信息 24 結(jié)果分析 編碼后的 文件大小為 4KB，原文件大小為 112KB。重建的循環(huán)過程包括反量化、反 DCT變換和反塊濾波。對變換后的系數(shù)做掃描和量化處理后，再對量化后的系數(shù)進行熵編碼，最終成為輸出的碼流。預測之后用原始的輸入幀和預測幀相減，得到殘差數(shù)據(jù)塊。在進行幀間預測時，會使用多幀預測和可變塊大小的運動估計。 軟件設(shè)計結(jié)構(gòu) 圖 H. 264 算法基本框圖 圖 是關(guān)于一幀圖像的幀內(nèi)預測和幀間預測的算法框圖。 軟件介紹 本軟件的功能是對視頻序列進行 編解碼。實現(xiàn)了編碼器，解碼器 ， 重點在編碼器。在提供相同功能時 SP 幀的編碼效率遠遠高于 I 幀，因此， SP 幀在流間切換、拼接和隨機接入等應用中取代 I 幀。 r=(m+s+1)1。 g=(b+m+1)1。 q=(j+s+1)1。 i=(h+j+1)1。 n=(M+b+1)1。 c=(H+b+1)1。 m=Clip1(h1+16)5。 j1=cc5*dd+20*h1+20*m15*ee+ff=aa5*bb+20*b1+20*s15*gg+hh。 b=Clip(b1+16)5。 半象素搜索與象素填充 比其它壓縮標準有更高的壓縮比，同時也能保證更好的圖像質(zhì)量，其原因就在于能夠最大程度上的消除冗余數(shù)據(jù)，這也就要求能將運動估計做得足夠精確，這樣， 的算法中引入了半像素搜索，也就是在做運動估計的時候，當完成整數(shù)像素搜索 后，在匹配的像素點周圍就可以進行半像素搜索了，也稱之為小菱形搜索，如圖 ： 圖 全象素和半象素搜索圖 由圖可知，在像素點之間的部分進行搜索，但是在進行這種方式的搜索時候，由于像素點與像素點之間并沒有像素值，所以，必須利用像素插值也即像素填充的方法來填充像素點間的數(shù)值，下面即是 的像素填充的方法： 21 圖 1/2 像素填充圖 像素點 G, H ,M ,N 間的像素 值 a, b ,c, d 等，由于這些像素值本身不存在，是通過像素插值法來求得的，插值公式入下 : b1=(E5*F+20*G+20*H5*I+J)。由于宏塊中色度分辨率是亮度分辨率的一半，因此其塊的大小不管在水平還是垂直方向上都只是亮度塊的一半。 由于采用不同大小的塊進行幀間預測，使得運動估計模型更接近物體的實際運動，一般來說，使用小的運動補償塊可以提高預測精度，具體地說，小的塊增強了編碼模型處理精細運動細節(jié)能力，而且不會產(chǎn)生大 的塊效應，同時提高了主觀視覺質(zhì)量。因此對于分塊的選擇將會對壓縮效果有著重大的影響。但是運動補償后抽樣點差值也許將會比較大。每個運動矢量都將會被編碼，8 8 4 8 8 4 4 4 16 16 8 16 16 8 8 8 20 傳送，另外分塊方式也必須被編碼在數(shù)據(jù)流中。利用各種大小的塊進行運動補償?shù)姆椒ㄎ覀儗⒎Q為樹結(jié)構(gòu)的運動補償 (tree structured motion pensation.)。如果使用 8 x 8 模式，每個 8 x 8 的宏塊分塊(Macroblock partitions)將會按照圖 8 x 8, 4 x 8, 8 x 4, 4 x 4類型的塊。每個宏塊也許被 按照圖 中的方式進行分解。在說明它們之前我們首先介紹樹結(jié)構(gòu)的運動補償，其中主要簡述了宏塊的分塊。用于運動補償?shù)亩鄮A測方式在大多數(shù)情況下會明顯改善預測增益。 19 在 4 標準中還使用了 標準中曾使用過的多幀預測的方法，主要思想是增加運動矢量中時間軸的估計參考幀數(shù)。 幀間預測 幀間預測是利用先前已編碼的圖像作為參考圖像對當前圖像進行預測的一種方式。預測的參考像素是同一個 chrominance 分量的周圍17 個像素。a b c d e f g h i j k l m n o p A B C D E F G H I J K L 18 其中如果參考樣點不在編碼圖像內(nèi)則以 128 代替。用 P(x,y)表示位于坐標 (x,y)處的 33 個鄰近像素值，其中 H 對應 p(x, 1),x= 0… 15, V 對應 P(1,Y ),y= 0… 15，而左上角處的鄰近像素值為 p(1,1) 。在進行預測之前，首先要判斷這些鄰近像素是否可用 (available)，如果這些像素不可用，例如鄰近像素所在的宏塊位于其它 Slice 之中 或當前宏塊位于圖像邊緣時某些預測模式就用不起來。 圖 4X4 子快中及其參考樣點分布 16 x16 幀內(nèi)預測 16 x 16 預測方式是基于在 16x16 塊的基礎(chǔ)上，用于對圖像中的相對不變的部分進行編碼。 imgmpr[3+ioff][3+joff]=(P_G+3*(P_H)+2)/4。 imgmpr[3+ioff][1+joff]= imgmpr[2+ioff][2+joff]= imgmpr[1+ioff][3+joff]=(P_E+P_G+2*(P_F)+2)/4。 imgmpr[2+ioff][O+joff]= imgmpr[1+ioff][1+joff]= imgmpr[O+ioff][2+joff]=(P_C+P_E+2*(P_D)+2)/4。 m,j,g,d=(D+2E+F+2) /4 n, k, h = (E+2 F+G+2) /4 o,l=(F+2G+H+2) /4 p= (G+3H+2) /4 相關(guān)程序如下： imgmpr[O+ioff][O+joff]=(P_A +P_C+2*(P_B)+2)/4。 其中 imgY[pix_a[j].pos_y][pix_a[j].pos_x]存放著左邊鄰近塊的抽樣值，相當于 I一 L的值。i BLOCK_SIZE。jBLOCK_SIZE。 m, n ,o ,p 由 L預測得到。 （ 3）模式 1： :水平預測 如果 !， J, K 和 L 存在，那么： 16 a, b , c ,d 由 I 預測得到 。i++) imgmpr[i+ioff][j+joff]= imgY[][]。j++) for (i= 0。 相關(guān)程序如下： for(j=0。 b, f , j , n 由 B預測得到 : c, g ,k ,o 由 C 預測得到 。 其中 P _AP_ L分別代表著圖 中 AL的值， BLOCK SIZE 的值為 4。i BLOCK_SIZE。j BLOCK_SIZE。 !block_available_left) s0 = 128。 } else //if (!block_available_up amp。amp。!block_available_left) { s0 =(P_I+P_J+P_K+P_L+2)/BLOCK_SIZE。 } else if (block_available_upamp。amp。 各預測模式（見圖 ）的實現(xiàn)： （ 1）模式 2： D C 預測 如果所有的參考樣點均在圖像內(nèi)，那么 : DC= (A+B+C+D+I+J+K+L+4) /8 如果 A, B, C, D 在圖像外，而 I, J, K 和 L在圖像中， DC＝ (I+J+K+L+2) 14 如果 I, J, K 和 L在圖像外，而 A，日， C, D 在圖像中， DC= (A+B+C+D+2) /4 如果所有的參考樣點均在圖像外，那么 : DC =128 相關(guān)程序如下： 15 s0=0。下面對其中的預測模式舉例說明。它的基本思路是從不同的方向計算、比較塊中各個像素之間的亮度差值，即梯度值。因此，在圖像編碼過程中還有一種限制幀內(nèi)編碼模式，此時只允許相鄰的幀內(nèi)預測宏塊才可以作為其他當前宏塊的參考宏塊。 在 H. 264 標準的幀內(nèi)預測中，當前塊的抽樣值總是利用鄰塊的抽樣值來獲取。就亮度信號而言，幀內(nèi)預測可分為 4x4 和 16x16 兩種預測方式，其中 4x4 方式有 9 種可選的預測模式，16x16 方式有 4 種可選方式，而 I_ PCM 編 碼方式是作為這兩種方式的替代方式，允許編碼器不經(jīng)過預測和變換編碼過程，而是直接把編碼的抽樣值傳送過去。下面我們就從運用在標準中兩種不同預測方式分別加以討論。在運動預測中它使用不同的塊的大小進行預測，以樹結(jié)構(gòu)的方式來組織預測模式。 圖 RBSP 序列 SPS SEI PPS I 片 圖像定界符 P 片 P 片 14 3 標準中的幀預測技術(shù) 標準中的基本預測技術(shù)是基于塊，而不是基于對象的。每個單元 都 按獨立的 NAL單元傳送。編碼片和序列 RBSP 結(jié)束符被定義為 VCL NAL 單元，其余的為 NAL單元。因此，對每一樣本選擇最優(yōu)編碼模式，可以得到 J(S,I/X)的最小值，實現(xiàn)碼率控制。 在實際中，若： J(S,I/X)=D(S,I)+X R(S,I)，最小則最優(yōu)。 13 Lagrangian優(yōu)化算法 若有集合 S=(S1,S2…… Sk)，對每一個 Sk 選取編碼模式 Q＝ (Q1,Q2…… .Qk)中的 Ik(Ik∈ Qk)進行編碼，在給定碼率 Rc 下，使編碼后的失真度最小。 根據(jù)內(nèi)容來選擇濾波器強度 ， 按照所處理的當前邊緣附近像素值的不同 ， 選取不同強度的濾波器 。當塊邊界上兩邊差較小則使用濾波器使差別 “ 平滑 ” 掉 , 若邊界上圖像特征明顯則不使用濾波 。 采用了去除 塊效應濾波器，應用于所有的宏塊之中。 2)來自于運動補償預測 ， 運動補償塊可能是從 非 同一幀的不同位置上的內(nèi)插樣點數(shù)據(jù)中復制而來的 ， 因為運動補償塊的匹配不可能是絕對準確的，所以就會在復制塊的邊界上產(chǎn)生數(shù)據(jù)不連續(xù)。 去方塊濾波 在 ，編解碼器反變換量化后圖像會出現(xiàn)方塊效應。如前所述，編碼過程中計算子區(qū)間長度和概率估計均采用查表操作，避免了乘除法運算，而其它的一些運算和操作也是針對整數(shù)進行的。由于一般鄰近 SE有多種可能取值，所以當前 bin也對應有多種不同的 context(以 ctxIdx 索引 )，這就需要編碼器根據(jù)鄰近 SE 的取值選取不同的context(也就是 ctxIdx )對當前 bin 進行編碼，這里鄰近的含義不僅包括空間上相鄰，而且也包括先前編碼的 bin，即時間上相鄰。 由于空間相關(guān)性， SE的取值與鄰近相同的 SE取值是相關(guān)的，這樣，描述當前 SE的概率就應該用條件概率模型。 CABAC CABAC 只對二進制符號 0 和 1 進行編碼，所以首先要對輸入的 Syntax Element (SE)的值做二值化 (Bin－ variation)，即映射成一串 0， 1 序列，序列中的 12 每一個二進制符號稱為一個“ bin, bin是 CABAC 的編碼單元。 4）位于低頻處的系數(shù)值一般較大，而位于高頻處的則相反， CAVLC 利用這一點自動地選擇編碼 Level的碼表。這里 Level表示非零系數(shù)值 Run表示非零系數(shù)之前的 0 的數(shù)