【文章內容簡介】 是光滑的，這意味著可以根據(jù)某一部分的頻率來推斷其相鄰部分的頻率。 （ 3）時間相關性：在數(shù)字視頻中，在時間上相鄰的兩幀圖像的大部分像素值變化很小。 有損編碼的標準過程是變換編碼，即用上一個和原來不相同的數(shù)學基來表示數(shù)據(jù)，其數(shù)據(jù)的相關性能夠顯露出來或者被拆開。在這種新的基下，大部分的系數(shù)都接近于零，可以忽略，于是可以將余下的信息存儲在一個較小的數(shù)據(jù)包中。壓縮是通過數(shù)據(jù)變換，把域值以下的系數(shù)置零，對非零的數(shù)據(jù) 進行無損的編碼來實現(xiàn)。 編碼 （ 1）行程編碼（ RunLength）技術 行程編碼是相對簡單的一種編碼，是指在一行掃描的像素中，比較相鄰像素的幅度（如亮度）。當幅度有一個顯著的變化時，就說明有一個行程存在。 （ 2） Huffman 編碼壓縮 Huffman 編碼是一種長度不均的、平均碼可以接近信息源 熵 值的一種編碼。該編碼對于出現(xiàn)概率大的信息采用短字長的碼，對于出現(xiàn)概率小的信號用長字長的碼，以達到縮短平均碼長，從而實現(xiàn)數(shù)據(jù)壓縮的目的 [4]。 （ 3）字典壓縮方法 目前廣泛采用的字典壓縮方法包括兩種類型。一種 是在數(shù)據(jù)壓縮的過程中，尋找當前等待進行壓縮 處理的數(shù)據(jù)串中出現(xiàn)過， 如果 確實曾經(jīng)出現(xiàn)過 ，則利用指向已經(jīng)進行處理數(shù)據(jù)串中的指針代替當前等待壓縮的數(shù)據(jù)串。第二種是為輸入數(shù)據(jù)創(chuàng)建一個短語字典，如果在當前等待進行壓縮的數(shù)據(jù)流中發(fā)現(xiàn)字典，則利用該短語在字典中的索引值代替原始數(shù)據(jù)。 （ 4）算數(shù)壓縮算法 算數(shù)壓縮算法與 Huffman 編碼方法相似，都是利用比較短的代碼取代圖像數(shù)據(jù)中出現(xiàn)比較頻繁的數(shù)據(jù)，而利用比較長的代碼取代圖像數(shù)據(jù)中使用頻率比較低的數(shù)據(jù)，從而達到數(shù)據(jù)壓縮的目的 。 （ 1）預測編碼方法 如果已知圖像一 個像素離散值，利用其相鄰像素的相關性，預測它下一個像素（水平方向或垂直方向）的可能性，求其兩者差，再量化、編碼，這種方法稱為預測編碼方法簡稱預測法。 音視頻編碼解碼研究 –5– 預測編碼中典型的壓縮方法有脈沖編碼調制（ PCM， Pulse Code Modulation）、差分脈沖編碼調制（ DPCM， Differential Pulse Code Modulation）、自適應差分脈沖編碼調制（ ADPCM， Adaptive Differential Pulse Code Modulation）等，它們較適合于聲音、圖像數(shù)據(jù)的壓縮，因為這 些數(shù)據(jù)由采樣得到，相鄰樣值之間的差相差不會很大，可以用較少位來表示。 （ 2）變化編碼 圖像經(jīng)過正交變換后，能夠實現(xiàn)圖像數(shù)據(jù)壓縮的物理本質在于經(jīng)過多為坐標系的適當坐標旋轉和變換，能夠把散布在各個坐標軸上的原始圖像數(shù)據(jù)，在新的坐標系中集中到少數(shù)坐標軸上，因而有可能用較少的編碼比特數(shù)來表示一副子圖像，實現(xiàn)圖像的壓縮編碼 。 （ 3）金字塔編碼 把原圖像 分解 成許多不同的分辨率的子圖像，并把高分辨率（尺寸較大）的圖像放在下層，把分辨率低 (尺寸較小 )的子圖像放在上層，從而構成一個金字塔，對圖像，借助于 拉 普拉斯金字塔 [5]， 對圖像的每一曾分別量化、編碼，并對是絕不敏感的層粗化，用較少的碼字編碼，從而達到壓縮的目的。 （ 4）子帶編碼 子帶編碼先將先將原圖用數(shù)字濾波器分解成不同頻率的成分的分量，在對這些分量進行亞抽樣，形成子帶 圖像，最后對不同的子帶圖像分別用與其相匹配的方法進行編碼。 （三）主流視頻編碼框 架 目前視頻流傳輸中最為重要的編解碼標準有國際電聯(lián)的 、 ，國際標準化組織運動圖像專家組的 MPEG 系列標準，此外在互聯(lián)網(wǎng)上被廣泛應用的還有RealNetworks 的 Real Video、微軟公司的 WMV 以及 Apple 公司的 QuickTime 等。 1. MPEG MPEG 由 ISO（ 國際標準組織機構 ） 下屬的 MPEG（ 運動圖象專家組 ） 開發(fā) 。 視頻編碼方面主要是 Mpeg1（ VCD 使用 ）、 Mpeg2（ DVD 使用）、 Mpeg4（現(xiàn)在的 DVDRIP 使用的都是它的變種，如： DIVX， XVID 等）、 Mpeg4 AVC[6]； 音頻編碼方面主要是 MPEG Audio Layer 1/ MPEG Audio Layer 3（ mp3 使用 ）、MPEG2 AAC 、 MPEG4 AAC 等等。 2. 系列：由 ITU(國際電傳視訊聯(lián)盟 )主導，側重網(wǎng)絡傳輸 。 音視頻編碼解碼研究 –6– 包括 、 、 、 +、 ++、 （ MPEG4 和 AVC 合作的結晶） 。 3. 微軟 windows media 視頻編碼有 Mpeg4 v1/v2/v3（基于 MPEG4， DIVX3 的來源）、 Windows Media Video 7/8/9/10。 音頻編碼有 Windows Media audio v1/v2/7/8/9 系列。 4. QuickTime 視頻編碼有 Sorenson Video Apple MPEG Apple 。 音頻編碼有 QDesign Music Apple MPEG4 AAC 。 5. Real Media Real Media 是 Real Networks 公司創(chuàng)造出來的一種互聯(lián)網(wǎng)流媒體格式的統(tǒng)稱，它的主要特點是針對低帶寬應用（最低 ）進行動態(tài)（聲音、視頻）媒體傳輸 。 包括 Real Audio, Real Video。 （ 四 ）視頻解碼原理 視頻解碼就是將編碼后的文件或數(shù)據(jù)流，沒有損失的或者最大限度的還原成原始圖像。其解碼過程基本上是其對應編碼過程的逆運算。 視頻解碼 地方法一般包括 熵解碼，反量化，反變換，插值，重建，濾波，參考幀插入等 。 （ 五 ） 音 頻編碼 原理 自然界中的聲音非常復雜，波形極其復雜，通常我們采用的是脈沖代碼調制編碼，即 PCM 編碼。 PCM 通過 采樣 、量化、編碼三個步驟將連續(xù)變化的模擬信號轉換為數(shù)字編碼 [7]。 （ 六 ）音頻編碼機制 根據(jù)采樣率和采樣大小可以得知，相對自然界的信號，音頻編碼最多只能做到無限接近，至少目前的技術只能 做到這樣 ，相對自然界的信號，任何數(shù)字音頻編碼方案都是有損的，因為無法完全還原。在計算機應用中，能夠達到最高保真水平的就是 PCM 編碼，被廣泛用 于素材保存及音樂欣賞， CD、 DVD 以及我們常見的 WAV 文件中均有應用。因此， PCM 約定俗成了無損編碼，因為 PCM 代表了數(shù)字音頻中最佳的保真水準，并不意味著 PCM 就能夠確保信號絕對保真， PCM 也只能做到最大程度的無限接近。我音視頻編碼解碼研究 –7– 們而習慣性的把 MP3 列入有損音頻編碼范疇，是相對 PCM 編碼的。強調編碼的相對性的有損和無損， 是想證明要 做到真正的無損是困難的，就像用數(shù)字去表達圓周率，不管精度多高，也只是無限接近，而不是真正等于圓周率的值。 （ 七 ）主流音頻編碼框架 1. WAVE WAV 文件格式是一種由微軟和 IBM 聯(lián)合開發(fā) 的用于音頻數(shù)字存儲的標準，它采用RIFF 文件格式結構，非常接近于 AIFF 和 IFF 格式。多媒體應用中使用了多種數(shù)據(jù)，包括位圖、音頻數(shù)據(jù)、視頻數(shù)據(jù)以及外圍設備控制信息等。 2. MP3 MP3 音樂的 編碼 原理說得簡單些， 就是將 音頻文件壓縮成 MP3 文件，其實就是找到并刪除音頻文件中人耳聽不到的聲音。正常的人耳只能聽到頻率在 20 赫茲至 2 萬赫茲的聲音，音頻文件中包含的一些聲音可能超出了人耳所能聽到的范圍，另外還有一些細微的聲音可能被更大的聲音掩蓋，還有一些音樂中的聲音可能根本就是多余的。編碼軟件能將代表這類聲音的文件找 出來并加以刪除。這樣，原先臃腫的音頻文件就變小了。壓縮音樂文件時，人們通常會說以多大的壓縮比率進行壓縮，壓縮比率的單位為 Kbps(千字節(jié) /秒 )。當選擇較高的壓縮比率時 (如 128Kbps)，原始文件中被去除的數(shù)據(jù)將會比較少，音質比較好，但壓縮后的文件比較大，有時會導致文件無法使用；相反，當選擇的壓縮比率較低時 (如 64Kbps)，被去除的數(shù)據(jù)會比較多，這樣做雖然縮小了文件，但卻會造成音質損失。 3. OGG OggVorbis 的主要算法是利用 MDCT（修飾離散余弦變換 Modified Discrete Cosine Transform）而不是用現(xiàn)在比較時興的小波（ wavelet）技術。 Ogg 采用可 交錯通道技術（ channel interleaving） 和 極性矩陣映射技術（ square polar mapping） 兩種技術組成的多通道編碼技術，統(tǒng)稱為立體聲通道耦合 （ Stereo Channel Coupling） 。與其他會造成立體空間感減弱的編碼模型相比，這兩種技術都可以在保持編碼器的靈活性的同時而不損害本來的立體聲空間 音 像，而且實現(xiàn)的復雜程度比聯(lián)合立體聲方式要低。 Ogg 的編碼中的比特率選項主要有 ABR、 VBR 和 Quality 三種， Ogg 的比特率是可變的， 推薦使用設置簡單 Quality 模式，能滿足大多數(shù)人要求。 音視頻編碼解碼研究 –8– 4. WMA WMA(Windows Media Audio)，它是微軟公司推出的與 MP3 格式齊名的一種新的音頻格式。由于 WMA 在壓縮比和音質方面都超過了 MP3，更是遠勝于 RA(Real Audio)，即使在較低的采樣頻率下也能產(chǎn)生較好的音質。一般使用 Windows Media Audio 編碼格式的文件以 WMA 作為擴展名，一些使用 Windows Media Audio 編碼格式編碼其所有內容的純音頻 ASF 文 件也使用 WMA 作為擴展名。 5. RA RA 就是 RealAudio 格式，大部分音樂網(wǎng)站的在線試聽都是采用了 RealAudio，這種格式完全針對的就是網(wǎng)絡上的媒體市場，支持非常豐富的功能。最大的閃爍點就是這種格式可以根據(jù)聽眾的帶寬來控制自己的碼率，在保證流暢的前提下盡可能提高音質。 RA可以支持多種音頻編碼，包括 ATRAC3。 （ 八 ）音頻解碼原理 音頻解碼一般是音頻編碼的逆過程，它將對應編碼格式的數(shù)碼流解碼成 PCM 數(shù)碼流，數(shù)碼流傳送的是的是量化實際音頻信息而得到的頻率系數(shù)，數(shù)碼流的基本單位是同步幀 。 解碼的一般過程要經(jīng)過同步、誤碼檢測、運行比特流解包、指數(shù)解碼、比特分配、解耦合，反變換、輸出 PCM 碼流等步驟。 音視頻編碼解碼研究 –9– 三 、 音 視頻 編碼解碼實現(xiàn) 經(jīng)過以上研究， 本文將 探索新的 一種音視頻編碼解碼， 對音視頻編碼原理進行驗證，并 加深對音視頻編碼解碼原理的理解。 （一）系統(tǒng)分析 1. 開發(fā)工具及函數(shù) （ 1） Zlib[8]是提供資料壓縮之用的函式庫，由 Jeanloup Gailly 與 Mark Adler 所開發(fā)，初版 版在 1995 年 5 月 1 日發(fā)表。 zlib 使用抽象化的 DEFLATE 算法，最初是為 libpng函式庫所寫的，后來普遍為許多軟件所使用 。 目前 zlib 僅支持一個 LZ77 的變種算法，DEFLATE 的算法。這個算法使用很少的系統(tǒng)資源，對各種數(shù)據(jù)提供很好的壓縮效果 [7]。 （ 2） DirectShow（有時縮寫如 DS 或 DShow）， 是一種由微軟公司開發(fā)的能夠讓軟件開發(fā)者對媒體文件執(zhí)行各種不同處理的應用程序設計接口。它是微軟公司對早先 Windows 視頻科技的一次更新 [9]?；谖④浌? Windows 構成對象模型（ COM）框架，DirectShow 為大部份微軟公司程序設計語言提供了一個媒體的普 遍接口，而且是一個可擴展的，能在用戶或開發(fā)者的命令下播放或記錄媒體文件的，以 Filter 為基礎的框架?？梢詫崿F(xiàn)高質量的音視頻采集、編輯、編碼、解碼、格式轉換、播放。它解決了網(wǎng)絡音頻及視頻信息傳輸中數(shù)據(jù)量大、數(shù)據(jù)源種類多、客戶端軟硬件環(huán)境不確定、視頻音頻需要同步等問題，因此有著廣泛的應用。 工作模型 DirectShow 使用模塊化的體系結構，最主要的組件是過濾器（ Filter）把一系列過濾器組合起來形成 DirectShow 應用程序。每個過濾器提供一種功能，如獲取數(shù)據(jù)源、編碼、解碼、播放 等。 DirectShow 提供了很多標準過濾器，用戶可以直接使用。但由于媒體格式、壓縮方式、硬件屬性等方面的特殊要求，用戶經(jīng)常需要自行開發(fā)過濾器來滿足具體需求。 DirectShow 應用程序中主要包含以下 5