【文章內(nèi)容簡(jiǎn)介】 是光滑的，這意味著可以根據(jù)某一部分的頻率來(lái)推斷其相鄰部分的頻率。 （ 3）時(shí)間相關(guān)性：在數(shù)字視頻中，在時(shí)間上相鄰的兩幀圖像的大部分像素值變化很小。 有損編碼的標(biāo)準(zhǔn)過(guò)程是變換編碼，即用上一個(gè)和原來(lái)不相同的數(shù)學(xué)基來(lái)表示數(shù)據(jù)，其數(shù)據(jù)的相關(guān)性能夠顯露出來(lái)或者被拆開(kāi)。在這種新的基下，大部分的系數(shù)都接近于零，可以忽略，于是可以將余下的信息存儲(chǔ)在一個(gè)較小的數(shù)據(jù)包中。壓縮是通過(guò)數(shù)據(jù)變換，把域值以下的系數(shù)置零，對(duì)非零的數(shù)據(jù) 進(jìn)行無(wú)損的編碼來(lái)實(shí)現(xiàn)。 編碼 （ 1）行程編碼（ RunLength）技術(shù) 行程編碼是相對(duì)簡(jiǎn)單的一種編碼，是指在一行掃描的像素中，比較相鄰像素的幅度（如亮度）。當(dāng)幅度有一個(gè)顯著的變化時(shí)，就說(shuō)明有一個(gè)行程存在。 （ 2） Huffman 編碼壓縮 Huffman 編碼是一種長(zhǎng)度不均的、平均碼可以接近信息源 熵 值的一種編碼。該編碼對(duì)于出現(xiàn)概率大的信息采用短字長(zhǎng)的碼，對(duì)于出現(xiàn)概率小的信號(hào)用長(zhǎng)字長(zhǎng)的碼，以達(dá)到縮短平均碼長(zhǎng)，從而實(shí)現(xiàn)數(shù)據(jù)壓縮的目的 [4]。 （ 3）字典壓縮方法 目前廣泛采用的字典壓縮方法包括兩種類型。一種 是在數(shù)據(jù)壓縮的過(guò)程中，尋找當(dāng)前等待進(jìn)行壓縮 處理的數(shù)據(jù)串中出現(xiàn)過(guò)， 如果 確實(shí)曾經(jīng)出現(xiàn)過(guò) ，則利用指向已經(jīng)進(jìn)行處理數(shù)據(jù)串中的指針代替當(dāng)前等待壓縮的數(shù)據(jù)串。第二種是為輸入數(shù)據(jù)創(chuàng)建一個(gè)短語(yǔ)字典，如果在當(dāng)前等待進(jìn)行壓縮的數(shù)據(jù)流中發(fā)現(xiàn)字典，則利用該短語(yǔ)在字典中的索引值代替原始數(shù)據(jù)。 （ 4）算數(shù)壓縮算法 算數(shù)壓縮算法與 Huffman 編碼方法相似，都是利用比較短的代碼取代圖像數(shù)據(jù)中出現(xiàn)比較頻繁的數(shù)據(jù)，而利用比較長(zhǎng)的代碼取代圖像數(shù)據(jù)中使用頻率比較低的數(shù)據(jù)，從而達(dá)到數(shù)據(jù)壓縮的目的 。 （ 1）預(yù)測(cè)編碼方法 如果已知圖像一 個(gè)像素離散值，利用其相鄰像素的相關(guān)性，預(yù)測(cè)它下一個(gè)像素（水平方向或垂直方向）的可能性，求其兩者差，再量化、編碼，這種方法稱為預(yù)測(cè)編碼方法簡(jiǎn)稱預(yù)測(cè)法。 音視頻編碼解碼研究 –5– 預(yù)測(cè)編碼中典型的壓縮方法有脈沖編碼調(diào)制（ PCM， Pulse Code Modulation）、差分脈沖編碼調(diào)制（ DPCM， Differential Pulse Code Modulation）、自適應(yīng)差分脈沖編碼調(diào)制（ ADPCM， Adaptive Differential Pulse Code Modulation）等，它們較適合于聲音、圖像數(shù)據(jù)的壓縮，因?yàn)檫@ 些數(shù)據(jù)由采樣得到，相鄰樣值之間的差相差不會(huì)很大，可以用較少位來(lái)表示。 （ 2）變化編碼 圖像經(jīng)過(guò)正交變換后，能夠?qū)崿F(xiàn)圖像數(shù)據(jù)壓縮的物理本質(zhì)在于經(jīng)過(guò)多為坐標(biāo)系的適當(dāng)坐標(biāo)旋轉(zhuǎn)和變換，能夠把散布在各個(gè)坐標(biāo)軸上的原始圖像數(shù)據(jù)，在新的坐標(biāo)系中集中到少數(shù)坐標(biāo)軸上，因而有可能用較少的編碼比特?cái)?shù)來(lái)表示一副子圖像，實(shí)現(xiàn)圖像的壓縮編碼 。 （ 3）金字塔編碼 把原圖像 分解 成許多不同的分辨率的子圖像，并把高分辨率（尺寸較大）的圖像放在下層，把分辨率低 (尺寸較小 )的子圖像放在上層，從而構(gòu)成一個(gè)金字塔，對(duì)圖像，借助于 拉 普拉斯金字塔 [5]， 對(duì)圖像的每一曾分別量化、編碼，并對(duì)是絕不敏感的層粗化，用較少的碼字編碼，從而達(dá)到壓縮的目的。 （ 4）子帶編碼 子帶編碼先將先將原圖用數(shù)字濾波器分解成不同頻率的成分的分量，在對(duì)這些分量進(jìn)行亞抽樣，形成子帶 圖像，最后對(duì)不同的子帶圖像分別用與其相匹配的方法進(jìn)行編碼。 （三）主流視頻編碼框 架 目前視頻流傳輸中最為重要的編解碼標(biāo)準(zhǔn)有國(guó)際電聯(lián)的 、 ，國(guó)際標(biāo)準(zhǔn)化組織運(yùn)動(dòng)圖像專家組的 MPEG 系列標(biāo)準(zhǔn)，此外在互聯(lián)網(wǎng)上被廣泛應(yīng)用的還有RealNetworks 的 Real Video、微軟公司的 WMV 以及 Apple 公司的 QuickTime 等。 1. MPEG MPEG 由 ISO（ 國(guó)際標(biāo)準(zhǔn)組織機(jī)構(gòu) ） 下屬的 MPEG（ 運(yùn)動(dòng)圖象專家組 ） 開(kāi)發(fā) 。 視頻編碼方面主要是 Mpeg1（ VCD 使用 ）、 Mpeg2（ DVD 使用）、 Mpeg4（現(xiàn)在的 DVDRIP 使用的都是它的變種，如： DIVX， XVID 等）、 Mpeg4 AVC[6]； 音頻編碼方面主要是 MPEG Audio Layer 1/ MPEG Audio Layer 3（ mp3 使用 ）、MPEG2 AAC 、 MPEG4 AAC 等等。 2. 系列：由 ITU(國(guó)際電傳視訊聯(lián)盟 )主導(dǎo)，側(cè)重網(wǎng)絡(luò)傳輸 。 音視頻編碼解碼研究 –6– 包括 、 、 、 +、 ++、 （ MPEG4 和 AVC 合作的結(jié)晶） 。 3. 微軟 windows media 視頻編碼有 Mpeg4 v1/v2/v3（基于 MPEG4， DIVX3 的來(lái)源）、 Windows Media Video 7/8/9/10。 音頻編碼有 Windows Media audio v1/v2/7/8/9 系列。 4. QuickTime 視頻編碼有 Sorenson Video Apple MPEG Apple 。 音頻編碼有 QDesign Music Apple MPEG4 AAC 。 5. Real Media Real Media 是 Real Networks 公司創(chuàng)造出來(lái)的一種互聯(lián)網(wǎng)流媒體格式的統(tǒng)稱，它的主要特點(diǎn)是針對(duì)低帶寬應(yīng)用（最低 ）進(jìn)行動(dòng)態(tài)（聲音、視頻）媒體傳輸 。 包括 Real Audio, Real Video。 （ 四 ）視頻解碼原理 視頻解碼就是將編碼后的文件或數(shù)據(jù)流，沒(méi)有損失的或者最大限度的還原成原始圖像。其解碼過(guò)程基本上是其對(duì)應(yīng)編碼過(guò)程的逆運(yùn)算。 視頻解碼 地方法一般包括 熵解碼，反量化，反變換，插值，重建，濾波，參考幀插入等 。 （ 五 ） 音 頻編碼 原理 自然界中的聲音非常復(fù)雜，波形極其復(fù)雜，通常我們采用的是脈沖代碼調(diào)制編碼，即 PCM 編碼。 PCM 通過(guò) 采樣 、量化、編碼三個(gè)步驟將連續(xù)變化的模擬信號(hào)轉(zhuǎn)換為數(shù)字編碼 [7]。 （ 六 ）音頻編碼機(jī)制 根據(jù)采樣率和采樣大小可以得知，相對(duì)自然界的信號(hào)，音頻編碼最多只能做到無(wú)限接近，至少目前的技術(shù)只能 做到這樣 ，相對(duì)自然界的信號(hào)，任何數(shù)字音頻編碼方案都是有損的，因?yàn)闊o(wú)法完全還原。在計(jì)算機(jī)應(yīng)用中，能夠達(dá)到最高保真水平的就是 PCM 編碼，被廣泛用 于素材保存及音樂(lè)欣賞， CD、 DVD 以及我們常見(jiàn)的 WAV 文件中均有應(yīng)用。因此， PCM 約定俗成了無(wú)損編碼，因?yàn)?PCM 代表了數(shù)字音頻中最佳的保真水準(zhǔn)，并不意味著 PCM 就能夠確保信號(hào)絕對(duì)保真， PCM 也只能做到最大程度的無(wú)限接近。我音視頻編碼解碼研究 –7– 們而習(xí)慣性的把 MP3 列入有損音頻編碼范疇，是相對(duì) PCM 編碼的。強(qiáng)調(diào)編碼的相對(duì)性的有損和無(wú)損， 是想證明要 做到真正的無(wú)損是困難的，就像用數(shù)字去表達(dá)圓周率，不管精度多高，也只是無(wú)限接近，而不是真正等于圓周率的值。 （ 七 ）主流音頻編碼框架 1. WAVE WAV 文件格式是一種由微軟和 IBM 聯(lián)合開(kāi)發(fā) 的用于音頻數(shù)字存儲(chǔ)的標(biāo)準(zhǔn)，它采用RIFF 文件格式結(jié)構(gòu)，非常接近于 AIFF 和 IFF 格式。多媒體應(yīng)用中使用了多種數(shù)據(jù)，包括位圖、音頻數(shù)據(jù)、視頻數(shù)據(jù)以及外圍設(shè)備控制信息等。 2. MP3 MP3 音樂(lè)的 編碼 原理說(shuō)得簡(jiǎn)單些， 就是將 音頻文件壓縮成 MP3 文件，其實(shí)就是找到并刪除音頻文件中人耳聽(tīng)不到的聲音。正常的人耳只能聽(tīng)到頻率在 20 赫茲至 2 萬(wàn)赫茲的聲音，音頻文件中包含的一些聲音可能超出了人耳所能聽(tīng)到的范圍，另外還有一些細(xì)微的聲音可能被更大的聲音掩蓋，還有一些音樂(lè)中的聲音可能根本就是多余的。編碼軟件能將代表這類聲音的文件找 出來(lái)并加以刪除。這樣，原先臃腫的音頻文件就變小了。壓縮音樂(lè)文件時(shí)，人們通常會(huì)說(shuō)以多大的壓縮比率進(jìn)行壓縮，壓縮比率的單位為 Kbps(千字節(jié) /秒 )。當(dāng)選擇較高的壓縮比率時(shí) (如 128Kbps)，原始文件中被去除的數(shù)據(jù)將會(huì)比較少，音質(zhì)比較好，但壓縮后的文件比較大，有時(shí)會(huì)導(dǎo)致文件無(wú)法使用；相反，當(dāng)選擇的壓縮比率較低時(shí) (如 64Kbps)，被去除的數(shù)據(jù)會(huì)比較多，這樣做雖然縮小了文件，但卻會(huì)造成音質(zhì)損失。 3. OGG OggVorbis 的主要算法是利用 MDCT（修飾離散余弦變換 Modified Discrete Cosine Transform）而不是用現(xiàn)在比較時(shí)興的小波（ wavelet）技術(shù)。 Ogg 采用可 交錯(cuò)通道技術(shù)（ channel interleaving） 和 極性矩陣映射技術(shù)（ square polar mapping） 兩種技術(shù)組成的多通道編碼技術(shù)，統(tǒng)稱為立體聲通道耦合 （ Stereo Channel Coupling） 。與其他會(huì)造成立體空間感減弱的編碼模型相比，這兩種技術(shù)都可以在保持編碼器的靈活性的同時(shí)而不損害本來(lái)的立體聲空間 音 像，而且實(shí)現(xiàn)的復(fù)雜程度比聯(lián)合立體聲方式要低。 Ogg 的編碼中的比特率選項(xiàng)主要有 ABR、 VBR 和 Quality 三種， Ogg 的比特率是可變的， 推薦使用設(shè)置簡(jiǎn)單 Quality 模式，能滿足大多數(shù)人要求。 音視頻編碼解碼研究 –8– 4. WMA WMA(Windows Media Audio)，它是微軟公司推出的與 MP3 格式齊名的一種新的音頻格式。由于 WMA 在壓縮比和音質(zhì)方面都超過(guò)了 MP3，更是遠(yuǎn)勝于 RA(Real Audio)，即使在較低的采樣頻率下也能產(chǎn)生較好的音質(zhì)。一般使用 Windows Media Audio 編碼格式的文件以 WMA 作為擴(kuò)展名，一些使用 Windows Media Audio 編碼格式編碼其所有內(nèi)容的純音頻 ASF 文 件也使用 WMA 作為擴(kuò)展名。 5. RA RA 就是 RealAudio 格式，大部分音樂(lè)網(wǎng)站的在線試聽(tīng)都是采用了 RealAudio，這種格式完全針對(duì)的就是網(wǎng)絡(luò)上的媒體市場(chǎng)，支持非常豐富的功能。最大的閃爍點(diǎn)就是這種格式可以根據(jù)聽(tīng)眾的帶寬來(lái)控制自己的碼率，在保證流暢的前提下盡可能提高音質(zhì)。 RA可以支持多種音頻編碼，包括 ATRAC3。 （ 八 ）音頻解碼原理 音頻解碼一般是音頻編碼的逆過(guò)程，它將對(duì)應(yīng)編碼格式的數(shù)碼流解碼成 PCM 數(shù)碼流，數(shù)碼流傳送的是的是量化實(shí)際音頻信息而得到的頻率系數(shù)，數(shù)碼流的基本單位是同步幀 。 解碼的一般過(guò)程要經(jīng)過(guò)同步、誤碼檢測(cè)、運(yùn)行比特流解包、指數(shù)解碼、比特分配、解耦合，反變換、輸出 PCM 碼流等步驟。 音視頻編碼解碼研究 –9– 三 、 音 視頻 編碼解碼實(shí)現(xiàn) 經(jīng)過(guò)以上研究， 本文將 探索新的 一種音視頻編碼解碼， 對(duì)音視頻編碼原理進(jìn)行驗(yàn)證，并 加深對(duì)音視頻編碼解碼原理的理解。 （一）系統(tǒng)分析 1. 開(kāi)發(fā)工具及函數(shù) （ 1） Zlib[8]是提供資料壓縮之用的函式庫(kù)，由 Jeanloup Gailly 與 Mark Adler 所開(kāi)發(fā)，初版 版在 1995 年 5 月 1 日發(fā)表。 zlib 使用抽象化的 DEFLATE 算法，最初是為 libpng函式庫(kù)所寫(xiě)的，后來(lái)普遍為許多軟件所使用 。 目前 zlib 僅支持一個(gè) LZ77 的變種算法，DEFLATE 的算法。這個(gè)算法使用很少的系統(tǒng)資源，對(duì)各種數(shù)據(jù)提供很好的壓縮效果 [7]。 （ 2） DirectShow（有時(shí)縮寫(xiě)如 DS 或 DShow）， 是一種由微軟公司開(kāi)發(fā)的能夠讓軟件開(kāi)發(fā)者對(duì)媒體文件執(zhí)行各種不同處理的應(yīng)用程序設(shè)計(jì)接口。它是微軟公司對(duì)早先 Windows 視頻科技的一次更新 [9]。基于微軟公司 Windows 構(gòu)成對(duì)象模型（ COM）框架，DirectShow 為大部份微軟公司程序設(shè)計(jì)語(yǔ)言提供了一個(gè)媒體的普 遍接口，而且是一個(gè)可擴(kuò)展的，能在用戶或開(kāi)發(fā)者的命令下播放或記錄媒體文件的，以 Filter 為基礎(chǔ)的框架?？梢詫?shí)現(xiàn)高質(zhì)量的音視頻采集、編輯、編碼、解碼、格式轉(zhuǎn)換、播放。它解決了網(wǎng)絡(luò)音頻及視頻信息傳輸中數(shù)據(jù)量大、數(shù)據(jù)源種類多、客戶端軟硬件環(huán)境不確定、視頻音頻需要同步等問(wèn)題，因此有著廣泛的應(yīng)用。 工作模型 DirectShow 使用模塊化的體系結(jié)構(gòu)，最主要的組件是過(guò)濾器（ Filter）把一系列過(guò)濾器組合起來(lái)形成 DirectShow 應(yīng)用程序。每個(gè)過(guò)濾器提供一種功能，如獲取數(shù)據(jù)源、編碼、解碼、播放 等。 DirectShow 提供了很多標(biāo)準(zhǔn)過(guò)濾器，用戶可以直接使用。但由于媒體格式、壓縮方式、硬件屬性等方面的特殊要求，用戶經(jīng)常需要自行開(kāi)發(fā)過(guò)濾器來(lái)滿足具體需求。 DirectShow 應(yīng)用程序中主要包含以下 5