【正文】 息熵 ? 如果將信源所有可能事件的信息量進(jìn)行統(tǒng)計平均（即求其數(shù)學(xué)期望），就得到了信息熵。 ? 例二：如果只要辨別某個數(shù)是否大于 32，則只需詢問一次便可得出結(jié)論，其信息量只有 1。 ? 對于計算機(jī)的二進(jìn)制編碼，可以這么理解：從 N個事件中辨別出一個特定事件，最少需要回答多少次“ ”疑問。 ? 那么，接收到的這個碼字中包含了多少有用的信息呢？ ? 信息是用不確定性的量度定義的。 31 ? 下面以信源編碼模型來說明。 ? 數(shù)據(jù)壓縮的理論極限是信息熵，統(tǒng)計編碼就是利用了信息熵原理，因此也稱作信息熵編碼、熵保存編碼或熵編碼。 27 第二節(jié) 脈沖編碼調(diào)制 ? 脈沖編碼調(diào)制：，即將連續(xù)模擬信號數(shù)字化，包括采樣、量化 /編碼。 ? 有損編碼：也稱熵壓縮法。 23 無損編碼和有損編碼 ? 實(shí)際上，信息進(jìn)行數(shù)字化時，量化誤差是不可避免的。 ? 可以只記錄一個區(qū)域中各個像素的值，與其相同或相近的區(qū)域則不必記錄。 ? 隨著亮度的增加，視覺系統(tǒng)對量化誤差的敏感度降低。 ? 視覺系統(tǒng)對亮度比對色度敏感。 規(guī)則的紋理圖像 17 d. 知識冗余 ? 對圖像的理解有時與某些知識有相當(dāng)大的相關(guān)性，例如人臉的圖像就具有同樣的五官位置。 15 b. 時間冗余 ? 時間冗余是視頻中常見的一種冗余。 13 圖像 /視頻中的冗余 ? 圖像 /視頻信息中包含有大量的冗余，主要有下列不同類型的冗余信息： ? 空間冗余 ? 時間冗余 ? 結(jié)構(gòu)冗余 ? 知識冗余 ? 視覺冗余 ? 圖像區(qū)域的相同性冗余 ? 紋理的統(tǒng)計冗余 14 a. 空間冗余 ? 空間冗余是靜態(tài)圖像中最主要的一種冗余。 ——根本的解決之道 10 數(shù)據(jù)壓縮對多媒體應(yīng)用的意義 ? 通過數(shù)據(jù)壓縮技術(shù)可減少多媒體信息的數(shù)據(jù)量，其意義在于： 提高了傳輸效率 節(jié)約了存儲空間 使計算機(jī)能夠 實(shí)時處理多媒體信息 加快了處理速度 11 數(shù)據(jù)壓縮編碼的可能性 ? 多媒體數(shù)據(jù)能否進(jìn)行壓縮？ ? 研究表明，多媒體信息中存在大量的冗余，去掉這些冗余數(shù)據(jù)便可實(shí)現(xiàn)數(shù)據(jù)的壓縮。 ? 例 3：采用制式，采樣格式為 4:4:4， 24位色，則一秒鐘的視頻數(shù)據(jù)量就可達(dá) 。 ? 保存一部《鹿鼎記 》（ 1813頁）需要（ 650M的得刻 19張）。1 多媒體技術(shù)基礎(chǔ) 蔡宇輝 湖南大學(xué)軟件學(xué)院 2 第四章 多媒體數(shù)據(jù)壓縮編碼技術(shù) 3 第四章的內(nèi)容 1. 多媒體數(shù)據(jù)壓縮編碼概述 2. 重要性、可能性、分類 3. 脈沖編碼調(diào)制 4. 統(tǒng)計編碼：編碼、算術(shù)編碼 5. 預(yù)測編碼：、幀間預(yù)測 6. 變換編碼 7. 多媒體數(shù)據(jù)壓縮編碼的國際標(biāo)準(zhǔn) 8. 、 4 第一節(jié) 數(shù)據(jù)壓縮編碼概述 多媒體數(shù)據(jù)壓縮編碼的重要性 多媒體數(shù)據(jù)壓縮編碼的可能性 多媒體數(shù)據(jù)壓縮編碼的分類 5 數(shù)據(jù)壓縮編碼的重要性 ? 在多媒體技術(shù)中，處理的多媒體數(shù)據(jù)都應(yīng)是數(shù)字信號，傳統(tǒng)的媒體信息需要進(jìn)行采樣和量化后方能在計算機(jī)中處理。 7 ? 例 2：立體聲的激光唱盤，采樣頻率為，量化位數(shù)為 16，則一秒鐘的音頻數(shù)據(jù)量就可達(dá) 172。 ? 電影《龍騎士》（時長 100分鐘）需要約289張 650M的存放。 冗余數(shù)據(jù) 可用信息 原始的多媒體數(shù)據(jù) 12 音頻中的冗余 ? 音頻中的冗余信息主要有： ? 時域冗余 ? 幅度的非均勻分布；樣本間的相關(guān)性；周期之間的相關(guān)性；基音之間的相關(guān)性；靜止系數(shù)（間隔）；長時自相關(guān)函數(shù)。 ? 通常的圖像都描述了某個場景，其相鄰像素點(diǎn)之間存在一定的空間連貫性。 ? 序列圖像中，相鄰幀往往包含有相同的背景和運(yùn)動物體，只是運(yùn)動物體的位置有所變化，因此相鄰兩幀的數(shù)據(jù)差別很小，具有時間上的連貫性。 ? 可以根據(jù)已有的知識構(gòu)造基本模型，并創(chuàng)建特征圖像庫，則只需提供少量的特征參數(shù)信息便可生成圖像，這種數(shù)據(jù)冗余即知識冗余。 ? 視覺系統(tǒng)對低頻信號比對高頻信號敏感。（高光區(qū)可用較少的量化位數(shù)） ? 視覺系統(tǒng)把圖像的邊緣和非邊緣區(qū)域分開處理。 ? 向量量化方法就是針對這種冗余進(jìn)行數(shù)據(jù)壓縮的。此處的“無損” 和“有損”是針對編碼過程而言的。解碼得到的還原數(shù)據(jù)與原始數(shù)據(jù)之間存在一定的誤差，但并不影響人對原始資料表達(dá)信息的理解，壓縮比從幾倍到上百倍。 ? 模擬量經(jīng)過轉(zhuǎn)換，得到二進(jìn)制碼的過程，也稱編碼。 ? 統(tǒng)計編碼是一種無損的壓縮方法，如香農(nóng)編碼、 編碼、算術(shù)編碼等。 編碼器 信源（消息集） 編碼輸出集 X={x1,…,x n} Z={z1,…,z n} 符號集 Am={a1,…,a m} ? X為消息集，由 n個信號單元構(gòu)成 ? Z為輸出集，由 n個碼字構(gòu)成，與一一對應(yīng)。 ? 消息出現(xiàn)的可能性愈小，則其帶給人們的信息就愈多；反之，消息出現(xiàn)的可能性愈大，則它能給人們提供的新信息（有用信息）就愈少。 ? 事實(shí)上，每次提問都會得到一個“ ”的答復(fù)，可以用 0或 1表示，即 1，如果提問n次，則信息量為。 ? 從上兩例中可看出，大于或者小于 32，這種情況的概率比具體等于某一個數(shù)的概率要大，但其信息量反而小（單調(diào)下降）。 ? 信源 X發(fā)出的（ 1,2,… ），出現(xiàn)的概率為P()，則信源 X的熵為： ? ? )(log)()()( 211jnjjjnjj xPxPxIxPXH ?????????37 示例 ? 假設(shè)一幅由 40個像素組成的灰度圖像，共有 5級灰度，每一級灰度都是一種信源發(fā)出的符號，分別用表示。 ? ?405log405406log406407log407407log4074015log4015)(log)()()(22222211????????????????? ????jnjjjnjjxPxPxIxPXH39 統(tǒng)計編碼的目的 ? 統(tǒng)計編碼就根據(jù)信源信號出現(xiàn)概率的分布特性進(jìn)行壓縮的。 )( xHN ?? )( xH? )( xN ??N )(xHN ???njjj LPN141 編碼 ? 最佳編碼定理： ? 在變字長碼中，對于出現(xiàn)概率大的信息符號編以短字長的碼，對于出現(xiàn)概率小的信息符號編以長字長的碼。 ? 對于出現(xiàn)頻率大的符號用較少的位數(shù)來表示；對于出現(xiàn)頻率小的符號用較多的位數(shù)來表示。 3. 把這個合成概率看成是一個新組合符號地概率，重復(fù)上述做法直到最后只剩下兩個符號概率為止。 Ｘ 1 Ｘ 2 Ｘ 3 Ｘ 4 Ｘ 5 Ｘ 6 Ｘ 7 46 信息符號 概率 第 1步 第 2步 第 3步 第 4步 第 5步 Ｘ 1 Ｘ 2 Ｘ 3 Ｘ 4 Ｘ 5 Ｘ 6 Ｘ 7 0 1 1 00 01 00 01 10 11 00 10 11 010 011 00 10 010 011 110 111 00 10 010 011 110 1110 1111 47 ? 碼字的平均碼長為： ? 熵為： bitxPxPxPxPHjjjnjjj498 )()(log)()(log)(222222271212???????????????????? ????48 編碼小結(jié) ? 平均碼長大于熵，小于等長碼的碼長。 ? 編碼在信源符號出現(xiàn)概率分布不均勻時編碼效率較高，