[理學]信息論與編碼第4章無失真信源編碼(編輯修改稿)
2024-11-12 21:10 本頁面
【文章內(nèi)容簡介】 源 S中每個信源符號所需的平均碼長滿足： ( ) 1 ( )l o g l o gNLH S H Sr N N r? ? ? 編碼空間 ? 在信源編碼的時候，我們可以如何使得編碼最短，但是越短的編碼，也容易造成唯一不可譯。以異前綴編碼為例，如果編的過短，會使得大量的碼字不可用，如果較長，則影響不大。為了便于理解，我們這里提出一種新概念 編碼空間。 編碼空間 ? 實際上它是一個相對量，是指一個編碼占用的可以使用的編碼的比例，考慮異前綴編碼，顯然一個二進制的編碼，如果將 0作為碼字，所有以 0開頭的編碼都不能再用，則有一半的編碼將不能繼續(xù)作為碼字，如果是兩位，則有四分之一的碼字不能使用，對于十進制，一個一位的十進制占用的比例為十分之一，依此，一個 n位的 k進制占用的編碼空間為 1/kn，當占用的編碼空間小于等于 1的時候，異前綴碼是可能存在的，如果大于 1，則不可能存在。 香農(nóng)碼 ? 香農(nóng)第一定理指出，選擇每個碼字的長度 Ki滿足下式的整數(shù)： － logmpi≤Ki＜ 1－ logmpi 例 44設無記憶信源的概率空間為： ?????????????????81814121)(4321uuuuupU 香農(nóng)碼 以二進制編碼為例，香農(nóng)編碼方法如下： ⑴ 將信源消息符號按其出現(xiàn)的概率大小依次排列 p(u1)≥p(u2)≥…≥ p(u n) ⑵ 確定碼長 Ki (整數(shù) ) ： Mi= [ ] —— 取整； Ki =Mi+1,如果 Mi是小數(shù)； Ki =Mi, 如果 Mi是整數(shù) ⑶ 為了編成唯一可譯碼，計算第 i個消息的累加概率 ip1log????11)(ikki upp 香農(nóng)碼 ? ⑷ 將累加概率 Pi變換成二進制數(shù)。 ? ⑸ 取 pi二進制數(shù)的小數(shù)點后 Ki位即為該消息符號的二進制數(shù)。 ? 例 45 對 信源進行香農(nóng)編碼。 ?????????????)(54321 uuuuuupU 香農(nóng)碼 香農(nóng)碼 ? 以 i=3為例，計算各符號的碼字長度： ? K3=[－ ]=3 ? 累加概率 P4= —— … —— 101 香農(nóng)碼 香農(nóng)碼 ? 香農(nóng)編碼給予你什么啟示？ ? 香農(nóng)編碼中如何保證編碼是異前綴的？ ? 香農(nóng)編碼何時可以達到無損壓縮的理論極限？ ? 考慮有記憶和無記憶信源序列概率（概率和條件概率）分布具有平穩(wěn)性，對單個符號進行本編碼和對序列進行編碼，編碼的效率相比較如何？ 費諾碼 ? 費諾碼屬于概率匹配編碼，又稱為香農(nóng) 費諾碼（ ShannonFano編碼），但它一般也不是最佳的編碼方法。編碼過程如下： (1)信源符號以概率遞減的次序排列起來 。 (2)將排列好的信源符號按概率值劃分成兩大組，使每組的概率之和接近于相等，并對每組各賦予一個二元碼符號 0和 1。
教學課件相關推薦
鄂ICP備17016276號-1