信源編碼ppt課件-免費閱讀
【正文】 ? 算術(shù)編碼不同于哈夫曼碼，它是非分組 ( 非塊 ) 碼。 限失真信源編碼定理 ? 設(shè)離散無記憶信源 X 的信息率失真函數(shù)為 R (D) ， – 當(dāng)信息率 R ＞ R (D) 時，只要信源序列長度 L 足 夠長，一定存在一種編碼方法，其譯碼失真小 于或等于 D+ε， ε為任意小的正數(shù)； – 反之，若 R＜ R (D) ，則無論采用什么樣的編碼方 法，其譯碼失真必大于 D 。 ? 不同的碼元分配，得到的具體碼字不同，但碼長 K i 不變，平均碼長也不變，所以沒有本質(zhì)區(qū)別。 例： ?試對該信源編二進(jìn)制哈夫曼碼。 信源符號對應(yīng)的碼字即為費諾碼。 香農(nóng)第一定理指出，選擇每個碼字的長度 K i 滿足下 式，就可以得到香農(nóng)碼： 二進(jìn)制香農(nóng)碼的編碼步驟 按信源符號的概率從大到小的順序排隊，不妨設(shè)： 1 確定滿足下列不等式的整數(shù)碼長 K i ： 2 令 p ( a0 )=0 ，計算第 i 個消息的累加概率 P i ： 3 將累加概率 Pi 變換成二進(jìn)制數(shù)，并取小數(shù)點后 Ki 位 4 作為符號 ai的編碼。而用變長碼編碼時， L 不需要很大就可 達(dá)到相當(dāng)高的編碼效率，而且可實現(xiàn)無失真編碼。 例： 設(shè)離散無記憶信源概率空間為 ? 信源熵： H ( X ) = ∑ p ( xi ) log p ( xi ) = bit / 符號 i = 1 對信源符號采用定長二元編碼 , 要求編碼效率 η為 90 ％ 若取 L ＝ 1 ，則 即每個符號用 進(jìn)行定長編碼，共有 = 種 可能，按 7 種可能性計算，信源符號中就有一種符號 沒有對應(yīng)的碼字，取概率最小的 a8 ，則 Pe= , 太大 ? 信源序列的自信息方差： 若要求譯碼錯誤概率 δ ≤ 106 L?應(yīng)滿足： ?對于定長編碼，即使在編碼效率和譯碼錯誤概率的要 求并不十分苛刻的情況下，就需要 10 8 個信源符號一 起進(jìn)行編碼。定長編碼的信息傳輸效率極低 當(dāng)考慮信源符號出現(xiàn)的概率及符號間的依賴關(guān)系后 （考慮信源的冗余度），在定長編碼中每個信源符 號平均所需的 碼長可以減少。 注意 Kraft 不等式只是用來說明唯一可譯碼是 否 存在 ，并不能作為唯一可譯碼的判據(jù)。 滿樹 — 等長碼 節(jié)數(shù) — 碼長 非滿樹 — 變長碼 樹碼：若有 n 個信源符號，那么在碼樹上就要選擇 n 個終端節(jié)點，用相應(yīng)的 m 元基本符號表示這些碼字。 奇異碼不是唯一可譯碼 非唯一可譯碼 —碼 2 ，可譯成 a1a1或 a3 非奇異碼 唯一可譯碼 —碼 3 ， 但譯碼有延時 非即時碼 唯一可譯碼 即時碼 非即時碼 接收端收到一個完整的碼字后，不能立即譯碼，還需 等下一個碼字開始接收后才能判斷是否可以譯碼。 定長碼 變長碼 若 0 、 01 都是碼字，譯碼時如何分離？ 分組碼 / 塊碼 將信源符號集中的每個符號映射成一個 固 定的碼字。首先從無失真編碼定理 出發(fā)，重點討論以香農(nóng)碼、費諾碼和霍夫曼碼為 代表的最佳無失真碼。只適用于離散信源。 ? 信道編碼： – 是以提高信息傳輸?shù)目煽啃詾槟康牡木幋a。第 5 章 信源編碼 編碼的定義 無失真信源編碼 限失真信源編碼定理 常用信源編碼方法簡介 編碼 通信的實質(zhì)是傳輸信息，通信系統(tǒng)的性能指標(biāo)主 要有有效性、可靠性、安全性等，這些指標(biāo)正是信息 論研究的對象。 – 通常通過增加信源的冗余度來實現(xiàn)。 限失真 ( 熵壓縮編碼 ) ：在失真受限的情況下進(jìn)行限 失真編碼。 編碼的定義 信源編碼：信源輸出符號經(jīng)信源編碼器編碼后 轉(zhuǎn)換成另外的壓縮符號 無失真信源編碼：可精確無失真地復(fù)制信源輸 出的消息 編碼器的作用 將信源符號集 X 中的符號 變換成由碼 符號集 y 中的碼元 組成的長度為 Ki 的一 一對應(yīng)的碼字 。 分組碼必須具有某些屬性，才能保證在接 收端能夠迅速可靠地譯碼。 碼 3 即時碼 ( 非延長碼 ) ( 異前綴碼 ) 在譯碼時無需參考后續(xù)的碼符號就能立即作出判斷， 譯成對應(yīng)的信源符號。 ? 任一即時碼都可用樹圖法來表示。 如碼字 {0， 10， 010， 111} 雖然滿足 Kraft 不等式， 但它不是唯一可譯碼。 定長編碼定理給出了信源進(jìn)行定長編碼所需碼 長的 理論極限值 。這顯然是很難實現(xiàn)的。 (2) 隨著信源序列長度的增加，編碼的效率越來越接 近于 1 。 例： 有一單符號離散無記憶信源
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1