信源編碼ppt課件(存儲(chǔ)版)
【正文】 對該信源編二 進(jìn)制香農(nóng)碼。 例： 對前例信源進(jìn)行二進(jìn)制費(fèi)諾編碼。 讀取碼字的時(shí)候，要從后向前讀，此 時(shí)編出來的碼字是可分離的即時(shí)碼。 ? 縮減信源時(shí)，若合并后的新符號概率與其他符號概 率相等，從編碼方法上來說，這幾個(gè)符號的次序可 任意排列，編出的碼都是正確的，但得到的碼字不 相同，不同的編法得到的碼字長度 K i 也不盡相同。 ? 如是二元信源，則對于任意小的 ε＞ 0 ，每一個(gè)信 源符號的平均碼長滿足如下公式： 常用信源編碼方法簡介 游程編碼 游程：數(shù)字序列中連續(xù)出現(xiàn)相同符號的一段。它 從全序列出發(fā)，考慮符號之間的關(guān)系來進(jìn)行編碼。 算術(shù)編碼 ? 算術(shù)編碼是近十多年來發(fā)展迅速的一種無失真信源 編碼，它與最佳的哈夫曼碼相比，理論性能稍加遜 色，而實(shí)際壓縮率和編碼效率卻往往還優(yōu)于哈夫曼 碼，且實(shí)現(xiàn)簡單，故很受工程上的重視。 m =3 ， n =8 無法滿足 n = s ( m 1) + m s =3 ， q =1 q + n = s ( m 1) + m 第一次取 m q =2 個(gè)符號進(jìn)行編碼 平均碼長 信息傳輸率 編碼效率 ? 香農(nóng)碼、費(fèi)諾碼、哈夫曼碼都考慮了信源的統(tǒng)計(jì)特 性，使經(jīng)常出現(xiàn)的信源符號對應(yīng)較短的碼字，使平 均碼長縮短，從而實(shí)現(xiàn)了對信源的壓縮； ? 香農(nóng)碼有系統(tǒng)的、惟一的編碼方法，費(fèi)諾碼和哈夫 曼碼的編碼方法都不惟一； ? 費(fèi)諾碼比較適合于對分組概率相等或接近的信源編 碼，費(fèi)諾碼也可以編 m 進(jìn)制碼，但 m 越大，信源的符 號數(shù)越多，可能的編碼方案就越多，編碼過程就越 復(fù)雜，有時(shí)短碼未必能得到充分利用； ? 哈夫曼碼對信源的統(tǒng)計(jì)特性沒有特殊要求，編碼效 率比較高，對編碼設(shè)備的要求也比較簡單，因此綜 合性能優(yōu)于香農(nóng)碼和費(fèi)諾碼。只要在各次縮減信源 中保持碼元分配的一致性，即能得到可分離碼字。 H ( X ) 編碼效率 ?????????? = 1 K log 2 樹圖： 哈夫曼（ Huffman ）編碼方法 3 將信源符號按概率由大到小順序排隊(duì) 1 給兩個(gè)概率最小的符號各分配一個(gè)碼元，將其概率 2 相加后合并作為一個(gè)新的符號，與剩下的符號一 起，再重新排隊(duì) 給縮減信源中概率最小的兩個(gè)符號各分配一個(gè)碼元 3 4 重復(fù)步驟 2 、 3 直至概率和為 1 從最后一級開始，向前返回得到各個(gè)信源符號所對 5 應(yīng)的碼元序列，即相應(yīng)的碼字。 將每一分組再按同樣原則劃分，重復(fù)步驟 2 和 3 ， 直至概率不再可分為止。 香農(nóng)（ Shannon ）編碼方法 1 香農(nóng)第一定理指出了平均碼長與信源之間的關(guān)系，同 時(shí)也指出了可以通過編碼使平均碼長達(dá)到極限值。 ? 編碼效率的下界 為了衡量各種編碼方法與最佳碼的差距，定義碼的 剩余度為： 同前例： 設(shè)離散無記憶信源概率空間為 ? 信源熵： H ( X ) = 2 . 55 bit / 符號 要求編碼效率 η為 90 ％ 用二進(jìn)制 變長 編碼， m ＝ 2 例： 設(shè)離散無記憶信源概率空間為 ? 信源熵： H ( X ) = 1/4 log4 +3/4 log3/4 = 0. 811 bit / 信源符號 若用二元定長編碼 (0,1) 來構(gòu)造一個(gè)即時(shí)碼： ? 平均碼長： 二元碼符號 / 信源符號 ? 編碼效率： ? 輸出的信息傳輸率： 再對長度 L 為 2 的信源序列進(jìn)行 變長編碼，其即時(shí)碼如表： ? 碼字平均長度： ? 單個(gè)符號的平均碼長 ? 編碼效率 ? 輸出的信息傳輸率： R2 ＝ 信源序列的長度增加 : 編碼復(fù)雜一些，但信息傳輸率有了提高 變長編碼： L ＝ 2 ， η2 = 定長編碼： 要求編碼效率達(dá)到 96 ％時(shí)，允許譯碼錯(cuò)誤概率 δ ≤ 10 － 5 說明 (1) 定長碼需要的信源序列長，使碼表很大，且總存 在譯碼差錯(cuò)。 最佳編碼效率： ?編碼定理從理論上闡明了編碼效率接近 1 的理想編碼 器的存在性，它使輸出符號的信息率與信源熵之比接 近于 1 ，即： 若要實(shí)現(xiàn)，取無限長 L 的 信源符號進(jìn)行統(tǒng)一編碼。 ? 定長編碼后每個(gè)碼字 (5個(gè)二元符號 )只攜帶約 信息量。 K1 =1 , K2 =2 , K3 =3 , K4 =3 。 若一個(gè)碼所有碼字均處于終端節(jié)點(diǎn)，則該碼為即時(shí)碼。任何其他分割法都會(huì)產(chǎn)生 一些非定義的碼字。 變長碼 可變長度碼，碼中的碼字長短不一。 本章討論離散信源編碼。無失真編碼是可逆的，即
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1