[信息與通信]第五章數(shù)據(jù)壓縮編碼-文庫吧資料
2024-10-24 22:23本頁面
【正文】 頻度 1/4 3/4 消息序列 1 0 1 1 區(qū)間起始 1/4 1/4 19/64 85/256 區(qū)間長度 3/4 3/16 9/64 27/256 信源分布： 30 算術(shù)編碼的具體實現(xiàn) ? 因為實際只能用有限長的寄存器，這就要求將已編碼的高位碼字及時輸出，但又不能輸出過早，以免后續(xù)運算還要調(diào)整已輸出的碼位。消息序列中元素越多，所得到的區(qū)間就越小，當區(qū)間變小時，就需要更多的數(shù)位來表示這個區(qū)間。 27 算術(shù)編碼 ? 基本思想：算術(shù)編碼不是將單個信源符號映射成一個碼字， 而是把真?zhèn)€信源表示為實數(shù)線上的 0到 1之間的一個區(qū)間，其長度等于該序列的概率，再在該區(qū)間內(nèi)選擇一個代表性的小數(shù)，轉(zhuǎn)化為二進制作為實際的編碼輸出 。假設(shè)某個字符的出現(xiàn)概率為 80%，該字符事實上只需要 log2() = 位編碼，但 Huffman 編碼一定會為其分配一位 0 或一位 1 的編碼。 （ 3）編碼。 （ 2）用遞歸的方法分成兩部分，使兩個部分的概率和接近于相等。 ? 輸入符號數(shù)受限于可實現(xiàn)的碼表尺寸 ? 譯碼復雜 ? 需要實現(xiàn)知道輸入符號集的概率分布 ? 沒有錯誤保護功能 24 香農(nóng)－范諾編碼 ? 香農(nóng)－范諾編碼與 Huffman編碼相反，采用從上到下的方法。 20 熵編碼 ? 熵編碼 包括香農(nóng)－范諾編碼、霍夫曼編碼和算術(shù)編碼，其宗旨在于找到一種編碼使得平均碼長到達熵極限，基本思想就是對出現(xiàn)概率較大的符號取較短的碼長，而對出現(xiàn)概率較小的符號取較大的碼長。（基本極限） ? 只要信源不是等概率分布，就存在著數(shù)據(jù)壓縮的可能性。只要 H（ X） 小于 log2m， 就存在數(shù)據(jù)壓縮的可能。 p H 1 0 1 16 最大離散熵定理的應(yīng)用 ? 對于同一個信源其總的信息量是不變的，如果能夠通過某種變換（編碼），使信源盡量等概率分布，則每個輸出符號所獨立攜帶的信息量增大，那么傳送相同信息量所需要的序列長度就越短。 m為字符集中字符個數(shù)。 14 信源的概率分布與熵的關(guān)系 ? 熵的大小與信源的概率分布模型有著密切的關(guān)系。 ? 稱 H(X)為一階信息熵或者簡稱為熵 (Entropy) ? ?? ??????Xx XxxpxpxIxpXH )(l o g)()()()(13 熵（ Entropy） ? 在符號出現(xiàn)之前，熵表示符號集中的符號出現(xiàn)的平均不確定性；在符號出現(xiàn)之后，熵代表接收一個符號所獲得的平均信息量。 數(shù)據(jù)壓縮技術(shù)的分類 10 經(jīng)典數(shù)據(jù)壓縮理論 信息論中的信源編碼理論解決的主要問題： （ 1）數(shù)據(jù)壓縮的理論極限 （ 2）數(shù)據(jù)壓縮的基本途徑 11 離散事件的非平均自信息量 ? 為了完全確定事件 x(使后驗概率為 1)所必須提供的信息量稱為 x事件的非平均自信息量 I(x) )(l o g)(1l o g)( xpxpxI ???12 熵（ Entropy） ? 事件集合（樣本空間） X中每個事件的自信息量 I(x)是定義在這個
教學課件相關(guān)推薦
鄂ICP備17016276號-1