第14講信息論與編碼(已修改)
2025-08-17 19:29 本頁面
【正文】 2022/8/31 1 ? 單個(gè)符號(hào)變長編碼定理 ： 若一離散無記憶信源的符號(hào)熵為 H（ X） ， 每個(gè)信源符號(hào)用 m進(jìn)制碼元進(jìn)行變長編碼 ， 一定存在一種無失真編碼方法 ， 其碼字平均長度滿足下列不等式 1)3(4 1log )(log )( ??? mXHKmXH L第三節(jié) 變長編碼定理 2022/8/31 2 ? 離散平穩(wěn)無記憶序列變長編碼定理 ? 對(duì)于平均符號(hào)熵為 HL（ X）的離散平穩(wěn)無記憶信源，必存在一種無失真編碼方法，使平均信息率 滿足不等式 ?K???? )()( XHKXH LL其中 為任意小正數(shù) 。 ?2022/8/31 3 ? 證明 :設(shè)用 m進(jìn)制碼元作變長編碼，序列長度為 L個(gè)信源符號(hào)，則由（ 4－ 3－ 1）式可以得到平均碼字長度 滿足下列不等式 LK)]()([ XLHXH L?1log )(log )( ??? mXLHKmXLH LLLLmXHmLKKXHLLLlog)(log)( ??????當(dāng) L足夠大時(shí)，可使 ， 這就得到了 所需結(jié)論 Lmlog ?2022/8/31 4 ? 說明 : (1) 用變長編碼來達(dá)到相當(dāng)高的編碼效率，一般所要求的符號(hào)長度 L可以比定長編碼小得多?？傻镁幋a效率的下界： LmXHXHKXHLLLlog)()()(????2022/8/31 5 ? (2) 例 用二進(jìn)制， m＝ 2， log2m=l， H（ X）＝ ／符號(hào)，若要求 ，則 %90??,???? LL2022/8/31 6 ? (3) 碼的剩余度 為 KXH L )(11 ???? ?? 碼的剩余度 用來衡量各種編碼方法與最佳碼的差距 . 2022/8/31 7 例 4－ 3－ 1 ? 設(shè)離散無記憶信源的概率空間為 ???????????????4/14/321 xx
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1