《信源編碼》ppt課件-全文預(yù)覽
【正文】 進(jìn)制香農(nóng)碼。 僅哈夫曼編碼是真正意義下的最佳編碼 哈夫曼編碼效率最高，費(fèi)諾編碼效率次之，香農(nóng) 編碼效率最低，甚至低于定長(zhǎng)編碼的效率。 (2) 隨著信源序列長(zhǎng)度的增加，編碼的效率越來(lái)越接 近于 1 。 單個(gè)符號(hào)變長(zhǎng)編碼定理 若離散無(wú)記憶信源的符號(hào)熵為 H(X) ，每個(gè)信源符號(hào) 用 m 進(jìn)制碼元進(jìn)行變長(zhǎng)編碼，一定存在一種無(wú)失真 編碼方法，其碼字平均長(zhǎng)度 K 滿足下列不等式： H ( X ) H ( X ) ??????? + 1 log m log m 離散平穩(wěn)無(wú)記憶序列變長(zhǎng)編碼定理 對(duì)于平均符號(hào)熵為 HL(X) 的離散平穩(wěn)無(wú)記憶信 源，必存在一種無(wú)失真編碼方法，使平均信息率 R ???滿足不等式： 其中 ε 為任意小正數(shù)。這顯然是很難實(shí)現(xiàn)的。 ? 差錯(cuò)概率 設(shè)差錯(cuò)概率用 ??Pe?表示，則有： ? ε 為一正數(shù) 為信源序列的自信息方差 當(dāng) 均為定值時(shí)，只要 L 足夠大， Pe可以小 于任一正數(shù) ?。 定長(zhǎng)編碼定理給出了信源進(jìn)行定長(zhǎng)編碼所需碼 長(zhǎng)的 理論極限值 。 編碼的目的是尋找 最小 K 值 ? 若對(duì)信源進(jìn)行定長(zhǎng)編碼，必須滿足 : 對(duì)于定長(zhǎng)唯一可譯碼，每個(gè)信源符號(hào)至少需用 （ log n / log m ）個(gè)碼符號(hào)來(lái)變換。 如碼字 {0， 10， 010， 111} 雖然滿足 Kraft 不等式， 但它不是唯一可譯碼。 應(yīng)用 Kraft 不等式，得： 不存在滿足這種 K i 的唯一可譯碼 要形成滿足上述長(zhǎng)度 的碼字，必須在中間 節(jié)點(diǎn)放置碼字。 ? 任一即時(shí)碼都可用樹圖法來(lái)表示。 m 進(jìn)制碼樹各節(jié) 點(diǎn) ( 包括樹根 ) 向下長(zhǎng)出的樹枝不會(huì)超過(guò) m，若等于 m稱 為滿樹 (整樹 ) ，否則稱為非滿樹 (非整樹 ) 。 碼 3 即時(shí)碼 ( 非延長(zhǎng)碼 ) ( 異前綴碼 ) 在譯碼時(shí)無(wú)需參考后續(xù)的碼符號(hào)就能立即作出判斷， 譯成對(duì)應(yīng)的信源符號(hào)。 例： {0,10,11} 是一種唯一可譯碼。 分組碼必須具有某些屬性，才能保證在接 收端能夠迅速可靠地譯碼。 例： 若將信源 X 通過(guò)二元信道傳輸，就必須把信源符 號(hào) ai 變換成由 0 、 1符號(hào)組成的碼符號(hào)序列，這個(gè) 過(guò)程就是信源編碼。 編碼的定義 信源編碼：信源輸出符號(hào)經(jīng)信源編碼器編碼后 轉(zhuǎn)換成另外的壓縮符號(hào) 無(wú)失真信源編碼：可精確無(wú)失真地復(fù)制信源輸 出的消息 編碼器的作用 將信源符號(hào)集 X 中的符號(hào) 變換成由碼 符號(hào)集 y 中的碼元 組成的長(zhǎng)度為 Ki 的一 一對(duì)應(yīng)的碼字 。 針對(duì)信源輸出符號(hào)序列的統(tǒng)計(jì)特性，尋找一定的方 法把信源輸出符號(hào)序列變換為最短的碼字序列。 限失真 ( 熵壓縮編碼 ) ：在失真受限的情況下進(jìn)行限 失真編碼。 –通常通過(guò)加密和解密來(lái)實(shí)現(xiàn)。 – 通常通過(guò)增加信源的冗余度來(lái)實(shí)現(xiàn)。 采用的一般方法是壓縮每個(gè)信源符號(hào)的平均比特 數(shù)或信源的碼率。第 5 章 信源編碼 編碼的定義 無(wú)失真信源編碼 限失真信源編碼定理 常用信源編碼方法簡(jiǎn)介 編碼 通信的實(shí)質(zhì)是傳輸信息，通信系統(tǒng)的性能指標(biāo)主 要有有效性、可靠性、安全性等，這些指標(biāo)正是信息 論研究的對(duì)象。 通常通過(guò)壓縮信源的冗余度來(lái)實(shí)現(xiàn)。 ? 信道編碼： – 是以提高信息傳輸?shù)目煽啃詾槟康牡木幋a。 ? 密碼： –是以提高通信系統(tǒng)的安全性為目的的編碼。只適用于離散信源。 減少冗余，提高編碼效率。首先從無(wú)失真編碼定理 出發(fā)，重點(diǎn)討論以香農(nóng)碼、費(fèi)諾碼和霍夫曼碼為 代表的最佳無(wú)失真碼。只有分組碼才有對(duì)應(yīng) 的碼表，而非分組碼中則不存在碼表。 定長(zhǎng)碼 變長(zhǎng)碼 若 0 、 01 都是碼字，譯碼時(shí)如何分離？ 分組碼 / 塊碼 將信源符號(hào)集中的每個(gè)符號(hào)映射成一個(gè) 固 定的碼字。 唯一可譯碼 2 任意有限長(zhǎng)的碼元序列，只能 被唯一地分割成一個(gè)個(gè)碼字。 奇異碼不是唯一可譯碼 非唯一可譯碼 —碼 2 ，可譯成 a1a1或 a3 非奇異碼 唯一可譯碼 —碼 3 ， 但譯碼有延時(shí) 非即時(shí)碼 唯一可譯碼 即時(shí)碼 非即時(shí)碼 接收端收到一個(gè)完整的碼字后，不能立即譯碼，還需 等下一個(gè)碼字開始接收后才能判斷是否可以譯碼。向下不長(zhǎng) 出樹枝的節(jié)點(diǎn)稱為終端節(jié)點(diǎn)或端點(diǎn)。 滿樹 — 等長(zhǎng)碼 節(jié)數(shù) — 碼長(zhǎng) 非滿樹 — 變長(zhǎng)碼
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1