信源編碼ppt課件-在線瀏覽
2025-06-19 00:20本頁(yè)面
【正文】 個(gè)碼字，組成該碼字的 碼元就是從樹(shù)根開(kāi)始到該節(jié)點(diǎn)所經(jīng)過(guò)的樹(shù)枝 ( 碼元 ) 。 滿樹(shù) — 等長(zhǎng)碼 節(jié)數(shù) — 碼長(zhǎng) 非滿樹(shù) — 變長(zhǎng)碼 樹(shù)碼：若有 n 個(gè)信源符號(hào)，那么在碼樹(shù)上就要選擇 n 個(gè)終端節(jié)點(diǎn)，用相應(yīng)的 m 元基本符號(hào)表示這些碼字。 ? 當(dāng)碼字長(zhǎng)度給定，即時(shí)碼不是唯一的。 唯一可譯碼存在的充分和必要條件 各碼字的長(zhǎng)度 K i 應(yīng)符合克勞夫特 (Kraft) 不等式： m ：碼元進(jìn)制數(shù) n ：信源符號(hào)數(shù) Ki ：各個(gè)碼字的長(zhǎng)度 例： 設(shè)二進(jìn)制碼樹(shù)中 X∈ ( a1, a2, a3, a4)， K1 =1 ， K2 =2 ， K3 =2 ， K4 =3 。 中間節(jié)點(diǎn) 如果將各碼字長(zhǎng)度改成： 存在唯一可譯碼 K1 =1 ， K2 =2 ， K3 =2 ， K4 =3 。 注意 Kraft 不等式只是用來(lái)說(shuō)明唯一可譯碼是 否 存在 ，并不能作為唯一可譯碼的判據(jù)。 K1 =1 , K2 =2 , K3 =3 , K4 =3 。 對(duì)信源的 L 長(zhǎng)符號(hào)序列進(jìn)行 m 進(jìn)制編碼，碼長(zhǎng) KL 只要可用的碼字?jǐn)?shù)不少于擴(kuò)展信源的符號(hào)數(shù)： 就可做到唯一譯碼 編碼輸出碼 字的個(gè)數(shù) KL/L 是平均每個(gè)信源符號(hào)所需要的碼元符號(hào)個(gè)數(shù) 編碼后平均每個(gè)信源符號(hào)能載荷的最大信息量為： 定長(zhǎng)編碼定理 在定長(zhǎng)編碼中， K=KL 是定值，且為唯一可譯碼。 例 : 英文電報(bào)符號(hào)， n =27 ， L =1 ， m =2( 二元編碼 ) log 2 n ????? = log 2 27 ≈ 5 每個(gè)英文電報(bào)符號(hào)至少 log 2 m 要用 5位二元符號(hào)編碼 ? 實(shí)際英文電報(bào)符號(hào)信源，平均每個(gè)英文電報(bào)符號(hào)所 提供的信息量約等于 比特，大大小于 5 比特。定長(zhǎng)編碼的信息傳輸效率極低 當(dāng)考慮信源符號(hào)出現(xiàn)的概率及符號(hào)間的依賴(lài)關(guān)系后 （考慮信源的冗余度），在定長(zhǎng)編碼中每個(gè)信源符 號(hào)平均所需的 碼長(zhǎng)可以減少。 定長(zhǎng)編碼定理 ? 編碼器的平均輸出信息率 ? 對(duì)于二進(jìn)制編碼，每個(gè)信源符號(hào)必須 輸出的碼長(zhǎng) 定長(zhǎng)編碼定理說(shuō)明： 只要碼字所能攜帶的信息量大于信源序列輸出的 信息量，則可以使傳輸幾乎無(wú)失真，當(dāng)然條件是 L足夠大。 當(dāng) 時(shí)，則為臨界狀態(tài)，可能無(wú)失真， 也可能有失真。即： ?當(dāng)信源序列長(zhǎng)度 L 滿足 能達(dá)到差錯(cuò)率要求： ?? 編碼效率 編碼效率總 定義編碼效率為： ?是小于 1 信源的平均符號(hào)熵為 HL (X) ，采用平均符號(hào)碼長(zhǎng) 為 K 來(lái)編碼后所得的效率。 例： 設(shè)離散無(wú)記憶信源概率空間為 ? 信源熵： H ( X ) = ∑ p ( xi ) log p ( xi ) = bit / 符號(hào) i = 1 對(duì)信源符號(hào)采用定長(zhǎng)二元編碼 , 要求編碼效率 η為 90 ％ 若取 L ＝ 1 ，則 即每個(gè)符號(hào)用 進(jìn)行定長(zhǎng)編碼，共有 = 種 可能，按 7 種可能性計(jì)算，信源符號(hào)中就有一種符號(hào) 沒(méi)有對(duì)應(yīng)的碼字，取概率最小的 a8 ，則 Pe= , 太大 ? 信源序列的自信息方差： 若要求譯碼錯(cuò)誤概率 δ ≤ 106 L?應(yīng)滿足： ?對(duì)于定長(zhǎng)編碼，即使在編碼效率和譯碼錯(cuò)誤概率的要 求并不十分苛刻的情況下，就需要 10 8 個(gè)信源符號(hào)一 起進(jìn)行編碼。 變長(zhǎng)編碼定理 在變長(zhǎng)編碼中，碼長(zhǎng) KL是變化的。（統(tǒng)計(jì)匹配） 編碼后碼字 Y1 , Y 2 , ‥ , Y n 碼長(zhǎng)分別為 K 1 , K 2 , ‥ , K n 碼的 平均長(zhǎng)度 為： 編碼后的 信息傳輸率 為： 對(duì)于某一信源和某一碼符號(hào)集，若有一個(gè)唯一可譯 碼，其平均長(zhǎng)度小于所有其他唯一可譯碼的平均長(zhǎng) 度，則稱(chēng)該碼為最佳碼（緊致碼）。 無(wú)失真變長(zhǎng)信源編碼定理（ 香農(nóng)第一定理 ） 對(duì)于平均符號(hào)熵為 HL(X) 的離散平穩(wěn)無(wú)記憶信源（離散 無(wú)記憶信源 X 的 L 次擴(kuò)展信源 對(duì)其進(jìn)行 m 元編碼，必存在一種無(wú)失真編碼方法，構(gòu) 成唯一可譯碼，使信源 X 中每個(gè)信源符號(hào)所需的平均碼 長(zhǎng) 滿足： 用變長(zhǎng)編碼可達(dá)到相當(dāng)高的編碼效率，一般所要求 的符號(hào)長(zhǎng)度 L 可以比定長(zhǎng)編碼小得多。而用變長(zhǎng)碼編碼時(shí)， L 不需要很大就可 達(dá)到相當(dāng)高的編碼效率，而且可實(shí)現(xiàn)無(wú)失真編碼。編碼后的傳輸率 R 也越來(lái)越接近于無(wú)噪無(wú)損 二元對(duì)稱(chēng)信道的信道容量 (1bit/ 二元碼符號(hào) ) ，達(dá)到信 源與信道的匹配。 編碼主要方法有：香農(nóng)編碼、費(fèi)諾編碼、哈夫曼 編碼等。因此，香 農(nóng)編碼的實(shí)用價(jià)值不大，但卻有深遠(yuǎn)的理論意義，因 為按香農(nóng)的方法對(duì)信源序列編碼，當(dāng)序列長(zhǎng)度趨于無(wú) 窮時(shí)，平均碼長(zhǎng)會(huì)趨于信源的熵。 香農(nóng)第一定理指出，選擇每個(gè)碼字的長(zhǎng)度 K
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1