[計算機軟件及應用]第5章信源編碼ppt(編輯修改稿)
2025-03-19 22:16 本頁面
【文章內容簡介】 錯概率趨于零。 當 時，則為臨界狀態(tài)，可能無失真， 也可能有失真。 ? 差錯概率 設差錯概率用 ??Pe?表示，則有： ? ε 為一正數 為信源序列的自信息方差 當 均為定值時，只要 L 足夠大， Pe可以小 于任一正數 ?。即： ?當信源序列長度 L 滿足 能達到差錯率要求： ?? 編碼效率 編碼效率總 定義編碼效率為： ?是小于 1 信源的平均符號熵為 HL (X) ，采用平均符號碼長 為 K 來編碼后所得的效率。 最佳編碼效率： ?編碼定理從理論上闡明了編碼效率接近 1 的理想編碼 器的存在性，它使輸出符號的信息率與信源熵之比接 近于 1 ，即： 若要實現，取無限長 L 的 信源符號進行統(tǒng)一編碼。 例： 設離散無記憶信源概率空間為 ? 信源熵： H ( X ) = ∑ p ( xi ) log p ( xi ) = bit / 符號 i = 1 對信源符號采用定長二元編碼 , 要求編碼效率 η為 90 ％ 若取 L ＝ 1 ，則 即每個符號用 進行定長編碼，共有 = 種 可能，按 7 種可能性計算，信源符號中就有一種符號 沒有對應的碼字，取概率最小的 a8 ，則 Pe= , 太大 ? 信源序列的自信息方差： 若要求譯碼錯誤概率 δ ≤ 106 L?應滿足： ?對于定長編碼，即使在編碼效率和譯碼錯誤概率的要 求并不十分苛刻的情況下，就需要 10 8 個信源符號一 起進行編碼。這顯然是很難實現的。 變長編碼定理 在變長編碼中，碼長 KL是變化的。 根據信源各個符號的統(tǒng)計特性，如概率大的符號用 短碼，概率小的用較長的碼，使得編碼后平均碼長 降低，從而提高編碼效率。（統(tǒng)計匹配） 編碼后碼字 Y1 , Y 2 , ‥ , Y n 碼長分別為 K 1 , K 2 , ‥ , K n 碼的 平均長度 為： 編碼后的 信息傳輸率 為： 對于某一信源和某一碼符號集，若有一個唯一可譯 碼，其平均長度小于所有其他唯一可譯碼的平均長 度，則稱該碼為最佳碼（緊致碼）。 單個符號變長編碼定理 若離散無記憶信源的符號熵為 H(X) ，每個信源符號 用 m 進制碼元進行變長編碼，一定存在一種無失真 編碼方法，其碼字平均長度 K 滿足下列不等式： H ( X ) H ( X ) ??????? + 1 log m log m 離散平穩(wěn)無記憶序列變長編碼定理 對于平均符號熵為 HL(X) 的離散平穩(wěn)無記憶信 源，必存在一種無失真編碼方法，使平均信息率 R ???滿足不等式： 其中 ε 為任意小正數。 無失真變長信源編碼定理（ 香農第一定理 ） 對于平均符號熵為 HL(X) 的離散平穩(wěn)無記憶信源（離散 無記憶信源 X 的 L 次擴展信源 對其進行 m 元編碼，必存在一種無失真編碼方法，構 成唯一可譯碼，使信源 X 中每個信源符號所需的平均碼 長 滿足： 用變長編碼可達到相當高的編碼效率，一般所要求 的符號長度 L 可以比定長編碼小得多。 ? 編碼效率的下界 為了衡量各種編碼方法與最佳碼的差距，定義碼的 剩余度為： 同前例： 設離散無記憶信源概率空間為 ? 信源熵： H ( X ) = 2 . 55 bit / 符號 要求編碼效率 η為 90 ％ 用二進制 變長 編碼， m ＝ 2 例： 設離散無記憶信源概率空間為 ? 信源熵： H ( X ) = 1/4 log4 +3/4 log3/4 = 0. 811 bit / 信源符號 若用二元定長編碼 (0,1) 來構造一個即時碼： ? 平均碼長： 二元碼符號 / 信源符號 ? 編碼效率： ? 輸出的信息傳輸率： 再對長度 L 為 2 的信源序列進行 變長編碼，其即時碼如表： ? 碼字平均長度： ? 單個符號的平均碼長 ? 編碼效率 ? 輸出的信息傳輸率： R2 ＝ 信源序列的長度增加 : 編碼復雜一些，但信息傳輸率有了提高 變長編碼： L ＝ 2 ， η2 = 定長編碼： 要求編碼效率達到 96 ％時，允許譯碼錯誤概率 δ ≤ 10 － 5 說明 (1) 定長碼需要的信源序列長，使碼表很大，且總存 在譯碼差錯。而用變長碼編碼時， L 不需要很大就可 達到相當高的編碼效率，而且可實現無失真編碼。 (2) 隨著信源序列長度的增加，編碼的效率越來越接 近于 1 。編碼后的傳輸率 R 也越來越接近于無噪無損 二元對稱信道的信道容量 (1bit/ 二元碼符
教學課件相關推薦
鄂ICP備17016276號-1