信源編碼ppt課件-文庫吧資料
2025-05-08 00:20本頁面
【正文】 編碼效率 η為 90 ％ 用二進(jìn)制 變長 編碼， m ＝ 2 例： 設(shè)離散無記憶信源概率空間為 ? 信源熵： H ( X ) = 1/4 log4 +3/4 log3/4 = 0. 811 bit / 信源符號(hào) 若用二元定長編碼 (0,1) 來構(gòu)造一個(gè)即時(shí)碼： ? 平均碼長： 二元碼符號(hào) / 信源符號(hào) ? 編碼效率： ? 輸出的信息傳輸率： 再對(duì)長度 L 為 2 的信源序列進(jìn)行 變長編碼，其即時(shí)碼如表： ? 碼字平均長度： ? 單個(gè)符號(hào)的平均碼長 ? 編碼效率 ? 輸出的信息傳輸率： R2 ＝ 信源序列的長度增加 : 編碼復(fù)雜一些，但信息傳輸率有了提高 變長編碼： L ＝ 2 ， η2 = 定長編碼： 要求編碼效率達(dá)到 96 ％時(shí)，允許譯碼錯(cuò)誤概率 δ ≤ 10 － 5 說明 (1) 定長碼需要的信源序列長，使碼表很大，且總存 在譯碼差錯(cuò)。 單個(gè)符號(hào)變長編碼定理 若離散無記憶信源的符號(hào)熵為 H(X) ，每個(gè)信源符號(hào) 用 m 進(jìn)制碼元進(jìn)行變長編碼，一定存在一種無失真 編碼方法，其碼字平均長度 K 滿足下列不等式： H ( X ) H ( X ) ??????? + 1 log m log m 離散平穩(wěn)無記憶序列變長編碼定理 對(duì)于平均符號(hào)熵為 HL(X) 的離散平穩(wěn)無記憶信 源，必存在一種無失真編碼方法，使平均信息率 R ???滿足不等式： 其中 ε 為任意小正數(shù)。 根據(jù)信源各個(gè)符號(hào)的統(tǒng)計(jì)特性，如概率大的符號(hào)用 短碼，概率小的用較長的碼，使得編碼后平均碼長 降低，從而提高編碼效率。這顯然是很難實(shí)現(xiàn)的。 最佳編碼效率： ?編碼定理從理論上闡明了編碼效率接近 1 的理想編碼 器的存在性，它使輸出符號(hào)的信息率與信源熵之比接 近于 1 ，即： 若要實(shí)現(xiàn)，取無限長 L 的 信源符號(hào)進(jìn)行統(tǒng)一編碼。 ? 差錯(cuò)概率 設(shè)差錯(cuò)概率用 ??Pe?表示，則有： ? ε 為一正數(shù) 為信源序列的自信息方差 當(dāng) 均為定值時(shí)，只要 L 足夠大， Pe可以小 于任一正數(shù) ?。 當(dāng) 時(shí)，不可能構(gòu)成無失真的編碼，也 就是不可能做一種編碼器，能使收端譯碼時(shí)差 錯(cuò)概率趨于零。 定長編碼定理給出了信源進(jìn)行定長編碼所需碼 長的 理論極限值 。 ? 定長編碼后每個(gè)碼字 (5個(gè)二元符號(hào) )只攜帶約 信息量。 編碼的目的是尋找 最小 K 值 ? 若對(duì)信源進(jìn)行定長編碼，必須滿足 : 對(duì)于定長唯一可譯碼，每個(gè)信源符號(hào)至少需用 （ log n / log m ）個(gè)碼符號(hào)來變換。 無失真信源編碼 要求能夠無失真或無差錯(cuò)地譯碼，同時(shí)希望所 得編碼的平均碼長最小。 如碼字 {0， 10， 010， 111} 雖然滿足 Kraft 不等式， 但它不是唯一可譯碼。 K1 =1 , K2 =2 , K3 =3 , K4 =3 。 應(yīng)用 Kraft 不等式，得： 不存在滿足這種 K i 的唯一可譯碼 要形成滿足上述長度 的碼字，必須在中間 節(jié)點(diǎn)放置碼字。 該碼樹從根到終端節(jié)點(diǎn)所經(jīng)路徑上， 每一個(gè)中間節(jié)點(diǎn)皆為碼字，因此碼 3 不是即時(shí)碼，但它是唯一可譯碼。 ? 任一即時(shí)碼都可用樹圖法來表示。 若一個(gè)碼所有碼字均處于終端節(jié)點(diǎn)，則該碼為即時(shí)碼。 m 進(jìn)制碼樹各節(jié) 點(diǎn) ( 包括樹根 ) 向下長出的樹枝不會(huì)超過 m，若等于 m稱 為滿樹 (整樹 ) ，否則稱為非滿樹 (非整樹 ) 。 經(jīng)過 r 個(gè)樹枝才能到達(dá)的節(jié)點(diǎn)稱為 r 階節(jié)點(diǎn)。 碼 3 即時(shí)碼 ( 非延長碼 ) ( 異前綴碼 ) 在譯碼時(shí)無需參考后續(xù)的碼符號(hào)就能立即作出判斷， 譯成對(duì)應(yīng)的信源符號(hào)。任何其他分割法都會(huì)產(chǎn)生 一些非定義的碼字。 例： {0,10,11} 是一種唯一可譯碼。反之為奇異碼 。 分組碼必須具有某些屬性，才能保證在接 收端能夠迅速可靠地譯碼。 變長碼 可變長度碼，碼中的碼字長短不一。 例： 若將信源 X 通過二元信道傳輸，就必須把信源符 號(hào) ai 變換成由 0 、 1符號(hào)組成的碼符號(hào)序列，這個(gè) 過程就是信源編碼。 分組碼 將信源消息分成若干組，即符號(hào)序列，每個(gè)符號(hào) 序列依照固定碼表映射成一個(gè)碼字，這樣的碼稱 為分組碼，有時(shí)也叫塊碼。 編碼的定義 信源編碼：信源輸出符號(hào)經(jīng)信源編碼器編碼后 轉(zhuǎn)換成另外的壓縮符號(hào) 無失真信源編碼：可精確無失真地復(fù)制信源輸 出的消息 編碼器的作用 將信源符號(hào)集 X 中的符號(hào) 變換成由碼 符號(hào)集 y 中的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1