信源編碼ppt課件-文庫(kù)吧資料
2025-05-08 00:20本頁(yè)面
【正文】 編碼效率 η為 90 ％ 用二進(jìn)制 變長(zhǎng) 編碼， m ＝ 2 例： 設(shè)離散無(wú)記憶信源概率空間為 ? 信源熵： H ( X ) = 1/4 log4 +3/4 log3/4 = 0. 811 bit / 信源符號(hào) 若用二元定長(zhǎng)編碼 (0,1) 來(lái)構(gòu)造一個(gè)即時(shí)碼： ? 平均碼長(zhǎng)： 二元碼符號(hào) / 信源符號(hào) ? 編碼效率： ? 輸出的信息傳輸率： 再對(duì)長(zhǎng)度 L 為 2 的信源序列進(jìn)行 變長(zhǎng)編碼，其即時(shí)碼如表： ? 碼字平均長(zhǎng)度： ? 單個(gè)符號(hào)的平均碼長(zhǎng) ? 編碼效率 ? 輸出的信息傳輸率： R2 ＝ 信源序列的長(zhǎng)度增加 : 編碼復(fù)雜一些，但信息傳輸率有了提高 變長(zhǎng)編碼： L ＝ 2 ， η2 = 定長(zhǎng)編碼： 要求編碼效率達(dá)到 96 ％時(shí)，允許譯碼錯(cuò)誤概率 δ ≤ 10 － 5 說(shuō)明 (1) 定長(zhǎng)碼需要的信源序列長(zhǎng)，使碼表很大，且總存 在譯碼差錯(cuò)。 單個(gè)符號(hào)變長(zhǎng)編碼定理 若離散無(wú)記憶信源的符號(hào)熵為 H(X) ，每個(gè)信源符號(hào) 用 m 進(jìn)制碼元進(jìn)行變長(zhǎng)編碼，一定存在一種無(wú)失真 編碼方法，其碼字平均長(zhǎng)度 K 滿足下列不等式： H ( X ) H ( X ) ??????? + 1 log m log m 離散平穩(wěn)無(wú)記憶序列變長(zhǎng)編碼定理 對(duì)于平均符號(hào)熵為 HL(X) 的離散平穩(wěn)無(wú)記憶信 源，必存在一種無(wú)失真編碼方法，使平均信息率 R ???滿足不等式： 其中 ε 為任意小正數(shù)。 根據(jù)信源各個(gè)符號(hào)的統(tǒng)計(jì)特性，如概率大的符號(hào)用 短碼，概率小的用較長(zhǎng)的碼，使得編碼后平均碼長(zhǎng) 降低，從而提高編碼效率。這顯然是很難實(shí)現(xiàn)的。 最佳編碼效率： ?編碼定理從理論上闡明了編碼效率接近 1 的理想編碼 器的存在性，它使輸出符號(hào)的信息率與信源熵之比接 近于 1 ，即： 若要實(shí)現(xiàn)，取無(wú)限長(zhǎng) L 的 信源符號(hào)進(jìn)行統(tǒng)一編碼。 ? 差錯(cuò)概率 設(shè)差錯(cuò)概率用 ??Pe?表示，則有： ? ε 為一正數(shù) 為信源序列的自信息方差 當(dāng) 均為定值時(shí)，只要 L 足夠大， Pe可以小 于任一正數(shù) ?。 當(dāng) 時(shí)，不可能構(gòu)成無(wú)失真的編碼，也 就是不可能做一種編碼器，能使收端譯碼時(shí)差 錯(cuò)概率趨于零。 定長(zhǎng)編碼定理給出了信源進(jìn)行定長(zhǎng)編碼所需碼 長(zhǎng)的 理論極限值 。 ? 定長(zhǎng)編碼后每個(gè)碼字 (5個(gè)二元符號(hào) )只攜帶約 信息量。 編碼的目的是尋找 最小 K 值 ? 若對(duì)信源進(jìn)行定長(zhǎng)編碼，必須滿足 : 對(duì)于定長(zhǎng)唯一可譯碼，每個(gè)信源符號(hào)至少需用 （ log n / log m ）個(gè)碼符號(hào)來(lái)變換。 無(wú)失真信源編碼 要求能夠無(wú)失真或無(wú)差錯(cuò)地譯碼，同時(shí)希望所 得編碼的平均碼長(zhǎng)最小。 如碼字 {0， 10， 010， 111} 雖然滿足 Kraft 不等式， 但它不是唯一可譯碼。 K1 =1 , K2 =2 , K3 =3 , K4 =3 。 應(yīng)用 Kraft 不等式，得： 不存在滿足這種 K i 的唯一可譯碼 要形成滿足上述長(zhǎng)度 的碼字，必須在中間 節(jié)點(diǎn)放置碼字。 該碼樹(shù)從根到終端節(jié)點(diǎn)所經(jīng)路徑上， 每一個(gè)中間節(jié)點(diǎn)皆為碼字，因此碼 3 不是即時(shí)碼，但它是唯一可譯碼。 ? 任一即時(shí)碼都可用樹(shù)圖法來(lái)表示。 若一個(gè)碼所有碼字均處于終端節(jié)點(diǎn)，則該碼為即時(shí)碼。 m 進(jìn)制碼樹(shù)各節(jié) 點(diǎn) ( 包括樹(shù)根 ) 向下長(zhǎng)出的樹(shù)枝不會(huì)超過(guò) m，若等于 m稱 為滿樹(shù) (整樹(shù) ) ，否則稱為非滿樹(shù) (非整樹(shù) ) 。 經(jīng)過(guò) r 個(gè)樹(shù)枝才能到達(dá)的節(jié)點(diǎn)稱為 r 階節(jié)點(diǎn)。 碼 3 即時(shí)碼 ( 非延長(zhǎng)碼 ) ( 異前綴碼 ) 在譯碼時(shí)無(wú)需參考后續(xù)的碼符號(hào)就能立即作出判斷， 譯成對(duì)應(yīng)的信源符號(hào)。任何其他分割法都會(huì)產(chǎn)生 一些非定義的碼字。 例： {0,10,11} 是一種唯一可譯碼。反之為奇異碼 。 分組碼必須具有某些屬性，才能保證在接 收端能夠迅速可靠地譯碼。 變長(zhǎng)碼 可變長(zhǎng)度碼，碼中的碼字長(zhǎng)短不一。 例： 若將信源 X 通過(guò)二元信道傳輸，就必須把信源符 號(hào) ai 變換成由 0 、 1符號(hào)組成的碼符號(hào)序列，這個(gè) 過(guò)程就是信源編碼。 分組碼 將信源消息分成若干組，即符號(hào)序列，每個(gè)符號(hào) 序列依照固定碼表映射成一個(gè)碼字，這樣的碼稱 為分組碼，有時(shí)也叫塊碼。 編碼的定義 信源編碼：信源輸出符號(hào)經(jīng)信源編碼器編碼后 轉(zhuǎn)換成另外的壓縮符號(hào) 無(wú)失真信源編碼：可精確無(wú)失真地復(fù)制信源輸 出的消息 編碼器的作用 將信源符號(hào)集 X 中的符號(hào) 變換成由碼 符號(hào)集 y 中的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1