香農(nóng)三大定理-閱讀頁
2024-08-24 17:28本頁面
【正文】 ,( 11定義序列失真測(cè)度為 ???NiiiN yxdNyxd1),(1),(信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 失真度與信息率失真函數(shù) b、失真測(cè)度 3)平均失真 單符號(hào)平均失真 ??jijiji vudvuPdE,),(),(][序列平均失真 ???Niii yxdENdE1)],([1][信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 失真度與信息率失真函數(shù) b、失真測(cè)度 c、信息率失真函數(shù) 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 失真度與信息率失真函數(shù) 定義 信息率失真函數(shù) )}。V) R(D) 最佳編碼 最佳編碼 DD?例 設(shè)信源 X，符號(hào)集為 },. . . ,{221 naaa ，等概分布 ninP i 2,. .. ,1,2/1 ??給定失真測(cè)度為 ??????jijidji ,0,1,設(shè)計(jì)一種單符號(hào)壓縮算法使得平均 失真 D=1/2，并求壓縮后的信息傳輸率 R. 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 ?信息率失真函數(shù)性質(zhì) 1）當(dāng) D0時(shí) ,R(D)無意義 2）存在一個(gè) Dmax，使 D Dmax時(shí) ,R(D)=0 3） R(0)=H(X) 4）在 0D Dmax范圍內(nèi) ,R(D)是正的、連續(xù)的下凸函數(shù) R(D) D H(X) Dmax 0 二、香農(nóng)第三定理 （ 保真度準(zhǔn)則下的信源編碼定理 ） 定理 設(shè) )(DR 為一離散無記憶信源的信息率失真函數(shù)， 并且有有限的失真測(cè)度 D,則對(duì)于任意 0,0 ?? ?D ，以及任 意長的碼長 k，一定存在一種碼字個(gè)數(shù)為 ])([2 ??? DRkM 的信 源編碼，使編碼后碼的平均失真度 DD ?信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 表述二： 設(shè) )(DR 為一離散無記憶信源的信息率失真函數(shù)，并且規(guī)定 了有限的失真測(cè)度，對(duì)于任意的 0,0 ?? ?D 則： )(lo g DRk MR ???1）若給定了失真 D，且 ，則存在長度 為 k的碼，它的平均失真度 DD ?2）若 )( DRR ?? 時(shí)，無論采用什么編碼，其平均失真大于 D 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 二、香農(nóng)第三定理 （ 保真度準(zhǔn)則下的信源編碼定理 ） 幾點(diǎn)討論 1） R(D)確定是保真度準(zhǔn)則條件下，信源信息率壓縮的下限。 3）是一種存在定理，其實(shí)際應(yīng)用有待于進(jìn)一步研究： a)如何計(jì)算符合實(shí)際信源的信息率失真函數(shù) R(D)？ b)如何尋找最佳編碼方法才能達(dá)到信息壓縮的極限值 R(D)？ 二、香農(nóng)第三定理 （ 保真度準(zhǔn)則下的信源編碼定理 ） 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 信 源 信 宿 限 失 真 信 源 編 碼 器 限 失 真 信 源 譯 碼 器 無 失 真 信 源 編 碼 器 無 失 真 信 源 譯 碼 器 信 道 編 碼 信 道 譯 碼 A B C D E F G H 信道 一般通信系統(tǒng)框圖 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 總結(jié)： 香農(nóng)第二定理（ 有噪信道編碼定理 ） R ≤ C 信息率失真函數(shù) )}
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1