信息率失真函數(shù)(2)(編輯修改稿)
2025-06-03 22:22 本頁面
【文章內(nèi)容簡(jiǎn)介】 就不存在 信源編碼器的目的： 使編碼后所需的信息傳輸率 R盡量小 ,給出一個(gè)失真的限制值 D，在滿足保真度準(zhǔn)則條件下，選擇一種編碼方法，使信息率 R盡可能小 2110 ?? )()( xpxp????????jijiij xxxxd 當(dāng)當(dāng),10例：若有一個(gè)離散、等概率單消息（或無記憶）二元信源： ,且采用漢明距離作為失真度量標(biāo)準(zhǔn)：即 有一具體信源編碼方案為： N個(gè)碼元中允許錯(cuò)一個(gè)碼元，實(shí)現(xiàn)時(shí) N個(gè)碼元僅送 N1個(gè)，剩下一個(gè)不送，在接收端用隨機(jī)方式?jīng)Q定（為擲硬幣方式）。 陰影范圍表示實(shí)際信源編碼方案與理論值間的差距，我們完全可以找到更好，即更靠近理論值，縮小陰影范圍的信源編碼，這就是工程界尋找好的信源編碼的方向和任務(wù)。 1( ) ( ) ( )2R D H H D??二元信源的理論信息率失真函數(shù) ( ) 1 2R D D? ??二元信源的實(shí)際信息率失真函數(shù) 例：設(shè)信源具有一百個(gè)以等概率出現(xiàn)的符號(hào) a1， a2， ? ， a99， a100，并以每秒發(fā)出一個(gè)符號(hào)的速率從信源輸出。試求在允許失真度 D＝ ，傳輸這些消息所需要的最小信息率。 信源 a1, a2,..., a99, a100 試驗(yàn)信道 {p(yj|xi)} 無擾離散 信道 失真信源 a1～ a100 a1～ a90 (a) 解：在不失真?zhèn)鬏敆l件下的信息率 R為： 因?yàn)樵试S失真度 D＝ ，可設(shè)想信源 100個(gè)符號(hào)經(jīng)過假想的試驗(yàn)信道只輸出 a1， a2， ? ， a89， a90，即輸出 90個(gè)符號(hào)，而余下的a91， ? ， a100 都用 a90代替 ( ) l o g 1 0 0 6 .6 4 41HXRb? ? ?bit/s X Y a1 a2 a90 a91 a100 a90 a2 a1 除 a1， a2， ? ， a89， a90對(duì)應(yīng)位置上的元素為 0外，其余元素為 1或 ∞ （ 假想試驗(yàn)信道傳輸概率 P(yj|xi)為零時(shí)，所對(duì)應(yīng)的 dij為無限大） 1 2 9 0 9 1 9 2 1 0 012909192100000111a a a a a aaaaDaaa? ? ? ? ?? ? ? ? ?? ? ? ? ? ?? ? ? ? ?? ? ? ? ?? ? ? ? ?失 真 矩 陣 ：該失真信源的組合方案的平均失真函數(shù)為： ??????2211)|()()|()()|()(YXijijiYXijijiXYijijidxyPxPdxyPxPdxyPxPd上式中： X1＝ Y1＝ {a1， a2， … ， a89， a90}，屬于不失真的符號(hào)集合，對(duì)應(yīng) dij＝ 0，其中 i,j＝ 1， 2， … ， 90 X2＝ {a91， … ， a100}， Y2＝ {a90}，屬于失真集合，對(duì)應(yīng) dij＝1，其中 i＝ 91， 91， … ， 100， j＝ 90 據(jù)題意， P(xi)＝ 1/100（ i＝ 1， 2， ? ， 100） 所以得平均失真函數(shù)： 可見，這樣設(shè)想的失真信源的組合方案能滿足對(duì)失真度的要求。 22( ) ( | )11 0 1 1 0 . 1100i j i i jXYd P x P y x d?? ? ? ? ?? 該試驗(yàn)信道為無噪有損信道，即 H(Y|X)=0,所以 R=I(X。Y)=H(Y)H(Y|X)=H(Y) 在試驗(yàn)信道的輸出端 Y， a1， a2， ? ， a89的出現(xiàn)概率仍為1/100,而 a90的出現(xiàn)概率 P(a90)＝ 11/100，可知相應(yīng)的信息傳輸速率為： 89901 9011( ) l o g ( ) l o g( ) ( )1 1 1 1 0 08 9 l o g 1 0 0 l o g1 0 0 1 0 0 1 1l o g 1 0 0 0 .1 1 l o g 1 16 .2 6 4 ( / )ii iR P a P aP a P ab i t s?? ??? ? ? ? ????? 比較 R’與無失真?zhèn)鬏敆l件下的信息率 R ,可知在 D＝ 條件下，所需信息率減小了 － ＝ bit/s。 同理，在 D＝ (假定后 50個(gè)符號(hào)均產(chǎn)生失真，這后50個(gè)符號(hào)均用 a50來代替 )信息率 R”為： 49501 501139。39。 ( ) l o g ( ) l o g( ) ( )1 5 1 1 0 04 9 l o g 1 0 0 l o g1 0 0 1 0 0 5 1l o g 1 0 0 0 .5 1 l o g 5 13 .7 5 1 ( / )ii iR P a P aP a P ab i t s???? ? ? ? ????? 與無失真?zhèn)鬏敆l件下的信息率 R想比較減小 － ＝ bit/s。 信道容量與信息率失真函數(shù)的比較 (1) 求極值問題 ??? 平均互信息 I(X。Y)是信源概率分布 p(xi)(i=1,2,…, n)或概率密度函數(shù) p(x)的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果 I(X。Y)在定義域內(nèi)對(duì) p(xi)或 p(x)的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問題，即 ?? ?I(X。Y)又是信道轉(zhuǎn)移概率分布 p(yj/xi)(i=1,2,…, n。j=1,2,…, m)或條件概率密度函數(shù) p(y/x)的下凸函數(shù)，因此在滿足保真度準(zhǔn)則條件下， I(X。Y)對(duì) p(yj/xi)或 p(y/x)的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的問題，即 { ( | ) }( ) m i n ( 。 )j i DP y x PR D I X Y??()m a x ( 。 )ipxC I X Y?信道容量與信息率失真函數(shù)的比較 信道容量與信息率失真函數(shù)的比較 (2)特性 ?信道容量 C一旦求出后，就只與信道轉(zhuǎn)移概率 p(yj/xi)或條件概率密度 p(y/x)有關(guān)，反映信道特性，與信源特性無關(guān)；由于平均互信息與信源的特性有關(guān)，為了排除信源特性對(duì)信道容量的影響，采用的做法是在所有的信源中以那個(gè)能夠使平均互信息達(dá)到最大的信源為參考，從而使信道容量?jī)H與信道特性有關(guān)，信道不同， C亦不同。 ?信息率失真函數(shù) R(D)一旦求出后，
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號(hào)-1