信息率失真函數(shù)(2)(編輯修改稿)
2025-06-03 22:22 本頁面
【文章內容簡介】 就不存在 信源編碼器的目的： 使編碼后所需的信息傳輸率 R盡量小 ,給出一個失真的限制值 D，在滿足保真度準則條件下，選擇一種編碼方法，使信息率 R盡可能小 2110 ?? )()( xpxp????????jijiij xxxxd 當當,10例：若有一個離散、等概率單消息（或無記憶）二元信源： ,且采用漢明距離作為失真度量標準：即 有一具體信源編碼方案為： N個碼元中允許錯一個碼元，實現(xiàn)時 N個碼元僅送 N1個，剩下一個不送，在接收端用隨機方式決定（為擲硬幣方式）。 陰影范圍表示實際信源編碼方案與理論值間的差距，我們完全可以找到更好，即更靠近理論值，縮小陰影范圍的信源編碼，這就是工程界尋找好的信源編碼的方向和任務。 1( ) ( ) ( )2R D H H D??二元信源的理論信息率失真函數(shù) ( ) 1 2R D D? ??二元信源的實際信息率失真函數(shù) 例：設信源具有一百個以等概率出現(xiàn)的符號 a1， a2， ? ， a99， a100，并以每秒發(fā)出一個符號的速率從信源輸出。試求在允許失真度 D＝ ，傳輸這些消息所需要的最小信息率。 信源 a1, a2,..., a99, a100 試驗信道 {p(yj|xi)} 無擾離散 信道 失真信源 a1～ a100 a1～ a90 (a) 解：在不失真?zhèn)鬏敆l件下的信息率 R為： 因為允許失真度 D＝ ，可設想信源 100個符號經過假想的試驗信道只輸出 a1， a2， ? ， a89， a90，即輸出 90個符號，而余下的a91， ? ， a100 都用 a90代替 ( ) l o g 1 0 0 6 .6 4 41HXRb? ? ?bit/s X Y a1 a2 a90 a91 a100 a90 a2 a1 除 a1， a2， ? ， a89， a90對應位置上的元素為 0外，其余元素為 1或 ∞ （ 假想試驗信道傳輸概率 P(yj|xi)為零時，所對應的 dij為無限大） 1 2 9 0 9 1 9 2 1 0 012909192100000111a a a a a aaaaDaaa? ? ? ? ?? ? ? ? ?? ? ? ? ? ?? ? ? ? ?? ? ? ? ?? ? ? ? ?失 真 矩 陣 ：該失真信源的組合方案的平均失真函數(shù)為： ??????2211)|()()|()()|()(YXijijiYXijijiXYijijidxyPxPdxyPxPdxyPxPd上式中： X1＝ Y1＝ {a1， a2， … ， a89， a90}，屬于不失真的符號集合，對應 dij＝ 0，其中 i,j＝ 1， 2， … ， 90 X2＝ {a91， … ， a100}， Y2＝ {a90}，屬于失真集合，對應 dij＝1，其中 i＝ 91， 91， … ， 100， j＝ 90 據題意， P(xi)＝ 1/100（ i＝ 1， 2， ? ， 100） 所以得平均失真函數(shù)： 可見，這樣設想的失真信源的組合方案能滿足對失真度的要求。 22( ) ( | )11 0 1 1 0 . 1100i j i i jXYd P x P y x d?? ? ? ? ?? 該試驗信道為無噪有損信道，即 H(Y|X)=0,所以 R=I(X。Y)=H(Y)H(Y|X)=H(Y) 在試驗信道的輸出端 Y， a1， a2， ? ， a89的出現(xiàn)概率仍為1/100,而 a90的出現(xiàn)概率 P(a90)＝ 11/100，可知相應的信息傳輸速率為： 89901 9011( ) l o g ( ) l o g( ) ( )1 1 1 1 0 08 9 l o g 1 0 0 l o g1 0 0 1 0 0 1 1l o g 1 0 0 0 .1 1 l o g 1 16 .2 6 4 ( / )ii iR P a P aP a P ab i t s?? ??? ? ? ? ????? 比較 R’與無失真?zhèn)鬏敆l件下的信息率 R ,可知在 D＝ 條件下，所需信息率減小了 － ＝ bit/s。 同理，在 D＝ (假定后 50個符號均產生失真，這后50個符號均用 a50來代替 )信息率 R”為： 49501 501139。39。 ( ) l o g ( ) l o g( ) ( )1 5 1 1 0 04 9 l o g 1 0 0 l o g1 0 0 1 0 0 5 1l o g 1 0 0 0 .5 1 l o g 5 13 .7 5 1 ( / )ii iR P a P aP a P ab i t s???? ? ? ? ????? 與無失真?zhèn)鬏敆l件下的信息率 R想比較減小 － ＝ bit/s。 信道容量與信息率失真函數(shù)的比較 (1) 求極值問題 ??? 平均互信息 I(X。Y)是信源概率分布 p(xi)(i=1,2,…, n)或概率密度函數(shù) p(x)的上凸函數(shù)。根據上凸函數(shù)定義，如果 I(X。Y)在定義域內對 p(xi)或 p(x)的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問題，即 ?? ?I(X。Y)又是信道轉移概率分布 p(yj/xi)(i=1,2,…, n。j=1,2,…, m)或條件概率密度函數(shù) p(y/x)的下凸函數(shù)，因此在滿足保真度準則條件下， I(X。Y)對 p(yj/xi)或 p(y/x)的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗信道（滿足保真度準則的信道）中尋找平均互信息極小值的問題，即 { ( | ) }( ) m i n ( 。 )j i DP y x PR D I X Y??()m a x ( 。 )ipxC I X Y?信道容量與信息率失真函數(shù)的比較 信道容量與信息率失真函數(shù)的比較 (2)特性 ?信道容量 C一旦求出后，就只與信道轉移概率 p(yj/xi)或條件概率密度 p(y/x)有關，反映信道特性，與信源特性無關；由于平均互信息與信源的特性有關，為了排除信源特性對信道容量的影響，采用的做法是在所有的信源中以那個能夠使平均互信息達到最大的信源為參考，從而使信道容量僅與信道特性有關，信道不同， C亦不同。 ?信息率失真函數(shù) R(D)一旦求出后，
職業(yè)教育相關推薦
鄂ICP備17016276號-1