[工學(xué)]第五章信息率失真函數(shù)(編輯修改稿)
2025-01-03 23:54 本頁面
【文章內(nèi)容簡介】 例：設(shè)信源有一百個以等概率出現(xiàn)的符號 a1， a2， ? ， a99， a100，并以每秒發(fā)出一個符號的速率從信源輸出。試求在允許失真度 D＝ ，傳輸這些消息所需要的最小信息率。 信源 a1, a2,..., a99, a100 試驗信道 {p(yj|xi)} 無擾離散 信道 失真信源 a1～ a100 a1～ a90 (a) X Y a1 a2 a90 a91 a100 a90 a2 a1 (b) 解：在不失真?zhèn)鬏敆l件下的信息率 R為： 因為允許失真度 D＝ ，可設(shè)想信源 100個符號經(jīng)過假想的試驗信道只輸出 a1， a2， ? ， a89， a90，即輸出 90個符號，而余下的 a91， ? ， a100 都用 a90代替 sb itXHR /6 4 0 0l o g)( ??? 除 a1， a2， ? ， a89， a90對應(yīng)位置上的元素為 0外，其余元素為 1或 ∞ （ 假想試驗信道傳輸概率 P(yj|xi)為零時，所對應(yīng)的 dij為無限大 ） 1 2 90 91 92 10 012909192100000111a a a a a aaaaDaaa? ? ? ? ?? ? ? ? ?? ? ? ? ? ?? ? ? ? ?? ? ? ? ?? ? ? ? ?失 真 矩 陣 ：該失真信源的平均失真函數(shù)為： ??????2211)|()()|()()|()(YXijijiYXijijiXYijijidxyPxPdxyPxPdxyPxPd上式中： X1＝ Y1＝ {a1， a2， … ， a89， a90}，屬于不失真的符號集合，對應(yīng) dij＝ 0，其中 i,j＝ 1， 2， … ， 90 X2＝ {a91， … ， a100}， Y2＝ {a90}，屬于失真集合，對應(yīng) dij＝1，其中 i＝ 91， 91， … ， 100， j＝ 90 據(jù)題意， P(xi)＝ 1/100（ i＝ 1， 2， ? ， 100） 所以得平均失真函數(shù)： 可見，這樣設(shè)想的失真信源的組合方案能滿足對失真度的要求。 22( ) ( | )11 0 1 1 0 .1100i j i ijXYd P x P y x d?? ? ? ? ?? 該試驗信道為無噪有損信道，即 H(Y|X)=0,所以 R’=I(X。Y)=H(Y) H(Y|X)=H(Y) 在試驗信道的輸出端 Y， a1， a2， ? ， a89的出現(xiàn)概率仍為1/100,而 a90的出現(xiàn)概率 P(a90)＝ 11/100，可知相應(yīng)的信息傳輸速率為： 89901 9011( ) l o g ( ) l o g( ) ( )1 1 1 1 0 08 9 l o g 1 0 0 l o g1 0 0 1 0 0 1 1l o g 1 0 0 0 .1 1 l o g 1 16 .2 6 4 ( / )ii iR P a P aP a P ab it s?? ??? ? ? ? ????? 比較 R’與無失真?zhèn)鬏敆l件下的信息率 R ,可知在 D＝ 條件下，所需信息率減小了 － ＝ bit/s。 同理，在 D＝ (假定后 50個符號均產(chǎn)生失真，這后50個符號均用 a50來代替 )信息率 R”為： 49501 501139。39。 ( ) l og ( ) l og( ) ( )1 51 10049 l og 100 l og100 100 51l og 100 l og 51 ( / )ii iR P a P aP a P abit s???? ? ? ? ????? 與無失真?zhèn)鬏敆l件下的信息率 R相比較，減小 － ＝ bit/s。 (1) 求極值問題 ??? 平均互信息 I(X。Y)是信源概率分布 p(xi)(i=1,2,…, n)或概率密度函數(shù) p(x)的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果 I(X。Y)在定義域內(nèi)對 p(xi)或 p(x)的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問題，即 ?? ?I(X。Y)又是信道轉(zhuǎn)移概率分布 p(yj/xi)(i=1,2,…, n。j=1,2,…, m)或條件概率密度函數(shù) p(y/x)的下凸函數(shù)，因此在滿足保真度準則條件下， I(X。Y)對 p(yj/xi)或 p(y/x)的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗信道（滿足保真度準則的信道）中尋找平均互信息極小值的問題，即 { ( | ) }( ) m i n ( 。 )j i DP y x PR D I X Y??()m a x ( 。 )ipxC I X Y?信道容量與信息率失真函數(shù)的比較 信道容量與信息率失真函數(shù)的比較 (2)特性 ?信道容量 C一旦求出后，就只與信道轉(zhuǎn)移概率 p(yj/xi)或條件概率密度 p(y/x)有關(guān)，反映信道特性，與信源特性無關(guān)；由于平均互信息與信源的特性有關(guān)，為了排除信源特性對信道容量的影響，采用的做法是在所有的信源中以那個能夠使平均互信息達到最大的信源為參考，從而使信道容量僅與信道特性有關(guān)，信道不同， C亦不同。 ?信息率失真函數(shù) R(D)一旦求出后，就只與信源概率分布 p(xi)或概率密度函數(shù) p(x)有關(guān)，反映信源特性，與信道特性無關(guān)。由于平均互信息與信道的特性有關(guān)，為了排除信道特性對信息率失真函數(shù)的影響，采用的做法是在所有的信道中以那個能使平均互信息達到最小的信道為參考，從而使信息率失真函數(shù)僅僅與信源特性有關(guān)，信源不同， R(D)亦不同。 (3) 解決的問題 ?? 信道容量是為了解決通信的可靠性問題，是信息傳輸?shù)睦碚摶A(chǔ)，通過信道編碼增加信息的冗余度來實現(xiàn)； ?? 信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮的理論基礎(chǔ)，通過信源編碼減少信息的冗余度來實現(xiàn)。 信息率失真函數(shù)的性質(zhì) (D)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1