【正文】
)的下凸函數(shù)。 ) ( ) l o g ( | ) ( ) l o g( ) ( | ) ( )X Y X YXp y x p y xI X Y p x y p y x p xp y p y x p x???? ?信源 信道 平均互信息的例子 ? 例 46 信源: 信道: ? 則互信息量: ( 0 , 0) ( 0) ( 0 | 0) ( 0 , 1 ) ( 0) ( 1 | 0)( 1 , 0) ( 1 ) ( 0 | 1 ) ( 1 , 1 ) ( 1 ) ( 1 | 1 )p x y p x p y x p p x y p x p y x pp x y p x p y x p p x y p x p y x p??? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ?011XP ??? ? ? ??? ? ? ??? ? ? ?ppPpp??? ??????( | )( 。Z)≤I(X。這是信息不增性原理。Z)≤I(X。 ( 。Y)是 p(x)的上凸函數(shù),稱使 I(X。Y)的定義式可知, I(X。 ) ( ) l o g ( | ) ( ) l o g( ) ( | ) ( )X Y X YXp y x p y xI X Y p x y p y x p xp y p y x p x???? ?信道容量的例子(例 410) ? 信源: 信道: ? 則互信息量: ? 從圖中可以看出,當(dāng) ?=1/2時(shí), I(X,Y)取最大值 C=1H(p) 011XP ??? ? ? ??? ? ? ??? ? ? ?ppPpp??? ??????( 。Y) =H(X)H(X|Y)=H(X) =H(Y)H(Y|X)=H(Y) ? 因此信道容量 C=maxp(x){I(X。Y)=H(X)H(X|Y)=H(X) ? 因此信道容量 C=maxp(x){I(X。Y)=H(Y)H(Y|X)=H(Y) ? 因此信道容量 C=maxp(x){I(X。 0 .4 0 .60 .6 0 .40 .5 0 .5P???????????0. 7 0. 2 0. 10. 1 0. 7 0. 2P???????11113 3 6 611116 6 3 3P?????????1 / 2 1 / 3 1 / 61 / 6 1 / 2 1 / 31 / 3 1 / 6 1 / 2P?????????對稱信道的容量 ? 定理 44 若一個(gè)離散對稱信道有 r個(gè)輸入符號, s個(gè)輸出符號,則當(dāng)輸入為等概分布時(shí),達(dá)到信道容量 C,且 C=logsH(p1?p2 ? … ps ?) 式中, p1 ? p2 ? … ps ?為信道矩陣中的任一行。 ?根據(jù)公式( 421)計(jì)算 P(k)(xi|yj)。 ?令 k = k+1,轉(zhuǎn)向步驟 2。Y) ? 信源編碼的目的就是通過編碼,改變原始信源的統(tǒng)計(jì)特性,使得信道剩余度盡可能小。從信道的統(tǒng)計(jì)特性分,信道可以分為恒參信道和隨參信道。衡量信道噪聲大小有兩個(gè)指標(biāo):信道疑義度和噪聲熵。 ? 最后是級聯(lián)信道,以及信源和信道的匹配。 ? 從