【正文】 即 I(X。Y) = 0 當(dāng) X、 Y統(tǒng)計獨立時等式成立。 （ 2）極值性 即 I(X。Y) = H(X) 當(dāng) H(X/Y)=0 時，即信道中傳輸信息無損時，等式成立。 （ 3）交互性（對稱性） 即 I(X。Y) = I(Y。X) 當(dāng) X、 Y統(tǒng)計獨立時 I(X。Y) = I(Y。X)=0 當(dāng)信道無干擾時 I(X。Y) = I(Y。X)=H(X)=H(Y) （ 4）凸?fàn)钚? 所以， 平均互信息 I(X。Y)只是信源 X的概率分布 P(x)和信道的傳遞概率 P(y/x)的函數(shù)， 即： I(X。Y) = f [P(x), P(y|x)] ,( | ) ( | )( 。 ) ( 。 ) ( ) l o g ( ) ( | ) l o g( ) ( )( ) ( ) ( | )X Y X YXP y x P y xI X Y I Y X P x y P x P y xP y P yP y P x P y x? ? ?????其中：? 平均互信息 I(X。Y)是輸入信源的概率分布P(x)的 ∩ 型凸函數(shù)。 ? （ 1） 對固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。 ? （ 2） 對于每一個固定信道，一定存在有一種信源 (某一種概率分布 P(x))，使輸出端獲得的平均信息量為最大。 ? 平均互信息 I(X。Y)是信道傳遞的概率P(y/x)的 ∪ 型凸函數(shù)。 ? 當(dāng) 信源固定 后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關(guān)于信源的信息量是不同的。 ? 對每一種信源都存在一種最差的信道，此時干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 離散無記憶信道的擴展 信道 離散無記憶信道 ( DMC， Discrete Memoryless Channel) ，其 傳遞概率滿足 ： 仍可用 [X， P( y / x )， Y] 概率空間來描述。 設(shè)離散無記憶信道的 輸入符號集 A＝ {a1， … ， ar}， 輸出符號集 B＝ {b1 ， … ， bs}，信道矩陣為 : ????sjijij pp110)|()...|...()|(12121 ijNiNN xyPxxxyyyPxyP ?????????????????rsrrsspppppppppP...:...::......212222111211則此無記憶信道的 N次擴展信道 的數(shù)學(xué)模型如圖所示 : 而 信道矩陣 ： 其中： 1 1 1 1 1 1 1 11 1 2 2 2 1 1 2( . . . ) ( . . . )( . . . ) ( . . . )( | ): ( . . . ) ( . . . )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h h N k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k iip b a k i r h i s?? ? ?? [例 3] 求二元無記憶對稱 信 道 （ BSC） 的二次擴展信道。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴展信道的輸入符號集為 A＝ {00， 01， 10， 11}， 共有22＝ 4個符號 ， 輸出符號集為 B＝ {00， 01， 10， 11}。 由于是 無記憶信道 ，可 求得 二次擴展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )P P P P pP P P P p pP P P P p pP P P P p????????? ? ?? ? ?? ? ?? ? ? 根據(jù)平均互信息的定義，可得 無記憶信道的 N次擴展信道的平均互信息 ： )。()。( NN YXIYXI ?)/()( NNN YXHXH ??)/()( NNN XYHYH ??若信道的輸入隨機序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機序列為 Y＝ (Y1Y2…Y N)。 假若信道是無記憶的 ，即信道傳遞概率滿足： 則有： 式中 Xi Yi是對應(yīng)第 i 位的隨機變量。 若信源是無記憶的，則等式成立。 ???Niii xyPP1)/()/( xy???Niii YXIYXI1)。()。( 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔?，使得后面?zhèn)魉偷姆柕幕バ畔p少 若信道的輸入隨機序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機序列為 Y＝ (Y1Y2…Y N)。 假若信源是無記憶的 ，則有： ),(),(1iiNiYXII ???YX),(),(),(1YXNIYXII iiNi?? ??YX其中 Xi和 Yi是隨機序列 X和 Y中的第 i 位隨機變量。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔?，使得前面?zhèn)魉偷姆柕幕バ畔⒃黾印? 若 信道和信源都是無記憶的 ，則： 熵之間的相互關(guān)系 H(XY) = H(X) + H(Y|X) H(XY) = H(Y) + H(X|Y) H(X) = H(X|Y) H(Y) = H(Y|X) H(XY) = H(X) + H(Y) ? 熵的意義（對通信系統(tǒng)） ? H(X)： 表示信源中每個符號的平均信息量（ 信源熵 ）。 ? H(Y)： 表示信宿中每個符號的平均信息量（ 信宿熵 ）。 ? H(X|Y)： 表示在輸出端接收到 Y的全部符號后，發(fā)送端 X尚存的平均不確定性。這個對 X尚存的不確定性是由于干擾引起的。 信道疑義度 (損失熵 ， 含糊度 ) ? H(Y|X)： 表示在已知 X的全部符號后，對于輸出 Y尚存的平均不確定性。 信道散布度 (噪聲熵 ) ? H(XY)： 表示整個信息傳輸系統(tǒng)的平均不確定性（ 聯(lián)合熵） 。 )61l o g6131l o g3121l o g21( ????解：信源 X的熵為： [例 ]：有兩個同時輸出的信源 X和 Y，其中 X的信源符號為 {A，B， C}， Y的信源符號為 {D， E， F， G}，已知 P(X)和 P（ Y/X），求聯(lián)合信源的聯(lián)合熵和條件熵。 X A B C P(x) 1/2 1/3 1/6 P(y/x) D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 ( ) ( ) l o g ( )XH X P X P X?? ?)/( Sy m bolB i t?信源 XY輸出每一對消息的聯(lián)合概率為： P(XY) = P(Y/X)P(X) ，結(jié)果如下表： P(xy) X A B C Y D 1/8 1/10 1/36 E 1/8 1/15 1/12 F 1/8 1/15 1/36 G 1/8 1/10 1/36 ( / ) ( ) l og ( / )1 1 1 3 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 4 10 10 15 5 12 2 36 6( / )XYH Y X P XY P Y XBit Sy m bol??? ? ? ? ? ????( ) ( ) l og ( )1 1 1 1 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 8 10 10 15 15 12 12 36 36 ( / )XYH XY P XY P XYbit Sy m bols??? ? ? ? ? ????聯(lián)合信源的聯(lián)合熵： 信源 Y的條件熵： 信道散布度 (噪聲熵 ) 360916161103314121)/()()/()()/()()/()()(??????????? ? CDPCPBDPBPADPAPxDPxPDPX? 從上述結(jié)果可得： ? H(XY)=H(X)+H(Y/X) =+=(bit/每對符號 ) 當(dāng)兩個信源統(tǒng)計獨立時， H(XY)=H(X)+H(Y)，為最大。 ? 對第二個信源 Y，其熵 H(Y)的計算。由全概率公式： 因此： 1 2 03312115181)( ????EP3 6 07936115181)( ????FP3 6 09136110181)( ????GP)3 6 091l o g3 6 0913 6 079l o g3 6 0791 2 033l o g1 2 0333 6 091l o g3 6 091( ?????( ) ( ) l o g ( )YH Y P Y P Y?? ?)/( Sy m bolB i t?m a x ( ) ( ) ( ) 1 .4 6 1 1 .9 9 7 3 .4 5 8 ( / y m b o l s )H X Y H X H Y B it S? ? ? ? ?? 聯(lián)合熵的最大值為： m a x ( ) ( ) 3 .4 5 8 3 .4 1 7 0 .0 4 1 ( / y m b o l s )H H X Y H X Y B it S? ? ? ? ? ?由于信源相關(guān)，使聯(lián)合熵減小，其減小量為：