【正文】 信道接收端接收到輸出符號(hào) bj后 ， 關(guān)于輸入符號(hào)的信息測(cè)度 。 這個(gè)不確定性是由于干擾 (噪聲 )引起的。 條件熵小于無條件熵，即 H(X/Y) ? H(X)。 互信息量 I(xi 。(ijijiiji xpyxpyxpxpyxIxIyxI ?????即：互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是 收信者獲得的信息量 對(duì)于無干擾信道， I(xi 。 yj) = 0； 二、平均互信息 )()|(l o g)()。(ijij ijijij iji xpyxpyxpyxIyxpYXI ? ?? ? ??平均互信息 I(X。 yj)的 統(tǒng)計(jì)平均。Y)=H(X)H(X/Y)為 X和 Y之間的 平均互信息 。 )()|(lo g)。Y) ? 互信息 I(x 。 它可取正值，也可取負(fù)值。 y)0，說明在未收到信息量 y以前對(duì)消息 x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對(duì) x是否出現(xiàn)的不確定程度增加了。Y)是 I (x 。Y) = 0。Y) = 0， 表示 在 信道 輸出端接收到輸出符號(hào) Y后不獲得任何關(guān)于 輸 入符號(hào) X的信息量 全損信道 。 I(X。Y) = H(Y) H(Y|X) I(X。)(1l o g)()(ypypYHxpxpXH YX ?? ＝＝)|(1l o g)()|(。 ( 。 ) ( | )( ) l o g ()YijXp x yp x yEyxI px??? ?? ? ?)|(1l og)()(1l og)(, yxpxypxpxpYXX?? ?＝,( | )( ) l o g()XYp y xp x ypy? ?( ) ( )Yp x y p x??( ) ( ) ( / ) ( ) ( / )p x y p x p y xp y p x y??( ) ( | )H X H X Y??平均互信息與各類熵之間關(guān)系的說明 ? I(X。Y)，等于接收到輸出 Y的前、后關(guān)于 X的平均不確定性的消除 。Y) = H(Y) H(Y|X) ：平均互信息 I(X。 ?熵只是平均不確定性的描述 ， I(X。 ?平均互信息量 I(X。 平均互信息與各類熵之間關(guān)系的集合圖 （ 維拉圖 ） 表示： H(X|Y) = H(X) I(X。Y) H(XY) = H(X)+H(Y) I(X。Y)表示警察從對(duì)話中了解案件的情況。 如果 I(X。 信道疑義度（損失熵） 噪聲熵 (或散布度 ) ? 兩種特殊信道 （ 1）、離散無干擾信道 (無噪無損信道 ) ? 信道的輸入和輸出一一對(duì)應(yīng)，信息無損失地傳輸， 無噪無損信道 。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨(dú)立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計(jì)獨(dú)立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。Y) = H(X) H(X|Y)] ? 信道的輸入和輸出沒有 依賴 關(guān)系，信息無法傳輸，所以稱為 全損信道 。同樣，也不能從 X中獲得任何關(guān)于 Y的信息量。Y)等于零，表明了 信道兩端隨機(jī)變量的統(tǒng)計(jì)約束程度等于零 。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。Y) 具有以下特性： （ 1）非負(fù)性 即 I(X。 證明：利用詹森不等式 ( 。 ) 0I X Y?? （ 2）極值性 即 I(X。 )()/()()。Y) = I(Y。Y) = I(Y。Y)=I(Y。 ) ( ) l o g()() ( ) l o g( ) ( )( / ) ( ) l o g ( 。Y)只是信源 X的概率分布 p(x)和信道的傳遞概率 p(y/x)的函數(shù)， 即： I(X。Y)是輸入信源的概率分布 p(x)的 ∩ 型凸函數(shù)。Y)是信道傳遞的概率 p(y/x)的 ∪ 型凸函數(shù)。()。Y) = H(Y) H(Y/X) X 1－ p Y 0 0 1－ p 1 1 p p 1 ( ) ( ) ( / ) l og( / )XYH Y p x p y x p y x?? ??11 ( ) ( ) l og l ogXH Y p x p ppp??? ? ??????)()( 1l o g1l o g)( pHYHppppYH ???????????1 ( ) ( ) l og( / )XYH Y p x y p y x?? ????????????????? 110)( xpX同時(shí)，根據(jù)離散無記憶信道的性質(zhì)，可得： 所以： 當(dāng)信道固定時(shí)， I(X。 p ( y 0 ) ( 0 ) ( 0 / 0 ) ( 1 ) ( 0 / 1 ) ( 1 ) p x p y x p x p y xp p p p? ? ? ?? ? ? ? ? ? ? ? ?? ? ? ? ? p ( y 1 ) ( 1 ) p p p p? ? ? ?? ? ? ? ? ?)/()(Y)I ( X 。 ( )H p p???p)p(1lo gp)p( ???? ??? 本例中 I(X。Y) 是 信道概率 p 的 ∪ 型凸函數(shù)。Y)是輸入信源的概率分布 p(x)的 ∩ 型凸函數(shù)。 ? （ 2） 對(duì)于每一個(gè)固定信道，一定存在有一種 最佳 的信源 (某一種概率分布 p(x))，使輸出端獲得的平均信息量為最大。Y)是信道傳遞的概率 p(y/x)的 ∪ 型凸函數(shù)。 ? 對(duì)每一種信源都存在一種 最差 的信道，此時(shí)干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 設(shè)離散無記憶信道的 輸入符號(hào)集 A＝ {a1， … ， ar}， 輸出符號(hào)集 B＝ {b1 ， … ， bs}，信道矩陣為 : ????sjijij pp1101 2 1 21( | ) ( . . . | . . . ) ( | )NN N j iip y x p y y y x x x p y x??? ??????????????rsrrsspppppppppP. . .:. . .::. . .. . .212222111211則此無記憶信道的 N次擴(kuò)展信道 的數(shù)學(xué)模型如圖所示 : 而 信道矩陣 ： 其中： 1 1 1 1 1 1 1 11 1 2 2 2 1 1 2( ... ) ( ... )( ... ) ( ... )( | ): ( ... ) ( ... )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h h N k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k iip b a k i r h i s?? ? ?? 11Nskhh????[例 ] 求二元無記憶對(duì)稱 信 道 （ BSC） 的二次擴(kuò)展信道。 由于是 無記憶信道 ，可 求得 二次擴(kuò)展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )p p p p pp p p p p pp p p p p pp p p p p????????? ? ?? ? ?? ? ?? ? ? 按照 平均互信息的定義，可得 無記憶信道的 N次擴(kuò)展信道的平均互信息 ： ( 。 )NNI X Y I X Y?)/()( NNN YXHXH ??)/()( NNN XYHYH ???若信道的輸入隨機(jī)序列為 X= (X1X2… XN)，通過信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…YN)。 若信源是無記憶的，則等式成立。 ) ( 。 假若信源是無記憶的 ，則有： 1( , ) ( , )N iiiI I X Y?? ?XY1( , ) ( , ) ( , )N iiiI I X Y N I X Y????XY其中 Xi和 Yi是隨機(jī)序列 X和 Y中的第 i 位隨機(jī)變量。 若 信道和信源都是無記憶的 ，則： ? 研究信道的 目的 是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量 信息傳輸率 R ? 平均互信息 I(X。 ? 所以： R = I(X。Y)是輸入隨機(jī)變量的 ∩型凸函數(shù) ，所以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。({m a x)( YXIC XP? （比特 /符號(hào)） tCCt?(bit/s) Ct仍稱為 信道容量 若平均傳輸一個(gè)符號(hào)需要 t 秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 ] 信道容量的計(jì)算 )(1)。 ) m a x [ ( ) ( ) ]1 ( )C I X Y H p p H pHp??? ? ? ???二元對(duì)稱信道， I(X。Y)最大。Y)=H(X)=H(Y) ??????????1000100010( / ) ( / )1j i i jijp b a p a bij???? ???( ) ( )m a x ( ) m a x ( ) l o g l o g ( / )p x p yC H X H Y r s b i t s y m b o l? ? ? ??H(Y/X)=0 H(X/Y)=0 ( , 1, 2 , 3)ij ?有噪無損信道： 接收到符號(hào) Y后，對(duì)X符號(hào)是完全確定的。Y)=H(X) ?????????????????1000000515351000000323