【正文】 og)(1l og)/()()。(ijijiiji xpyxpyxpxpyxIxIyxI ?????即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是 收信者獲得的信息量 對于無干擾信道， I(xi 。 yj) = I(xi)； 對于全損信道， I(xi 。 yj) = 0； 二、平均互信息 )()|(l o g)()。()()。(ijij ijijij iji xpyxpyxpyxIyxpYXI ? ?? ? ??平均互信息 I(X。 Y)： I(xi 。 yj)的 統(tǒng)計平均。 ?它代表接收到符號集 Y后平均每個符號獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。 關(guān)于平均互信息 I(X。Y) 互信息 I(x 。 y) 代表收到某消息 y后獲得關(guān)于某事件 x的信息量。 它可取正值，也可取負值。 若互信息 I(x 。 y)0，說明在未收到信息量 y以前對消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對 x是否出現(xiàn)的不確定程度增加了。 I(X。Y)是 I (x 。 y)的統(tǒng)計平均 ，所以 I(X。Y) = 0。 若 I(X。Y) = 0， 表示 在 信道 輸出端接收到輸出符號 Y后不獲得任何關(guān)于 輸 入符號 X的信息量 全損信道 。 I(X。Y) = H(X) H(X|Y) I(X。Y) = H(Y) H(Y|X) I(X。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類熵的關(guān)系 )(1l o g)()(。)(1l o g)()(ypypYHxpxpXH YX ?? ＝＝)|(1l o g)()|(。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝平均互信息與各類熵之間關(guān)系的集合圖 （ 維拉圖 ） 表示： H(X|Y) = H(X) I(X。Y) H(Y|X) = H(Y) I(X。Y) H(XY) = H(X)+H(Y) I(X。Y) H(X) H(Y) H(X/Y) H(Y/X) I(X。Y) H(XY) 圖中，左邊的圓代表隨機變量 X的熵，右邊的圓代表隨機變量 Y的熵，兩個圓重疊部分是平均互信息I(X。Y)。每個圓減去I(X。Y)后剩余的部分代表兩個疑義度。 ? 兩種特殊信道 （ 1）、離散無干擾信道 ( 無損信道 ) ? 信道的輸入和輸出一一對應(yīng)，信息無損失地傳輸，稱為 無損信道 。 ? H(X|Y) = H(Y|X) = 0 [損失熵和噪聲熵都為“ 0” ] ? 由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息 : I(X。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計獨立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。Y) = 0 [I(X。Y) = H(X) H(X|Y)] ? 信道的輸入和輸出沒有 依賴 關(guān)系，信息無法傳輸，稱為 全損信道 。 ? 接收到 Y后不可能消除有關(guān)輸入端 X的任何不確定性，所以獲得的信息量等于零。同樣，也不能從 X中獲得任何關(guān)于 Y的信息量。 ? 平均互信息 I(X。Y)等于零，表明了 信道兩端隨機變量的統(tǒng)計約束程度等于零 。 ??????YyXxyPxyp )()|(??????YyXxxPyxp )()|(二種極限信道各類熵與平均互信息之間的關(guān)系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。Y)=H(X)=H(Y) 無損信道：完全重迭 全損信道：完全獨立 無損信道： 全損信道： 三、平均互信息的性質(zhì) 平均互信息 I(X。Y) 具有以下特性： （ 1）非負性 即 I(X。Y) = 0 當(dāng) X、 Y統(tǒng)計獨立時等式成立。 （ 2）極值性 即 I(X。Y) = H(X) 當(dāng) H(X/Y)=0 時，即信道中傳輸信息無損時，等式成立。 （ 3）交互性（對稱性） 即 I(X。Y) = I(Y。X) 當(dāng) X、 Y統(tǒng)計獨立時 I(X。Y) = I(Y。X)=0 當(dāng)信道無干擾時 I(X。Y) = I(Y。X)=H(X)=H(Y) （ 4）凸?fàn)钚? 所以， 平均互信息 I(X。Y)只是信源 X的概率分布 P(x)和信道的傳遞概率 P(y/x)的函數(shù)， 即： I(X。Y) = f [P(x), P(y|x)] ,( | ) ( | )( 。 ) ( 。 ) ( ) l o g ( ) ( | ) l o g( ) ( )( ) ( ) ( | )X Y X YXP y x P y xI X Y I Y X P x y P x P y xP y P yP y P x P y x? ? ?????其中：? 平均互信息 I(X。Y)是輸入信源的概率分布 P(x)的∩ 型凸函數(shù)。 ? （ 1） 對固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。 ? （ 2） 對于每一個固定信道，一定存在有一種信源 (某一種概率分布 P(x))，使輸出端獲得的平均信息量為最大。 ? 平均互信息 I(X。Y)是信道傳遞的概率 P(y/x)的 ∪型凸函數(shù)。 ? 當(dāng) 信源固定 后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關(guān)于信源的信息量是不同的。 ? 對每一種信源都存在一種最差的信道，此時干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 離散無記憶信道的擴展 信道 離散無記憶信道 ( DMC， Discrete Memoryless Channel) ，其 傳遞概率滿足 ： 仍可用 [X， P( y / x )， Y] 概率空間來描述。 設(shè)離散無記憶信道的 輸入符號集 A＝ {a1， … ， ar}， 輸出符號集 B＝ {b1 ， … ， bs}，信道矩陣為 : ????sjijij pp110)|()...|...()|(12121 ijNiNN xyPxxxyyyPxyP ?????????????????rsrrsspppppppppP. . .:. . .::. . .. . .212222111211則此無記憶信道的 N次擴展信道 的數(shù)學(xué)模型如圖所示 : 而 信道矩陣 ： 其中： 1 1 1 1 1 1 1 11 1 2 2 2 1 1 2( ... ) ( ... )( ... ) ( ... )( | ): ( ... ) ( ... )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h h N k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k