【正文】 () ()Ts rpb papb parspb pa?? ???? ???? ?????? ???? ??????P(3) 根據貝葉斯定律可得后驗概率 : ()( / ) ( ) 0()iji j jjp a bp a b p bpb??1( ) ( / )( 1 , 2 , . . . , 1 , 2 , . . . , )( ) ( / )i j iri j iip a p b ai r j sp a p b a?? ? ??。1( / ) 1 ( 1 , 2 , . . . , )rijip a b j s????表明：在信道輸出端接收到任一符號 bj，一定是輸入符號 a1， a2 ， … ， ar中的某一個送入到信道。 信道疑義度與平均互信息 本節(jié)進一步研究離散單符號信道的數學模型下的信息傳輸問題。 一、信道疑義度 信道輸入信源 X的熵 H(X)是在接收到輸出 Y以前，關于輸入變量 X的先驗不確定性，稱為 先驗熵 。 ? 如果信道中無干擾 (噪聲 )，則信道的輸出符號與輸入符號一一對應，那么，接收到傳送過來的符號后就消除了對發(fā)送符號的先驗不確定性。 ? 但如果信道中有干擾 (噪聲 )存在，接收到符號 Y后對發(fā)送的是什么符號仍存在有不確定性。 11( ) ( ) l o g ( ) l o g ( )()riiX iH X p a p x p xpa?? ? ???接受到 bj后，關于 X的不確定性為 后驗熵在輸出符號集 Y范圍內是個隨機量，對后驗熵在符號集 Y中 求數學期望 ，得條件熵 信道疑義度 ： 這是接收到輸出符號 bj后關于 X的 后驗熵 。 后驗熵是當信道接收端接收到輸出符號 bj后 ， 關于輸入符號的信息測度 。 1( | ) ( | ) l og( | )jjX jH X b p x b p x b? ?1( | ) [ ( / ) ] ( ) ( / )sj j jjH X Y E H X b p b H X b??? ?111( ) ( | ) l o g( | )srj i jji ijp b p a b p a b??? ??,1( ) l o g( | )XY p x y p x y? ? 信道疑義度（含糊度） ：它表示在輸出端收到全部輸出符號 Y集后，對于輸入端的信號集 X尚存在 的不確定性 (存在疑義 )。 這個不確定性是由于干擾 (噪聲 )引起的。 如果是一一對應信道，那么接收到符號 Y后，對 X的不確性完全消除，則信道疑義度 H(X/Y)＝ 0。 條件熵小于無條件熵，即 H(X/Y) ? H(X)。 這說明接收到符號集 Y的所有符號后，關于輸入符號 X的平均不確定性減少了，即 總能 消除一些關于輸入端 X的不確定性，從而 獲得 了一些信息。 互信息量 I(xi 。 yj)：收到消息 yj 后獲得關于 xi的信息量 )()|(l og)|(1l og)(1l og)/()()。(ijijiiji xpyxpyxpxpyxIxIyxI ?????即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是 收信者獲得的信息量 對于無干擾信道， I(xi 。 yj) = I(xi)； 對于全損信道， I(xi 。 yj) = 0； 二、平均互信息 )()|(l o g)()。()()。(ijij ijijij iji xpyxpyxpyxIyxpYXI ? ?? ? ??平均互信息 I(X。 Y)： I(xi 。 yj)的 統(tǒng)計平均。 ?定義 I(X。Y)=H(X)H(X/Y)為 X和 Y之間的 平均互信息 。 ?它代表接收到符號集 Y后平均每個符號獲得的關于 X的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。 )()|(lo g)。(ijiji xpyxpyxI ?關于平均互信息 I(X。Y) ? 互信息 I(x 。 y) 代表收到某消息 y后獲得關于某事件 x的信息量。 它可取正值，也可取負值。 ? 若 I(x 。 y)0，說明在未收到信息量 y以前對消息 x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對 x是否出現(xiàn)的不確定程度增加了。 ? I(X。Y)是 I (x 。 y)的統(tǒng)計平均 ，所以 I(X。Y) = 0。 若 I(X。Y) = 0， 表示 在 信道 輸出端接收到輸出符號 Y后不獲得任何關于 輸 入符號 X的信息量 全損信道 。 信道疑義度（損失熵），信源符號通過有噪信道傳輸后所引起的信息量的損失。 I(X。Y) = H(X) H(X|Y) I(X。Y) = H(Y) H(Y|X) I(X。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類熵的關系 )(1l o g)()(。)(1l o g)()(ypypYHxpxpXH YX ?? ＝＝)|(1l o g)()|(。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝噪聲熵 (或散布度 )，反映了信道中噪聲源的不確定性 。 ( 。 )I X Y,()( ) l o g( ) ( ) ( ) ( ) ( )XYp x yp x yp x p y H X H Y H X Y? ? ?? ?)|(1l og)()(1l og)(, xypxypypxypYXYX?? ??)|(1l og)()(1l og)(, xypxypypypYXY?? ??( ) ( | )H Y H Y X??,( 。 ) ( | )( ) l o g ()YijXp x yp x yEyxI px??? ?? ? ?)|(1l og)()(1l og)(, yxpxypxpxpYXX?? ?＝,( | )( ) l o g()XYp y xp x ypy? ?( ) ( )Yp x y p x??( ) ( ) ( / ) ( ) ( / )p x y p x p y xp y p x y??( ) ( | )H X H X Y??平均互信息與各類熵之間關系的說明 ? I(X。Y) = H(X) H(X|Y)：從 Y中獲得關于 X的平均互信息 I(X。Y)，等于接收到輸出 Y的前、后關于 X的平均不確定性的消除 。 ? I(X。Y) = H(Y) H(Y|X) ：平均互信息 I(X。Y)也等于發(fā)出 X的前、后關于 Y的平均不確定性的消除 。 ?熵只是平均不確定性的描述 ， I(X。Y)才是接收端所獲得的信息量 （ 不確定性的消除 ） 。 ?平均互信息量 I(X。Y) 確定了通過信道的信息量的多少，因此稱它為 信息傳輸率或傳信率 。 平均互信息與各類熵之間關系的集合圖 （ 維拉圖 ） 表示： H(X|Y) = H(X) I(X。Y) H(Y|X) = H(Y) I(X。Y) H(XY) = H(X)+H(Y) I(X。Y) 如果用 X表示案情， Y表示犯人講話，那么， H(X|Y) 表示犯人講話后警察對案件的不解，I(X。Y)表示警察從對話中了解案件的情況。 如果 H(X|Y)=0，說明警察聽了罪犯的講話后完全了解案情。 如果 I(X。Y)=0，說明罪犯的講話對案情毫無幫助。 信道疑義度（損失熵） 噪聲熵 (或散布度 ) ? 兩種特殊信道 （ 1）、離散無干擾信道 (無噪無損信道 ) ? 信道的輸入和輸出一一對應，信息無損失地傳輸， 無噪無損信道 。 ? H(X|Y) = H(Y|X) = 0 [損失熵和噪聲熵都為“ 0” ] ? 由于噪聲熵 /損失熵等于零，因此，輸出端接收的信息就等于平均互信息 : I(X。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計獨立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。Y) = 0 [I(X。Y) = H(X) H(X|Y)] ? 信道的輸入和輸出沒有 依賴 關系，信息無法傳輸，所以稱為 全損信道 。 ? 接收到 Y后不可能消除有關輸入端 X的任何不確定性，所以獲得的信息量等于零。同樣，也不能從 X中獲得任何關于 Y的信息量。 ? 平均互信息 I(X。Y)等于零，表明了 信道兩端隨機變量的統(tǒng)計約束程度等于零 。 ( | ) ( ) xXp y x p y yY??? ? ?? ( | ) ( ) xXp x y p xyY??? ???二種極限信道各類熵與平均互信息之間的關系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。Y)=H(X)=H(Y) 無噪無損信道：完全重迭 全損信道：完全獨立 無噪無損信道： 全損信道： 平均互信息的性質 平均互信息 I(X。Y) 具有以下特性： （ 1）非負性 即 I(X。Y) = 0，當 X、 Y統(tǒng)計獨立時等式成立。 證明：利用詹森不等式 ( 。 )I X Y?,( ) ( ) ( )( ) l o g ( ) l o g( ) ( ) ( )( ) ( )l o g ( ) l o g ( ) ( ) l o g 1 0()X Y X YX Y X Yp x y p x p yp x y p x yp x p y p x yp x p yp x y p x p yp x y? ? ?? ? ? ?????( 。 ) 0I X Y?? （ 2）極值性 即 I(X。Y) = H(X) 當 H(X/Y)=0 時，即信道中傳輸信息無損時，等式成立。 )()/()()。(0)|(XHYXHXHYXIYXH??????（ 3）交互性（對稱性） 即 I(X。Y) = I(Y。X) 當 X、 Y統(tǒng)計獨立時， I(X。Y) = I(Y。X)=0 當信道無干擾時， I(X。Y)=I(Y。X)=H(X)=H(Y) ( / )( 。 ) ( ) l o g()() ( ) l o g( ) ( )( / )