【文章內(nèi)容簡介】 (X。Y)=H(X)H(X/Y)=H(Y)H(Y/X) 證明 ： I(Y。X)≤H(Y) 結(jié)論： ，至多是另一個(gè) 事件的熵那么多，不會超過另一個(gè)事件自身所含的信息量。 2..當(dāng) X和 Y是一一對應(yīng)關(guān)系時(shí)： I(X。Y)=H(X)，這時(shí) H(X/Y)=0。 從一個(gè)事件可以充分獲得關(guān)于另一個(gè)事件的信息，從平均意 義上來說，代表信源的信息量可全部通過信道。 X和 Y相互獨(dú)立時(shí)： H(X/Y) =H(X)， I(Y。X)=0。從一個(gè)事 件不能得到另一個(gè)事件的任何信息，這等效于信道中斷的 情況。 平均互信息量的交互性 I(X； Y)=I(Y； X) I(Y。X)表示從 X中提取關(guān)于的 Y的信息量，實(shí)際上 I(X,Y)和I(Y,X)只是觀察者的立足點(diǎn)不同，對信道的輸入 X和輸出 Y的總體測度的兩種表達(dá)形式 ?證明：根據(jù)互信息量的對稱性 I(xi。yj)= I(yj。xi) 1 1 1 1( 。 ) ( ) ( 。 ) ( ) ( 。 ) ( 。 )n m n mi j i j i j j ii j i jI X Y p x y I x y p x y I y x I Y X? ? ? ????? ? ? ?結(jié)論： 平均互信息的凸?fàn)钚? ? 平均互信息量的數(shù)學(xué)特性 ? 定理 平均互信息 I(X。Y)是信源概率分布 P(X)的 型凸函數(shù) ? 定理 平均互信息 I(X。Y)信道傳遞概率分布 P(Y/X)的 U型凸函數(shù) 平均互信息量的數(shù)學(xué)特性 ? 平均互信息量是 p(xi)和 p(yj /xi)的函數(shù)，即I(X。Y)=f [p(xi), p(yj /xi)]； ? 若固定信道，調(diào)整信源，則平均互信息量I(X。Y)是 p(xi)的函數(shù)，即 I(X。Y)=f [p(xi)]； ? 若固定信源，調(diào)整信道，則平均互信息量I(X。Y)是 p(yj /xi)的函數(shù)，即 I(X。Y)=f [p (yj /xi)]。 1( / )2 ()11( / )2( ) ( / )1111( 。 ) ( ) l og( ) ( / ) l og( ) ( / ) ( ) ( )jijjini j iinmp y xij pyijnmp y xi j ip x p y xijnni j i i j jiiI X Y p x yp x p y xp x p y x p x y p y??????????????????其 中I(X。Y)是 p(xi)的上凸函數(shù) ? ? ?????yx yx ypypxypypypxyp, , 2211 )1)()()(()1()1)()()(( ??0?)()(l og)()()1()()(l og)()(2,2, 11 ypypxypxpypypxypxpyxyx?? ??? ??結(jié)論： 對于一定的信道轉(zhuǎn)移概率分布，總可以找到某一個(gè)先驗(yàn)概率分布 的信源 X，使平均交互信息量達(dá)到相應(yīng)的最大值 Imax，這時(shí)稱這 個(gè)信源為該信道的匹配信源?？梢哉f不同的信道轉(zhuǎn)移概率對應(yīng)不 同的 Imax。 I(X。Y)是 p(yj/xi)的下凸函數(shù) ? 證明過程與上面相同，只是這里是設(shè) p(x)固定， 為兩個(gè)不同的條件概率。 12( | ) ( | )p y x p y x和 對于一個(gè)已知先驗(yàn)概率為批 P(X)的離散信源，總可以找到某一個(gè)轉(zhuǎn)移概率分布的信道，使平均交信息量達(dá)到相應(yīng)的最小值 Imin?？梢哉f不同的信源先驗(yàn)概率對應(yīng)不同的 Imin?；蛘哒f Imin是 P(X)的函數(shù)。即平均交互信息量的最小值是由體現(xiàn)了信源本身的特性。 結(jié)論： 例：對于二元對稱信道 0 1p 0 p p 1 1p 1 如果信源分布 X={w,1w}，則 ( 。 ) ( ) ( / )I X Y H Y H Y X??1( ) ( ) ( / ) l o g( / )XYH Y P x P y x P y x?? ??11( ) ( ) [ l o g l o g ]XH Y P x p ppp? ? ??11( ) [ l o g l o g ] ( ) ( )H Y p p H Y H ppp? ? ? ? ?I(X。Y) w 1/2 1H(P) ( 0)P y p p??? ? ?而： ( 1 )P y p p??? ? ?所以： ( 。 ) ( ) ( )I X Y H p p H p??? ? ? 當(dāng)信道固定時(shí)，平均互信息時(shí)信源分布的 型凸函數(shù)，最大只為 1H(P) 例：對于二元對稱信道 0 1p 0 p p 1 1p 1 如果信源分布 X={w,1w}，則 由此可得 I(X。Y) p 1/2 ( 。 ) ( ) ( )I X Y H p p H p??? ? ?第四節(jié) 信道容量及其一般計(jì)算方法 信息傳輸率 ： R=I(X,Y)=[H(X)H(X/Y)]=[H(Y)H(Y/X)] bit/符號 由定理 ，對于每一個(gè)確定信道，都有一個(gè)信源分布，使得信息傳輸率達(dá)到最大值，我們把這個(gè)最大值稱為該信道的 信道容量 。 C I X Y H X H X YP X P X? ? ?m a x { ( , )} m a x { ( ) ( / )}( ) ( ) 信道容量與信源無關(guān)，它是信道的特征參數(shù)，反應(yīng)的是信道的最大的信息傳輸能力。 對于二元對稱信道，由圖可以看出信道容量等于 1H(P) C R)。( YXI C*)(XP)。( YXI )(XP)/( XYP C)/( XYP(1)信道容量 是信道信息率 的上限，定量描述了信道（信息的）最大通過能力； 達(dá)到最大值（即信道容量 ）的輸入分布，稱為最佳輸入（概率）分布 (3)信道的 與輸入概率分布 和轉(zhuǎn)移概率分布 兩者有關(guān)，但信道容量 是信道的固有參數(shù)，只與信道轉(zhuǎn)移概率 有關(guān)。 (2)使得給定信道的 解釋： )。( YXI)(XP研究信道，其核心問題就是求信道容量和最佳輸入分布。根據(jù) 定義，求信道容量問題就是求平均互信息量 關(guān)于輸入概率分布 一般來說，這是一個(gè)很困難的問題，只有對一些特殊信道， 如無噪信道等，才能得到解析解，對于一般信道，必須借 助于數(shù)值算法。 的最大值問題。 離散無噪信道的信道容量 （ 1）具有一一對應(yīng)關(guān)系的無噪聲信道 x1 y1 x2 y2 x3 y3 此時(shí)由于信道的損失熵和疑義度都等于 0，所以 I(X。Y)=H(X)=H(Y) 根據(jù)信道容量的定義，有 C=logr=logs 表明當(dāng)信源呈等概率分布時(shí)，具有一一對應(yīng)的確定關(guān)系的無噪信道達(dá)到信道容量，其值就是信源 X的最大熵值。這個(gè)結(jié)果還表明，信道容量只決定于信道的輸入符號數(shù) n，與信源無關(guān)，是表征信道特性的一個(gè)參量。 (2)有噪無損信道（具有擴(kuò)展性能的無躁信道） y3 y4 y1 x1 x2 y2 y5 此時(shí)信道疑義度為 0，而信道噪聲熵不為 0，從而 C=max{I(X。Y)}=max{H(X)H(X/Y)}=max{H(X)}=logr 1 / 2 1 / 2 0 0 0 00 0 3 / 5 3 / 10 1 / 10 00 0 0 0 0 1P??????? 可見，信道矩陣中每一列有且只有一個(gè)非零元素時(shí)，這個(gè)信道一定是 有噪無損信道 信道矩陣是： 與一一對應(yīng)信道不同的是，此時(shí)輸入端符號熵小于輸出端符號 熵，即 )()( YHXH ?(3)無噪有損信道（具有歸并性能的無躁信道） x4 x1 x2 x3 x5 y1 y2 此時(shí)信道疑義度不為 0，而信道噪聲熵為 0，從而 C=max{I(X。Y)}=max{H(Y)H(Y/X)}=max{H(Y)}=logs )( ixP)( jyP盡管式中平均互信息 I（ X。Y）等于輸出端符號熵 H(Y)，但是在 求極大值時(shí)，調(diào)整的仍然是輸入端的概率分布 而不能用輸出端的概率分布 來代替。 注意： 綜合以上三種無噪信道的分析，我們得出一個(gè)結(jié)論，無噪 信道的信道容量 C只決定于信道的輸入符號數(shù) n，或輸出符 號數(shù) m，與信源無關(guān)，是表征信道特性的一個(gè)參量。 如果一個(gè)離散信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的，并且每一列也是由這一組元素組成的，則稱為 對稱信道 如： 1 1 1 13 3 6 61 1 1 16 6 3 3P?????????和 1112 3 61116 2 31113 6 2P???????????????????對稱離散信道的信道容量 (1)對稱信道定義 I(X。Y)=H(Y)H(Y/X) 而 1( / ) ( ) ( / ) l o g ( ) ( / )( / )X Y XH Y X P x P y x P x H Y X xP y x? ? ?? ? ?H(Y/X=x)是對矩陣的行求和，而由于對稱信道定義，我們知道，此值是一個(gè)與 x無關(guān)的一個(gè)常數(shù)，即 39。 39。 39。12( / ) ( , .. . )sH Y X x H p p p?? 因此 39。 39。 39。12m a x [ ( ) ( , . . . ) ]sC H Y H p p p?? 可以看出，當(dāng)輸出等概分布時(shí)，即 H(Y)=logs時(shí)信道容量達(dá)到。 （ 2）對稱離散信道的信道容量 可以證明，輸入等概分布時(shí)，輸出也等概分布 1 1 11( ) ( ) ( / ) ( / ).