【正文】 。()()。 它可取正值，也可取負(fù)值。Y) = 0， 表示 在 信道 輸出端接收到輸出符號 Y后不獲得任何關(guān)于 輸 入符號 X的信息量 全損信道 。Y) H(XY) = H(X)+H(Y) I(X。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計獨立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。X) 當(dāng) X、 Y統(tǒng)計獨立時 I(X。 ) ( ) l o g ( ) ( | ) l o g( ) ( )( ) ( ) ( | )X Y X YXP y x P y xI X Y I Y X P x y P x P y xP y P yP y P x P y x? ? ?????其中：? 平均互信息 I(X。 離散無記憶信道的擴(kuò)展 信道 離散無記憶信道 ( DMC， Discrete Memoryless Channel) ，其 傳遞概率滿足 ： 仍可用 [X， P( y / x )， Y] 概率空間來描述。 ???Niii xyPP1)/()/( xy???Niii YXIYXI1)。Y) = H(X) – H(X|Y) (比特 /符號 ) 離散信道的信道容量 ? 信道中每秒平均傳輸?shù)男畔⒘?信息 傳輸速率 Rt Rt ＝ R/t = I(X。Y)最大。 一般 s≠r。,39。 只有當(dāng)信道的輸入符號是等概率分布時才能達(dá)到這個最大值。 ? 幅度連續(xù)的單個符號信源熵 補(bǔ)充：連續(xù)信源的熵與互信息 xdxxpxdxxpxpXHXHxxpxxpxpxpXHxxpdxxpxpxiaxiaxnabxbaxnbaiXnbaiXiXnnniiXiXniiinxiaxiaiXXii???????????????????????????????????????????????l o gl i m)(l o gl i m)(l o g)()(l i m)()(l o g)()(l o g)()()()()(],)1([,/)(],[11)1(baiXiX) d x(x) l o g p(xp利用中值定理可得令)/()(),()()()/()()。 nisi PP ??? 當(dāng)常數(shù) ?＜ Pni時，此信道 (或此時刻信號分量 )不分配能量，使不傳送任何信息， 當(dāng) ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Psi+Pni= ? ，這樣得到的信道容量為最大。 香農(nóng)公式的物理意義為：當(dāng)信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補(bǔ)償。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。 信道剩余度 可以用來衡量信道利用率的高低。 對 二元離散信道的信道容量 為： C＝ 1(比特／信道符號 ) 對本信源的信息熵為 H(X)＝ (比特／信源符號 ) 要使信源在此二元信道中傳輸，必須對 X進(jìn)行二元編碼： 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xPX? ? ? ??? ? ? ?? ? ? ?因此， 必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。 我們將在第六章介紹信道編碼的典型編碼方法。反之，當(dāng) RC時，任何編碼的 必大于零，當(dāng) 時， 。而 I(X。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實現(xiàn)。 [例 6． 4] 在電話信道中常允許多路復(fù)用。 [例 6] 設(shè)在各單元時刻上，噪聲是均值為零，方差為 Pni 的高斯加性噪聲。()/()(),()/(l o g),()/(),(l o g),(),()(l o g)()(,XYHYHYXHYHXHYXHXHXYIYXIXYHXHYXHd x d yxypyxpXYHd x d yyxpyxpYXHdxxpxpXHccccccccccYYXcYXYXcXXc????????????????????????????互信息條件熵聯(lián)合熵相對熵? 波形信源熵 )/(l i m))(/)(()(l i m))(()(l o g)()()(l o g)(),()(,21XYXyxy / xyx,Y / XxxxXYXcLccLcYYXcXXLccHtxtyHHtxHLddppHdppXXXHH?????????????????????隨機(jī)波形信源取條件熵相對熵和平穩(wěn)隨機(jī)矢量?? 最大熵定理 具有最大熵當(dāng)它是均勻分布時變量對于定義域有限的隨機(jī)限峰功率最大熵定理，X ，:)(1l o g]1)()()[(l o g)(1l o g)()(l o g)()(l o g)()()()(1l o g)()(l o g)())(,(1211212121211111111111iiNiNbabaiiNiNbabaNbabaNbabaNbabacabdxdxdxxpxqxpeabdxdxdxxpxqxpdxdxdxxqxpdxdxdxxqxqxpxpdxdxdxxpxpxpxHNNNNNNNNNN????????????????????? ?? ?? ?? ?? ???????????? 最大熵定理 ? 限平均功率最大熵定理：對于相關(guān)矩陣一定隨機(jī)變量X，當(dāng)它是正態(tài)分布時具有最大熵 )2l o g (212l o g2l o g2l o g)(2)(l o g2l o g)(]2l o g)2)(e x p () [ l o g(]21l o g [)()(21)(222222222222)(22)(22222????????????????????eeedxxpmxedxxpdxmxxpdxexpXHexpmxcmx?????????????????????????????????????一、連續(xù)單符號加性高斯噪聲信道的信道容量 ? 設(shè)信道迭加的噪聲 n是均值為零，方差為 ? 2 的一維高斯噪聲，則噪聲信源的熵為： 22lo g)( ?? enh ?? 如果信道輸出信號 Y的平均功率限制在 Po以下，由前知，當(dāng) Y是均值為零的高斯變量時，其熵 h(Y)為最大。 解： s=4, r=2 ???????????3131616161613131P四、離散無記憶 N次擴(kuò)展信道的信道容量 一般離散無記憶信道的 N次擴(kuò)展信道 ),(),(1iiNiYXII ???YX 一般情況下 ，消息序列在離散無記憶的 N次擴(kuò)展信道中傳輸?shù)男畔⒘浚? I（ X。, . . . ,39。 這類信道中總的錯誤概率為 p ，對稱地平均分配給 r1個輸