【正文】 ? ? ?1pp?? 這一項(xiàng)是固定 X＝ x 時(shí)對(duì) Y求和，即對(duì)信道矩陣的行求和。,39。()([m a x2121)(sy mb o lb i tpppHspppHYHCssxP??????YX xypxypxpXYH )|( 1l o g)|()()|( ＝)/()( xXYHxpX??＝???Y xypxypxXYH )|( 1l o g)|()|()]39。 只有當(dāng)信道的輸入符號(hào)是等概率分布時(shí)才能達(dá)到這個(gè)最大值。 ) m a x ( 。 ? 幅度連續(xù)的單個(gè)符號(hào)信源熵 補(bǔ)充：連續(xù)信源的熵與互信息 xdxxpxdxxpxpXHXHxxpxxpxpxpXHxxpdxxpxpxiaxiaxnabxbaxnbaiXnbaiXiXnnniiXiXniiinxiaxiaiXXii???????????????????????????????????????????????l o gl i m)(l o gl i m)(l o g)()(l i m)()(l o g)()(l o g)()()()()(],)1([,/)(],[11)1(baiXiX) d x(x) l o g p(xp利用中值定理可得令)/()(),()()()/()()。()。 nisi PP ??? 當(dāng)常數(shù) ?＜ Pni時(shí)，此信道 (或此時(shí)刻信號(hào)分量 )不分配能量，使不傳送任何信息， 當(dāng) ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Psi+Pni= ? ，這樣得到的信道容量為最大。 ? ? 若提高信號(hào)的總平均功率，可使有些信道相應(yīng)的輸入信號(hào)也分配到一些能量。 香農(nóng)公式的物理意義為：當(dāng)信道容量一定時(shí)，增大信道的帶寬，可以降低對(duì)信噪功率比的要求；反之，當(dāng)信道頻帶較窄時(shí)，可以通過提高信噪功率比來補(bǔ)償。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計(jì)算可得 電話信通的信道容量 為 22022比特／秒。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。當(dāng)達(dá)到信道容量時(shí)，我們稱 信源與信道達(dá)到匹配 ，否則認(rèn)為信道有剩余。 信道剩余度 可以用來衡量信道利用率的高低。 ? 對(duì)于無損信道，可以通過信源編碼減少信源的剩余度，使信息傳輸率達(dá)到信道容量。 對(duì) 二元離散信道的信道容量 為： C＝ 1(比特／信道符號(hào) ) 對(duì)本信源的信息熵為 H(X)＝ (比特／信源符號(hào) ) 要使信源在此二元信道中傳輸，必須對(duì) X進(jìn)行二元編碼： 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xPX? ? ? ??? ? ? ?? ? ? ?因此， 必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。即在保證信息傳輸率低于 (直至無限接近 )信道容量的前提下，錯(cuò)誤概率趨于 “ 0”的編碼是存在的。 我們將在第六章介紹信道編碼的典型編碼方法。編碼技術(shù)研究人員在該理論指導(dǎo)下致力于研究實(shí)際信道中各種易于實(shí)現(xiàn)的具體編碼方法。反之，當(dāng) RC時(shí)，任何編碼的 必大于零，當(dāng) 時(shí)， 。 注： 信道容量 C和輸入信號(hào)的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。而 I(X。( YXIC ?相對(duì)信道剩余度 = C YXIC )。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時(shí)才能實(shí)現(xiàn)。因?yàn)樵趯?shí)際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計(jì)算的值要小。 [例 6． 4] 在電話信道中常允許多路復(fù)用。這是多維無記憶高斯加性信道，其信道容量為： 211 l o g 12Lii iPC???????????0 = lo g (1 )sPWT NW? 這是重要的 香農(nóng)公式 。 [例 6] 設(shè)在各單元時(shí)刻上，噪聲是均值為零，方差為 Pni 的高斯加性噪聲。(m a x)( YXIC xp?(比特／ N個(gè)自由度 ) 加性信道 輸入信號(hào)序列 {X1X2…X N} 輸出信號(hào)序列 {Y1Y2…Y N} 高斯噪聲 {n1n2…n N} X1 Y1=X1 +n1 n1 XN YN=XN +nN nN 上式同樣也是 N個(gè)獨(dú)立、并聯(lián)組合高斯加性信道的信道容量。()/()(),()/(l o g),()/(),(l o g),(),()(l o g)()(,XYHYHYXHYHXHYXHXHXYIYXIXYHXHYXHd x d yxypyxpXYHd x d yyxpyxpYXHdxxpxpXHccccccccccYYXcYXYXcXXc????????????????????????????互信息條件熵聯(lián)合熵相對(duì)熵? 波形信源熵 )/(l i m))(/)(()(l i m))(()(l o g)()()(l o g)(),()(,21XYXyxy / xyx,Y / XxxxXYXcLccLcYYXcXXLccHtxtyHHtxHLddppHdppXXXHH?????????????????????隨機(jī)波形信源取條件熵相對(duì)熵和平穩(wěn)隨機(jī)矢量?? 最大熵定理 具有最大熵當(dāng)它是均勻分布時(shí)變量對(duì)于定義域有限的隨機(jī)限峰功率最大熵定理，X ，:)(1l o g]1)()()[(l o g)(1l o g)()(l o g)()(l o g)()()()(1l o g)()(l o g)())(,(1211212121211111111111iiNiNbabaiiNiNbabaNbabaNbabaNbabacabdxdxdxxpxqxpeabdxdxdxxpxqxpdxdxdxxqxpdxdxdxxqxqxpxpdxdxdxxpxpxpxHNNNNNNNNNN????????????????????? ?? ?? ?? ?? ???????????? 最大熵定理 ? 限平均功率最大熵定理：對(duì)于相關(guān)矩陣一定隨機(jī)變量X，當(dāng)它是正態(tài)分布時(shí)具有最大熵 )2l o g (212l o g2l o g2l o g)(2)(l o g2l o g)(]2l o g)2)(e x p () [ l o g(]21l o g [)()(21)(222222222222)(22)(22222????????????????????eeedxxpmxedxxpdxmxxpdxexpXHexpmxcmx?????????????????????????????????????一、連續(xù)單符號(hào)加性高斯噪聲信道的信道容量 ? 設(shè)信道迭加的噪聲 n是均值為零，方差為 ? 2 的一維高斯噪聲，則噪聲信源的熵為： 22lo g)( ?? enh ?? 如果信道輸出信號(hào) Y的平均功率限制在 Po以下，由前知，當(dāng) Y是均值為零的高斯變量時(shí)，其熵 h(Y)為最大。 ) iNPXNiiPXiNiiPXiNiiC I X YI X YI X YC??????????3． 5 連續(xù)信道的信道容量 在連續(xù)信源的情況下，如果取兩個(gè)相對(duì)熵之差，則連續(xù)信源具有與離散信源一致的信息特征，而互信息就是兩個(gè)熵的差值，類似于離散信道，可定義互信息的最大值為信道容量。 解： s=4, r=2 ???????