【正文】 我們將在第六章介紹信道編碼的典型編碼方法。編碼技術(shù)研究人員在該理論指導(dǎo)下致力于研究實(shí)際信道中各種易于實(shí)現(xiàn)的具體編碼方法。即在保證信息傳輸率低于 (直至無限接近 )信道容量的前提下，錯誤概率趨于 “ 0”的編碼是存在的。反之，當(dāng) RC時，任何編碼的 必大于零，當(dāng) 時， 。 對 二元離散信道的信道容量 為： C＝ 1(比特／信道符號 ) 對本信源的信息熵為 H(X)＝ (比特／信源符號 ) 要使信源在此二元信道中傳輸，必須對 X進(jìn)行二元編碼： 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xPX? ? ? ??? ? ? ?? ? ? ?因此， 必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。 注： 信道容量 C和輸入信號的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。 ? 對于無損信道，可以通過信源編碼減少信源的剩余度，使信息傳輸率達(dá)到信道容量。而 I(X。 信道剩余度 可以用來衡量信道利用率的高低。( YXIC ?相對信道剩余度 = C YXIC )。當(dāng)達(dá)到信道容量時，我們稱 信源與信道達(dá)到匹配 ，否則認(rèn)為信道有剩余。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實(shí)現(xiàn)。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。因為在實(shí)際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計算的值要小。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計算可得 電話信通的信道容量 為 22022比特／秒。 [例 6． 4] 在電話信道中常允許多路復(fù)用。 香農(nóng)公式的物理意義為：當(dāng)信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補(bǔ)償。這是多維無記憶高斯加性信道，其信道容量為： 211 l o g 12Lii iPC???????????0 = lo g (1 )sPWT NW? 這是重要的 香農(nóng)公式 。 ? ? 若提高信號的總平均功率，可使有些信道相應(yīng)的輸入信號也分配到一些能量。 [例 6] 設(shè)在各單元時刻上，噪聲是均值為零，方差為 Pni 的高斯加性噪聲。 nisi PP ??? 當(dāng)常數(shù) ?＜ Pni時，此信道 (或此時刻信號分量 )不分配能量，使不傳送任何信息， 當(dāng) ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Psi+Pni= ? ，這樣得到的信道容量為最大。(m a x)( YXIC xp?(比特／ N個自由度 ) 加性信道 輸入信號序列 {X1X2…X N} 輸出信號序列 {Y1Y2…Y N} 高斯噪聲 {n1n2…n N} X1 Y1=X1 +n1 n1 XN YN=XN +nN nN 上式同樣也是 N個獨(dú)立、并聯(lián)組合高斯加性信道的信道容量。()。()/()(),()/(l o g),()/(),(l o g),(),()(l o g)()(,XYHYHYXHYHXHYXHXHXYIYXIXYHXHYXHd x d yxypyxpXYHd x d yyxpyxpYXHdxxpxpXHccccccccccYYXcYXYXcXXc????????????????????????????互信息條件熵聯(lián)合熵相對熵? 波形信源熵 )/(l i m))(/)(()(l i m))(()(l o g)()()(l o g)(),()(,21XYXyxy / xyx,Y / XxxxXYXcLccLcYYXcXXLccHtxtyHHtxHLddppHdppXXXHH?????????????????????隨機(jī)波形信源取條件熵相對熵和平穩(wěn)隨機(jī)矢量?? 最大熵定理 具有最大熵當(dāng)它是均勻分布時變量對于定義域有限的隨機(jī)限峰功率最大熵定理，X ，:)(1l o g]1)()()[(l o g)(1l o g)()(l o g)()(l o g)()()()(1l o g)()(l o g)())(,(1211212121211111111111iiNiNbabaiiNiNbabaNbabaNbabaNbabacabdxdxdxxpxqxpeabdxdxdxxpxqxpdxdxdxxqxpdxdxdxxqxqxpxpdxdxdxxpxpxpxHNNNNNNNNNN????????????????????? ?? ?? ?? ?? ???????????? 最大熵定理 ? 限平均功率最大熵定理：對于相關(guān)矩陣一定隨機(jī)變量X，當(dāng)它是正態(tài)分布時具有最大熵 )2l o g (212l o g2l o g2l o g)(2)(l o g2l o g)(]2l o g)2)(e x p () [ l o g(]21l o g [)()(21)(222222222222)(22)(22222????????????????????eeedxxpmxedxxpdxmxxpdxexpXHexpmxcmx?????????????????????????????????????一、連續(xù)單符號加性高斯噪聲信道的信道容量 ? 設(shè)信道迭加的噪聲 n是均值為零，方差為 ? 2 的一維高斯噪聲，則噪聲信源的熵為： 22lo g)( ?? enh ?? 如果信道輸出信號 Y的平均功率限制在 Po以下，由前知，當(dāng) Y是均值為零的高斯變量時，其熵 h(Y)為最大。 ? 幅度連續(xù)的單個符號信源熵 補(bǔ)充：連續(xù)信源的熵與互信息 xdxxpxdxxpxpXHXHxxpxxpxpxpXHxxpdxxpxpxiaxiaxnabxbaxnbaiXnbaiXiXnnniiXiXniiinxiaxiaiXXii???????????????????????????????????????????????l o gl i m)(l o gl i m)(l o g)()(l i m)()(l o g)()(l o g)()()()()(],)1([,/)(],[11)1(baiXiX) d x(x) l o g p(xp利用中值定理可得令)/()(),()()()/()()。 ) iNPXNiiPXiNiiPXiNiiC I X YI X YI X YC??????????3． 5 連續(xù)信道的信道容量 在連續(xù)信源的情況下，如果取兩個相對熵之差，則連續(xù)信源具有與離散信源一致的信息特征，而互信息就是兩個熵的差值，類似于離散信道，可定義互信息的最大值為信道容量。 ) m a x ( 。 解： s=4, r=2 ???????????3131616161613131P四、離散無記憶 N次擴(kuò)展信道的信道容量 一般離散無記憶信道的 N次擴(kuò)展信道 ),(),(1iiNiYXII ???YX 一般情況下 ，消息序列在離散無記憶的 N次擴(kuò)展信道中傳輸?shù)男畔⒘浚? I（ X。 只有當(dāng)信道的輸入符號是等概率分布時才能達(dá)到這個最大值。,39。()([m a