【正文】 我們將在第六章介紹信道編碼的典型編碼方法。編碼技術研究人員在該理論指導下致力于研究實際信道中各種易于實現(xiàn)的具體編碼方法。即在保證信息傳輸率低于 (直至無限接近 )信道容量的前提下，錯誤概率趨于 “ 0”的編碼是存在的。反之，當 RC時，任何編碼的 必大于零，當 時， 。 對 二元離散信道的信道容量 為： C＝ 1(比特／信道符號 ) 對本信源的信息熵為 H(X)＝ (比特／信源符號 ) 要使信源在此二元信道中傳輸，必須對 X進行二元編碼： 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 1 6 1 / 3 2 1 / 3 2X x x x x x xPX? ? ? ??? ? ? ?? ? ? ?因此， 必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。 注： 信道容量 C和輸入信號的概率分布無關，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關。 ? 對于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達到信道容量。而 I(X。 信道剩余度 可以用來衡量信道利用率的高低。( YXIC ?相對信道剩余度 = C YXIC )。當達到信道容量時，我們稱 信源與信道達到匹配 ，否則認為信道有剩余。我們總希望能使信息傳輸率越大越好，能達到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實現(xiàn)。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。因為在實際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計算的值要小。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計算可得 電話信通的信道容量 為 22022比特／秒。 [例 6． 4] 在電話信道中常允許多路復用。 香農(nóng)公式的物理意義為：當信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求；反之，當信道頻帶較窄時，可以通過提高信噪功率比來補償。這是多維無記憶高斯加性信道，其信道容量為： 211 l o g 12Lii iPC???????????0 = lo g (1 )sPWT NW? 這是重要的 香農(nóng)公式 。 ? ? 若提高信號的總平均功率，可使有些信道相應的輸入信號也分配到一些能量。 [例 6] 設在各單元時刻上，噪聲是均值為零，方差為 Pni 的高斯加性噪聲。 nisi PP ??? 當常數(shù) ?＜ Pni時，此信道 (或此時刻信號分量 )不分配能量，使不傳送任何信息， 當 ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Psi+Pni= ? ，這樣得到的信道容量為最大。(m a x)( YXIC xp?(比特／ N個自由度 ) 加性信道 輸入信號序列 {X1X2…X N} 輸出信號序列 {Y1Y2…Y N} 高斯噪聲 {n1n2…n N} X1 Y1=X1 +n1 n1 XN YN=XN +nN nN 上式同樣也是 N個獨立、并聯(lián)組合高斯加性信道的信道容量。()。 一、連續(xù)單符號加性高斯噪聲信道的信道容量 ? 設信道迭加的噪聲 n是均值為零，方差為 ? 2 的一維高斯噪聲，則噪聲信源的熵為： 22lo g)( ?? enh ?? 如果信道輸出信號 Y的平均功率限制在 Po以下，由前知，當 Y是均值為零的高斯變量時，其熵 h(Y)為最大。 ) iNPXNiiPXiNiiPXiNiiC I X YI X YI X YC??????????3． 5 連續(xù)信道的信道容量 在連續(xù)信源的情況下，如果取兩個相對熵之差，則連續(xù)信源具有與離散信源一致的信息特征，而互信息就是兩個熵的差值，類似于離散信道，可定義互信息的最大值為信道容量。 ) ma x ( 。 解： s=4, r=2 ???????????3131616161613131P四、離散無記憶 N次擴展信道的信道容量 一般離散無記憶信道的 N次擴展信道 ),(),(1iiNiYXII ???YX 一般情況下 ，消息序列在離散無記憶的 N次擴展信道中傳輸?shù)男畔⒘浚? I（ X。 只有當信道的輸入符號是等概率分布時才能達到這個最大值。,39。()([m ax2121)(s y m bolbi tpppHspppHYHCssxP??????YX xypxypxpXYH )|( 1l o g)|()()|( ＝)/()( xXYHxpX??＝???Y xypxypxXYH )|( 1l o g)|()|()]39。,...,39。,39。Y)=H(Y)H(Y/X) )/()39。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項是固定 X＝ x 時對 Y求和，即對信道矩陣的行求和。 這類信道中總的錯誤概率為 p ，對稱地平均分配給 r1個輸出符號。 一般 s≠r。 即接收到符號 Y后不能完全消除對 X的不確定性 ()m a x ( ) l o g ( / )PyC H Y s b i t s y m b o l?? 所謂對稱信道，是指 信道矩陣 P中每一行都是由同一集合{p1’， p2’， … ， ps’}中的諸元素不同排列組成，且每一列也都是由 {q1’， q2’， … ， qr’} 中的諸元素不同排列組成 。Y)=H(X)H(Y) ?????????????????1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項后驗概率為??????baPbaPbaPbaPbaPbaPs y m b olbi trXHC xP /l og)(m a x)( ??無噪有損信道 滿足： I(X。Y)=H(X)=H(Y) ??????????100010001)3,2,1,(10)/()/( ???????? jijijibaPabPjiij)/(l ogl og)(m a x)(m a x )()( s y m bolbi tsrYHXHC yPxP ????有噪無損信道： 接收到符號 Y后，對X符號是完全確定的。Y)最大。 ) m a x [ ( ) ( ) ]1 ( )C I X Y H p p H pHp??? ? ? ???二元對稱信道， I(X。({ma x)( YXIC XP? （比特 /符號） tCCt?(Bit/s) Ct仍稱為 信道容量 若平均傳輸一個符號需要 t 秒鐘，則信道在單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 4] 信道容量的計算 )(1)。Y)是輸入隨機變量的 ∩型凸函數(shù) ，所以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲得的信息量最大。Y) = H(X) – H(X|Y) (比特 /符號 ) 離散信道的信道容量 ? 信道中每秒平均傳輸?shù)男畔⒘?信息 傳輸速率 Rt Rt ＝ R/t = I(X。Y)就是接收到符號 Y