【正文】 我們將在第六章介紹信道編碼的典型編碼方法。 雖然定理設(shè)有具體說明如何構(gòu)造這種碼，但它對信道編碼技術(shù)與實(shí)踐仍然具有根本性的指導(dǎo)意義。 對于連續(xù)信道，有類似的結(jié)論。反之，當(dāng) RC時，任何編碼的 必大于零，當(dāng) 時， 。 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xpX? ? ? ??? ? ? ?? ? ? ?1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC對 二元離散信道的信道容量 為： C＝ 1(比特／信道符號 ) 對本信源的信息熵為 H(X)＝ (比特／信源符號 ) 要使信源在此二元信道中傳輸，必須對信源 X進(jìn)行二元編碼（例如）： 因此， 必須通過合適的編碼 ，使信道的信息傳輸率接近或等于信道容量。 注意： 信道容量 C和輸入信號的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。 ? 對于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達(dá)到信道容量。而 I(X。(?信道剩余度 可以用來衡量信道利用率的高低。( YXIC ?表示信道的實(shí)際傳信率和信道容量之差。 ? 當(dāng)達(dá)到信道容量時，我們稱 信源與信道達(dá)到匹配 ，否則認(rèn)為信道有剩余。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量 . ? 由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實(shí)現(xiàn)。 香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。 ③ 用時間換取信噪比 弱信號累積接收基于這一原理。下面舉例說明： ① 用頻帶換取信噪比 (這是擴(kuò)頻通信的原理 ) 模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強(qiáng)。 香農(nóng)公式可適用于其他一般非高斯波形信道 ，由香農(nóng)公式得到的值 是非高斯波形信道的信道容量的下限值 。因?yàn)樵趯?shí)際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計(jì)算的值要小。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計(jì)算可得 電話信道的信道容量 為 22k比特／秒。 el o gel o gel o g)1l n (202020NPWNPWWNPWCWW????????[例 ] 在電話信道中常允許多路復(fù)用。 根據(jù)信道編碼定理，只要我們通信系統(tǒng)的信息傳輸率 R不大于 C，就有辦法實(shí)現(xiàn)可靠通信。 第 3章 信道容量和編碼 Enjoy Science 這說明，在帶寬很大的情況下， 信噪比 這是個小數(shù)，說明信號功率小于噪聲功率。 解 通信系統(tǒng)的平均互信息就是信道的信息傳輸率 R，它表示信道傳輸數(shù)據(jù)的比特率。加性高斯信道的信道容量 平均功率受限的信源最大熵是在高斯分布時出現(xiàn)。 (比特／ 10個自由度 ) 44111 2 3 4411l o g 1 l o g221l o g21 0 .5l o g 2 .3 52 0 .1 0 .2 0 .3 0 .4iii ni nin n n nPCPPP P P P?? ? ? ???? ? ? ?? ? ?? ? ? ?? ? ? ????? ? ???信道容量： 若提高信號的總平均功率，使： 功率分配為 ： P1 =， P2 = ， P3 = ， P4 =， P5 =， P6 = ， P7 = ， P8 = . . .l o g21l o g21l o g2188765432181??????????????? ?? nnnnnnnni ni PPPPPPPPPC?????????(比特／ 10個自由度 ) 信道容量： ? ?111 3 0 .1 0 .2 ... 1 .0 0 .8 51 0 1 0LniiPP????? ? ? ? ? ? ? ????? ?13 ( )L iiPW???比較得最后兩個信道應(yīng)排除，令： P9 =0 ， P10 =0 ? ? .. . ???????三、限頻限時限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為 W，在這種波形信道中，信號滿足限頻、限時、限功率的條件，可通過取樣將輸入和輸出信號轉(zhuǎn)化為 L維的隨機(jī)序列： 12( , , . . . , )Lx x x x? 12( , , ..., )Ly y y y?和 y x n??而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有： 2L WT?按照采樣定理，在 [0,T]范圍內(nèi)要求： 這種信道叫高斯白噪聲加性信道，是一種假設(shè)的波形信道。 1011( )iiPW???? ?10111011 0 .1 0 .2 .. . 1 .0100 .6 5niiPP??????????? ? ? ? ???(1)由常數(shù) ?的約束條件，得： 解： 比較后得最后四個信道應(yīng)排除，即令： P7 =0， P8 =0 ， P9 =0 ， P10 =0 Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） (2) 再計(jì)算常數(shù) ?（此時可用信道為 6個） ，得： ? ?6111 1 0 . 1 0 . 2 . . . 0 . 6 0 . 5 1 766 niiPP? ???? ? ? ? ? ? ? ????? ?比較得： P6 = ，第六個信道也應(yīng)排除，令： P6 =0 (3) 再計(jì)算常數(shù) ?（此時可用信道為 ５個） ，得： ? ?5111 1 0 . 1 0 . 2 . . . 0 . 5 0 . 555 niiPP? ???? ? ? ? ? ? ? ????? ?可見，第五個信道也應(yīng)排除，令： P5 =0 (4) 再計(jì)算常數(shù) ?（此時可用信道為 4個） ，得 ? ?4111 1 0. 1 0. 2 ... 0. 4 0. 544 niiPP? ???? ? ? ? ? ? ? ????? ?所以，功率分配為 ： P1 =， P2 = ， P3 = ， P4 = 本例結(jié)果表明， 噪聲分量功率小的信道分配得到的相應(yīng)信號分量功率要大一些， 那些噪聲太大的信道就不去用它，可使總的信道容量最大。 [例 ] 設(shè)在各單元時刻上，噪聲是均值為零，方差為 Pni 的高斯加性噪聲。 水平面的高度為 ? ， 當(dāng) Pni ＞ ?的單元內(nèi)沒有水； Pni越小的單元內(nèi)水就越多， 當(dāng)總能量 P增加，水面 (?)抬高，圖中第三單元也可能流入水。 i niPP???這一結(jié)論可以形象地解釋為容器中水流動的情況。 i niPP??? 當(dāng)常數(shù) ?＜ Pni時，此信道 (或此時刻信號分量 )不分配能量，使不傳送任何信息， 當(dāng) ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Pi+Pni= ? ，這樣得到的信道容量為最大。 )pC I X Y??? ??x(比特／Ｌ個自由度 ) 加性信道 輸入信號序列 {X1X2…X Ｌ } 輸出信號序列 {Y1Y2…Y Ｌ } 高斯噪聲 {n1n2…n Ｌ } X1 Y1=X1 +n1 n1 XＬ YＬ =XＬ +nＬ nＬ 上式同樣也是 Ｌ 個獨(dú)立、并聯(lián)組合高斯加性信道的信道容量。 ) ( 。 ?非高斯噪聲信道的信道容量要大于高斯噪聲信道的信道容量，所以在實(shí)際中，我們常常采用計(jì)算高斯噪聲信道容量的方法來保守地 估計(jì)信道容量 ，這樣做同時還可以帶來信道容量的計(jì)算比較容易的好處。 ? 因此，得 平均功率受限高斯加性信道 的信道容量 (每個自由度 )為： 2020 l o g212l o g2l o g????PeePC ???如果信道加入信道的噪聲是加性高斯噪聲，則輸出 Y、 信道噪聲的概率密度函數(shù)為： 0( ) ( 0 , )p y N P?2( ) (0 , )p n N????? Y X n?? ( ) (0 , )p x N S?即： 20PS? ? ?因此，當(dāng)信道的輸入 X是均值為 “ 0”、方差為 “ Ｓ ” 的高斯分布時， 平均功率受限高斯加性信道 的信息傳輸率達(dá)到最大值： 202211l og l og22P SC ??????211l o g ( 1 ) l o g ( 1 )22 nSSP?? ? ? ?其中Ｓ是輸入信號 X的平均功率， Pn=? 2 是高斯噪聲的平均功率 ?在實(shí)際中，天電干擾、工業(yè)干擾和其它脈沖干擾都屬于加性干擾，它們是非高斯型分布。 ) m a x [ ( ) ( / ) ]p X p XC I X Y h Y h Y X? ? ?由于條件熵 h(Y/X) (即噪聲熵 )是由信道的噪聲引起的不確定性，因而條件熵等于噪聲信源 h(n)的熵。 ) ( ) ( / ) ( ) ( / ) ( ) ( ) ( )I X Y h X h X Y h Y h Y Xh X h Y h X Y? ? ? ?? ? ?( 。 因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達(dá)式。 ) iNpXNiipXiNiipXiNiiC I X YI X YI X YC??????????由于輸入序列中的各分量是在同一信道中傳輸?shù)? 一般情況下 ，消息序列在離散無記憶的 N次擴(kuò)展信道中傳輸?shù)男畔⒘浚? I（ X。 ) m a x ( 。 [例 5] 某對稱離散信道的信道矩陣如下，求其信道容量。()/( 21 spppHxXYH ??? 當(dāng) p(x)等概分布時，達(dá)到 信道容量 ． 在這個信道中，每個符號平均能夠傳輸?shù)淖畲笮畔椤? . .. ,39。, . . . , 39。)l o g ( 39。, 39。, . . . , 39。Y)=H(Y)H(Y/X) 1 2 1 2( ) ( )12m a x [ ( ) ( 39。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項(xiàng)是固定 X＝ x 時對 Y求和，即對信道矩陣的行求和。 三、對稱離散信道的信道容量 例如： ????????????????????????????2161313121616131213131616161613131