【正文】 =0 當(dāng)信道無干擾時(shí)， I(X。 )()XYXYXYp x yI X Y p x ypxp x yp x yp x p yp y xp x y I Y Xpy??????????（ 4）凸?fàn)钚? ??平均互信息 I(X。 ?I(X。([例 ]設(shè) BSC的輸入概率空間為： 信道如圖： 計(jì)算得平均互信息： I(X。 XYHYH ??)()( pHppH ??? ???????? ????? pppp1l o g1l o g)pp(1l o gp)p(????是 [0， 1]區(qū)域上的熵函數(shù)。 ? 平均互信息 I(X。 ? 平均互信息 I(X。 離散無記憶信道的擴(kuò)展 信道 對(duì)于離散無記憶信道 ，其擴(kuò)展 信道 的 傳遞概率滿足 ： ＤＭＣ用 [X， p( y / x )， Y] 概率空間來描述。 ) ( 。 1( / ) ( / )Niiip p y x?? ?yx1( 。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。Y) = H(X) – H(X|Y) (比特 /符號(hào) ) 離散信道的信道容量 一、 信道容量的定義 由于平均互信息 I(X。(m a x pHYXI ??因此， BSC的信道容量為： m a x ( 。 當(dāng) 12????(比特／符號(hào) ) 離散無噪無損信道 二、簡單離散信道的信道容量 例如： 其信道矩陣是單位矩陣： 滿足： I(X。 這類信道稱為 無噪有損信道 (確定信道 )。 ()39。 具有這種對(duì)稱信道矩陣的信道稱為 對(duì)稱離散信道 。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項(xiàng)是固定 X＝ x 時(shí)對(duì) Y求和，即對(duì)信道矩陣的行求和。, . . . , 39。)l o g ( 39。, . .. ,39。 [例 5] 某對(duì)稱離散信道的信道矩陣如下，求其信道容量。 ) iNpXNiipXiNiipXiNiiC I X YI X YI X YC??????????由于輸入序列中的各分量是在同一信道中傳輸?shù)? 一般情況下 ，消息序列在離散無記憶的 N次擴(kuò)展信道中傳輸?shù)男畔⒘浚? I（ X。 ) ( ) ( / ) ( ) ( / ) ( ) ( ) ( )I X Y h X h X Y h Y h Y Xh X h Y h X Y? ? ? ?? ? ?( 。 ? 因此，得 平均功率受限高斯加性信道 的信道容量 (每個(gè)自由度 )為： 2020 l o g212l o g2l o g????PeePC ???如果信道加入信道的噪聲是加性高斯噪聲，則輸出 Y、 信道噪聲的概率密度函數(shù)為： 0( ) ( 0 , )p y N P?2( ) (0 , )p n N????? Y X n?? ( ) (0 , )p x N S?即： 20PS? ? ?因此，當(dāng)信道的輸入 X是均值為 “ 0”、方差為 “ Ｓ ” 的高斯分布時(shí)， 平均功率受限高斯加性信道 的信息傳輸率達(dá)到最大值： 202211l og l og22P SC ??????211l o g ( 1 ) l o g ( 1 )22 nSSP?? ? ? ?其中Ｓ是輸入信號(hào) X的平均功率， Pn=? 2 是高斯噪聲的平均功率 ?在實(shí)際中，天電干擾、工業(yè)干擾和其它脈沖干擾都屬于加性干擾，它們是非高斯型分布。 ) ( 。 i niPP??? 當(dāng)常數(shù) ?＜ Pni時(shí)，此信道 (或此時(shí)刻信號(hào)分量 )不分配能量，使不傳送任何信息， 當(dāng) ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Pi+Pni= ? ，這樣得到的信道容量為最大。 水平面的高度為 ? ， 當(dāng) Pni ＞ ?的單元內(nèi)沒有水； Pni越小的單元內(nèi)水就越多， 當(dāng)總能量 P增加，水面 (?)抬高，圖中第三單元也可能流入水。 1011( )iiPW???? ?10111011 0 .1 0 .2 .. . 1 .0100 .6 5niiPP??????????? ? ? ? ???(1)由常數(shù) ?的約束條件，得： 解： 比較后得最后四個(gè)信道應(yīng)排除，即令： P7 =0， P8 =0 ， P9 =0 ， P10 =0 Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） (2) 再計(jì)算常數(shù) ?（此時(shí)可用信道為 6個(gè)） ，得： ? ?6111 1 0 . 1 0 . 2 . . . 0 . 6 0 . 5 1 766 niiPP? ???? ? ? ? ? ? ? ????? ?比較得： P6 = ，第六個(gè)信道也應(yīng)排除，令： P6 =0 (3) 再計(jì)算常數(shù) ?（此時(shí)可用信道為 ５個(gè)） ，得： ? ?5111 1 0 . 1 0 . 2 . . . 0 . 5 0 . 555 niiPP? ???? ? ? ? ? ? ? ????? ?可見，第五個(gè)信道也應(yīng)排除，令： P5 =0 (4) 再計(jì)算常數(shù) ?（此時(shí)可用信道為 4個(gè)） ，得 ? ?4111 1 0. 1 0. 2 ... 0. 4 0. 544 niiPP? ???? ? ? ? ? ? ? ????? ?所以，功率分配為 ： P1 =， P2 = ， P3 = ， P4 = 本例結(jié)果表明， 噪聲分量功率小的信道分配得到的相應(yīng)信號(hào)分量功率要大一些， 那些噪聲太大的信道就不去用它，可使總的信道容量最大。加性高斯信道的信道容量 平均功率受限的信源最大熵是在高斯分布時(shí)出現(xiàn)。 第 3章 信道容量和編碼 Enjoy Science 這說明，在帶寬很大的情況下， 信噪比 這是個(gè)小數(shù)，說明信號(hào)功率小于噪聲功率。 el o gel o gel o g)1l n (202020NPWNPWWNPWCWW????????[例 ] 在電話信道中常允許多路復(fù)用。因?yàn)樵趯?shí)際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計(jì)算的值要小。下面舉例說明： ① 用頻帶換取信噪比 (這是擴(kuò)頻通信的原理 ) 模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強(qiáng)。 香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。 ? 當(dāng)達(dá)到信道容量時(shí)，我們稱 信源與信道達(dá)到匹配 ，否則認(rèn)為信道有剩余。(?信道剩余度 可以用來衡量信道利用率的高低。 ? 對(duì)于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達(dá)到信道容量。 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xpX? ? ? ??? ? ? ?? ? ? ?1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC對(duì) 二元離散信道的信道容量 為： C＝ 1(比特／信道符號(hào) ) 對(duì)本信源的信息熵為 H(X)＝ (比特／信源符號(hào) ) 要使信源在此二元信道中傳輸，必須對(duì)信源 X進(jìn)行二元編碼（例如）： 因此， 必須通過合適的編碼 ，使信道的信息傳輸率接近或等于信道容量。 對(duì)于連續(xù)信道，有類似的結(jié)論。 我們將在第六章介紹信道編碼的典型編碼方法。 雖然定理設(shè)有具體說明如何構(gòu)造這種碼，但它對(duì)信道編碼技術(shù)與實(shí)踐仍然具有根本性的指導(dǎo)意義。反之，當(dāng) RC時(shí)，任何編碼的 必大于零，當(dāng) 時(shí)， 。 注意： 信道容量 C和輸入信號(hào)的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。而 I(X。( YXIC ?表示信道的實(shí)際傳信率和信道容量之差。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量 . ? 由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時(shí)才能實(shí)現(xiàn)。 ③ 用時(shí)間換取信噪比 弱信號(hào)累積接收基于這一原理。 香農(nóng)公式可適用于其他一般非高斯波形信道 ，由香農(nóng)公式得到的值 是非高斯波形信道的信道容量的下限值 。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計(jì)算可得 電話信道的信道容量 為 22k比特／秒。 根據(jù)信道編碼定理，只要我們通信系統(tǒng)的信息傳輸率 R不大于 C，就有辦法實(shí)現(xiàn)可靠通信。 解 通信系統(tǒng)的平均互信息就是信道的信息傳輸率 R，它表示信道傳輸數(shù)據(jù)的比特率。 (比特／ 10個(gè)自由度 ) 44111 2 3 4411l o g 1 l o g221l o g21 0 .5l o g 2 .3 52 0 .1 0 .2 0 .3 0 .4iii ni nin n n nPCPPP P P P?? ? ? ???? ? ? ?? ? ?? ? ? ?? ? ? ????? ? ???信道容量： 若提高信號(hào)的總平均功率，使： 功率分配為 ： P1 =， P2 = ， P3 = ， P4 =， P5 =， P6 = ， P7 = ， P8 = . . .l o g21l o g21l o g2188765432181??????????????? ?? nnnnnnnni ni PPPPPPPPPC?????????(比特／ 10個(gè)自由度 ) 信道容量： ? ?111 3 0 .1 0 .2 ... 1 .0 0 .8 51 0 1 0LniiPP????? ? ? ? ? ? ? ????? ?13 ( )L iiPW???比較得最后兩個(gè)信道應(yīng)排除，令： P9 =0 ， P10 =0 ? ? .. . ???????三、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為 W，在這種波形信道中，信號(hào)滿足限頻、限時(shí)、限功率的條件，可通過取樣將輸入和輸出信號(hào)轉(zhuǎn)化為 L維的隨機(jī)序列： 12( , , . . . , )Lx x x x? 12( , , ..., )Ly y y y?和 y x n??而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有： 2L WT?按照采樣定理，在 [0,T]范圍內(nèi)要求： 這種信道叫高斯白噪聲加性信道，是一種假設(shè)的波形信道。 [例 ] 設(shè)在各單元時(shí)刻上，噪聲是均值為零