【正文】 =0 當信道無干擾時， I(X。 )()XYXYXYp x yI X Y p x ypxp x yp x yp x p yp y xp x y I Y Xpy??????????（ 4）凸狀性 ??平均互信息 I(X。 ?I(X。([例 ]設 BSC的輸入概率空間為： 信道如圖： 計算得平均互信息： I(X。 XYHYH ??)()( pHppH ??? ???????? ????? pppp1l o g1l o g)pp(1l o gp)p(????是 [0， 1]區(qū)域上的熵函數(shù)。 ? 平均互信息 I(X。 ? 平均互信息 I(X。 離散無記憶信道的擴展 信道 對于離散無記憶信道 ，其擴展 信道 的 傳遞概率滿足 ： ＤＭＣ用 [X， p( y / x )， Y] 概率空間來描述。 ) ( 。 1( / ) ( / )Niiip p y x?? ?yx1( 。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔?，使得前面?zhèn)魉偷姆柕幕バ畔⒃黾?。Y) = H(X) – H(X|Y) (比特 /符號 ) 離散信道的信道容量 一、 信道容量的定義 由于平均互信息 I(X。(m a x pHYXI ??因此， BSC的信道容量為： m a x ( 。 當 12????(比特／符號 ) 離散無噪無損信道 二、簡單離散信道的信道容量 例如： 其信道矩陣是單位矩陣： 滿足： I(X。 這類信道稱為 無噪有損信道 (確定信道 )。 ()39。 具有這種對稱信道矩陣的信道稱為 對稱離散信道 。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項是固定 X＝ x 時對 Y求和，即對信道矩陣的行求和。, . . . , 39。)l o g ( 39。, . .. ,39。 [例 5] 某對稱離散信道的信道矩陣如下，求其信道容量。 ) iNpXNiipXiNiipXiNiiC I X YI X YI X YC??????????由于輸入序列中的各分量是在同一信道中傳輸?shù)? 一般情況下 ，消息序列在離散無記憶的 N次擴展信道中傳輸?shù)男畔⒘浚? I（ X。 ) ( ) ( / ) ( ) ( / ) ( ) ( ) ( )I X Y h X h X Y h Y h Y Xh X h Y h X Y? ? ? ?? ? ?( 。 ? 因此，得 平均功率受限高斯加性信道 的信道容量 (每個自由度 )為： 2020 l o g212l o g2l o g????PeePC ???如果信道加入信道的噪聲是加性高斯噪聲，則輸出 Y、 信道噪聲的概率密度函數(shù)為： 0( ) ( 0 , )p y N P?2( ) (0 , )p n N????? Y X n?? ( ) (0 , )p x N S?即： 20PS? ? ?因此，當信道的輸入 X是均值為 “ 0”、方差為 “ Ｓ ” 的高斯分布時， 平均功率受限高斯加性信道 的信息傳輸率達到最大值： 202211l og l og22P SC ??????211l o g ( 1 ) l o g ( 1 )22 nSSP?? ? ? ?其中Ｓ是輸入信號 X的平均功率， Pn=? 2 是高斯噪聲的平均功率 ?在實際中，天電干擾、工業(yè)干擾和其它脈沖干擾都屬于加性干擾，它們是非高斯型分布。 ) ( 。 i niPP??? 當常數(shù) ?＜ Pni時，此信道 (或此時刻信號分量 )不分配能量，使不傳送任何信息， 當 ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Pi+Pni= ? ，這樣得到的信道容量為最大。 水平面的高度為 ? ， 當 Pni ＞ ?的單元內沒有水； Pni越小的單元內水就越多， 當總能量 P增加，水面 (?)抬高，圖中第三單元也可能流入水。 1011( )iiPW???? ?10111011 0 .1 0 .2 .. . 1 .0100 .6 5niiPP??????????? ? ? ? ???(1)由常數(shù) ?的約束條件，得： 解： 比較后得最后四個信道應排除，即令： P7 =0， P8 =0 ， P9 =0 ， P10 =0 Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） (2) 再計算常數(shù) ?（此時可用信道為 6個） ，得： ? ?6111 1 0 . 1 0 . 2 . . . 0 . 6 0 . 5 1 766 niiPP? ???? ? ? ? ? ? ? ????? ?比較得： P6 = ，第六個信道也應排除，令： P6 =0 (3) 再計算常數(shù) ?（此時可用信道為 ５個） ，得： ? ?5111 1 0 . 1 0 . 2 . . . 0 . 5 0 . 555 niiPP? ???? ? ? ? ? ? ? ????? ?可見，第五個信道也應排除，令： P5 =0 (4) 再計算常數(shù) ?（此時可用信道為 4個） ，得 ? ?4111 1 0. 1 0. 2 ... 0. 4 0. 544 niiPP? ???? ? ? ? ? ? ? ????? ?所以，功率分配為 ： P1 =， P2 = ， P3 = ， P4 = 本例結果表明， 噪聲分量功率小的信道分配得到的相應信號分量功率要大一些， 那些噪聲太大的信道就不去用它，可使總的信道容量最大。加性高斯信道的信道容量 平均功率受限的信源最大熵是在高斯分布時出現(xiàn)。 第 3章 信道容量和編碼 Enjoy Science 這說明，在帶寬很大的情況下， 信噪比 這是個小數(shù)，說明信號功率小于噪聲功率。 el o gel o gel o g)1l n (202020NPWNPWWNPWCWW????????[例 ] 在電話信道中常允許多路復用。因為在實際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計算的值要小。下面舉例說明： ① 用頻帶換取信噪比 (這是擴頻通信的原理 ) 模擬通信中，調頻優(yōu)于調幅，且頻帶越寬，抗干擾性就越強。 香農公式是在噪聲信道中進行可靠通信的信息傳輸率的上限值。 ? 當達到信道容量時，我們稱 信源與信道達到匹配 ，否則認為信道有剩余。(?信道剩余度 可以用來衡量信道利用率的高低。 ? 對于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達到信道容量。 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xpX? ? ? ??? ? ? ?? ? ? ?1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC對 二元離散信道的信道容量 為： C＝ 1(比特／信道符號 ) 對本信源的信息熵為 H(X)＝ (比特／信源符號 ) 要使信源在此二元信道中傳輸，必須對信源 X進行二元編碼（例如）： 因此， 必須通過合適的編碼 ，使信道的信息傳輸率接近或等于信道容量。 對于連續(xù)信道，有類似的結論。 我們將在第六章介紹信道編碼的典型編碼方法。 雖然定理設有具體說明如何構造這種碼，但它對信道編碼技術與實踐仍然具有根本性的指導意義。反之，當 RC時，任何編碼的 必大于零，當 時， 。 注意： 信道容量 C和輸入信號的概率分布無關，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關。而 I(X。( YXIC ?表示信道的實際傳信率和信道容量之差。我們總希望能使信息傳輸率越大越好，能達到或盡可能接近于信道容量 . ? 由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實現(xiàn)。 ③ 用時間換取信噪比 弱信號累積接收基于這一原理。 香農公式可適用于其他一般非高斯波形信道 ，由香農公式得到的值 是非高斯波形信道的信道容量的下限值 。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農公式計算可得 電話信道的信道容量 為 22k比特／秒。 根據(jù)信道編碼定理，只要我們通信系統(tǒng)的信息傳輸率 R不大于 C，就有辦法實現(xiàn)可靠通信。 解 通信系統(tǒng)的平均互信息就是信道的信息傳輸率 R，它表示信道傳輸數(shù)據(jù)的比特率。 (比特／ 10個自由度 ) 44111 2 3 4411l o g 1 l o g221l o g21 0 .5l o g 2 .3 52 0 .1 0 .2 0 .3 0 .4iii ni nin n n nPCPPP P P P?? ? ? ???? ? ? ?? ? ?? ? ? ?? ? ? ????? ? ???信道容量： 若提高信號的總平均功率，使： 功率分配為 ： P1 =， P2 = ， P3 = ， P4 =， P5 =， P6 = ， P7 = ， P8 = . . .l o g21l o g21l o g2188765432181??????????????? ?? nnnnnnnni ni PPPPPPPPPC?????????(比特／ 10個自由度 ) 信道容量： ? ?111 3 0 .1 0 .2 ... 1 .0 0 .8 51 0 1 0LniiPP????? ? ? ? ? ? ? ????? ?13 ( )L iiPW???比較得最后兩個信道應排除，令： P9 =0 ， P10 =0 ? ? .. . ???????三、限頻限時限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設頻帶寬度為 W，在這種波形信道中，信號滿足限頻、限時、限功率的條件，可通過取樣將輸入和輸出信號轉化為 L維的隨機序列： 12( , , . . . , )Lx x x x? 12( , , ..., )Ly y y y?和 y x n??而在頻帶內的高斯噪聲是彼此獨立的，從而有： 2L WT?按照采樣定理，在 [0,T]范圍內要求： 這種信道叫高斯白噪聲加性信道，是一種假設的波形信道。 [例 ] 設在各單元時刻上，噪聲是均值為零