【正文】 H(X) , H(Y|X) = H(Y) ? 所以 I(X。 )()/()()。()。 ? 對每一種信源都存在一種 最差 的信道，此時干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 ? 所以： R = I(X。 即接收到符號 Y后不能完全消除對 X的不確定性 ()m a x ( ) l o g ( / )pxC H Y s b i t s y m b o l??無噪有損信道 在 維拉圖 上 ,有噪無損信道和無噪有損信道中平均互信息、損失熵、噪聲熵以及信源熵 之間的關(guān)系 。, . . . , 39。 一、連續(xù)單符號加性高斯噪聲信道的信道容量 單符號連續(xù)信道的平均互信息為： 信息傳輸率為： (比特 /符號 ) 信道容量為： ( 。 將 容器底部 看成是 由噪聲平均功率 Pni(即方差 )所形成 的高低不平的底部，將信號的總能量 P看作總水量，將這些水倒入容器中，水流動達到平衡。這是擴頻通信系統(tǒng)的理論基礎(chǔ)。由此可見，當(dāng)信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。 eP??eP L??1eP ?即在任何信道中，信道容量是保證信息可靠傳輸?shù)淖畲笮畔鬏斅省? 例如，某離散無記憶信源 通過一個無噪無損二元離散信道進行傳輸。 2,T , l o g (1 )sPW ??香農(nóng)公式的 物理意義 為： 當(dāng)信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求； 反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補償。假設(shè) R=C，則傳輸數(shù)據(jù)的平均功率為 依此將信道容量定理寫為 CEREP bb ??WCNEWNCEWC WC/12 )1(l o g /0b0b2?????第 3章 信道容量和編碼 Enjoy Science 依此畫出 C/W與 Eb/N0的曲線圖 從曲線來看，即使在 Eb/N0小于 1的情況下， C/W也是一個正數(shù)。 此時分兩種情況： (1) 若 各單元時刻 (i＝ 1,…, Ｌ )上的噪聲都是均值為零、方差為Pn的高斯噪聲，而 Pi=S， 則： (2) 若各單元時刻 (i＝ 1,…, Ｌ )上的噪聲是均值為零，方差為不同 Pni的高斯噪聲，但輸入信號的總平均功率受限，其約束為： 則： 單位： (比特／Ｌ個自由度 ) l o g 12 nLSCP????????? ?11 l o g 12Lnii niPCP? ??????? ????? ??? ???? 0 0 0 )( xxxx? ?i n iPP? ???211LLiiiiE X P P???? ????????i n iPP ???(常數(shù) ), i=1,2…, Ｌ 這結(jié)論說明，Ｌ個獨立并聯(lián)的組合高斯加性信道，當(dāng)各分信道 (或各時刻 )的噪聲平均功率不相等時，為達到最大的信息傳輸率，要對輸入信號的總能量適當(dāng)?shù)剡M行分配。 ) m a x ( 。, 39。Y)=H(X) ?????????????????10000005153510000003231P1 1 1 22 3 2 4 2 536( / ) 1 ( / ) 1( / ) 1 ( / ) 1 ( / ) 1( / ) 1p a b p a bp a b p a b p a bp a b??? ? ?? 其 他 各 項 后 驗 概 率 為 零()m a x ( ) l o g ( / )PxC H X r b i t s y m b o l?? 如果信道的 前向概率 p(y/x)等于 0或 1，即輸出 y是 x的確定函數(shù)，但不是一一對應(yīng)的，而是多一對應(yīng)關(guān)系。 假若信源是無記憶的 ，則有： 1( , ) ( , )N iiiI I X Y?? ?XY1( , ) ( , ) ( , )N iiiI I X Y N I X Y????XY其中 Xi和 Yi是隨機序列 X和 Y中的第 i 位隨機變量。 ? （ 2） 對于每一個固定信道，一定存在有一種 最佳 的信源 (某一種概率分布 p(x))，使輸出端獲得的平均信息量為最大。Y)是輸入信源的概率分布 p(x)的 ∩ 型凸函數(shù)。 證明：利用詹森不等式 ( 。 如果 I(X。 ) ( | )( ) l o g ()YijXp x yp x yEyxI px??? ?? ? ?)|(1l og)()(1l og)(, yxpxypxpxpYXX?? ?＝,( | )( ) l o g()XYp y xp x ypy? ?( ) ( )Yp x y p x??( ) ( ) ( / ) ( ) ( / )p x y p x p y xp y p x y??( ) ( | )H X H X Y??平均互信息與各類熵之間關(guān)系的說明 ? I(X。 y)0，說明在未收到信息量 y以前對消息 x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對 x是否出現(xiàn)的不確定程度增加了。(ijijiiji xpyxpyxpxpyxIxIyxI ?????即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是 收信者獲得的信息量 對于無干擾信道， I(xi 。它描述了信道引起的 疑義 性。 ? 當(dāng)然，也可用下圖來描述： a1 b1 a2 b2 X . . Y . . ar bs p(bj/ai) 一般離散單符號信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學(xué)模型 的形式。 顯然可以用條件（ 轉(zhuǎn)移） 概率表示信道的噪聲干擾特性。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。 r=s=2， a1=b1=0； a2=b2=1。 ? 如果信道中無干擾 (噪聲 )，則信道的輸出符號與輸入符號一一對應(yīng)，那么，接收到傳送過來的符號后就消除了對發(fā)送符號的先驗不確定性。 Y)： I(xi 。 若 I(X。Y)也等于發(fā)出 X的前、后關(guān)于 Y的平均不確定性的消除 。Y) = 0 [I(X。(0)|(XHYXHXHYXIYXH??????（ 3）交互性（對稱性） 即 I(X。([例 ]設(shè) BSC的輸入概率空間為： 信道如圖： 計算得平均互信息： I(X。 離散無記憶信道的擴展 信道 對于離散無記憶信道 ，其擴展 信道 的 傳遞概率滿足 ： ＤＭＣ用 [X， p( y / x )， Y] 概率空間來描述。Y) = H(X) – H(X|Y) (比特 /符號 ) 離散信道的信道容量 一、 信道容量的定義 由于平均互信息 I(X。 ()39。)l o g ( 39。 ) ( ) ( / ) ( ) ( / ) ( ) ( ) ( )I X Y h X h X Y h Y h Y Xh X h Y h X Y? ? ? ?? ? ?( 。 水平面的高度為 ? ， 當(dāng) Pni ＞ ?的單元內(nèi)沒有水； Pni越小的單元內(nèi)水就越多， 當(dāng)總能量 P增加，水面 (?)抬高，圖中第三單元也可能流入水。 el o gel o gel o g)1l n (202020NPWNPWWNPWCWW????????[例 ] 在電話信道中常允許多路復(fù)用。 ? 當(dāng)達到信道容量時，我們稱 信源與信道達到匹配 ，否則認為信道有剩余。 對于連續(xù)信道，有類似的結(jié)論。 注意： 信道容量 C和輸入信號的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。 ③ 用時間換取信噪比 弱信號累積接收基于這一原理。 解 通信系統(tǒng)的平均互信息就是信道的信息傳輸率 R，它表示信道傳輸數(shù)據(jù)的比特率。 )pC I X Y??? ??x(比特／Ｌ個自由度 ) 加性信道 輸入信號序列 {X1X2…X Ｌ } 輸出信號序列 {Y1Y2…Y Ｌ } 高斯噪聲 {n1n2…n Ｌ } X1 Y1=X1 +n1 n1 XＬ YＬ =XＬ +nＬ nＬ 上式同樣也是 Ｌ 個獨立、并聯(lián)組合高斯加性信道的信道容量。 ) m a x ( 。Y)=H(Y)H(Y/X) 1 2 1 2( ) ( )12m a x [ ( ) ( 39。 損失熵 H(X/Y)=0， 其信道矩陣： 所以 ： I(X。 )NiiiI X Y I X Y?? ? 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔ⅲ沟煤竺鎮(zhèn)魉偷姆柕幕バ畔p少． ?若信道的輸入隨機序列為 X= (X1X2…XN)，通過信道傳輸，接收到的隨機序列為 Y＝ (Y1Y2…YN)。 該結(jié)論意味著 : (當(dāng)信道固定時 ) ? （ 1） 對固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。Y) = f [p(x), p(y|x)] ?I(X。Y) = 0，當(dāng) X、 Y統(tǒng)計獨立時等式成立。 如果 H(X|Y)=0，說明警察聽了罪犯的講話后完全了解案情。 )I X Y,()( ) l o g( ) ( ) ( ) ( ) ( )XYp x yp x yp x p y H X H Y H X Y? ? ?? ?)|(1l og)()(1l og)(, xypxypypxypYXYX?? ??)|(1l og)()(1l og)(, xypxypypypYXY?? ??( ) ( | )H Y H Y X??,( 。 ? 若 I(x 。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l og