【正文】 )，通過信道傳輸，接收到的隨機序列為 Y＝ (Y1Y2…YN)。 即存在一個最大的信息傳輸率 定義為 信道容量 C )}。 損失熵 H(X/Y)=0， 其信道矩陣： 所以 ： I(X。39。Y)=H(Y)H(Y/X) 1 2 1 2( ) ( )12m a x [ ( ) ( 39。, . . . , 39。 ) m a x ( 。 ) m a x [ ( ) ( / ) ]p X p XC I X Y h Y h Y X? ? ?由于條件熵 h(Y/X) (即噪聲熵 )是由信道的噪聲引起的不確定性，因而條件熵等于噪聲信源 h(n)的熵。 )pC I X Y??? ??x(比特／Ｌ個自由度 ) 加性信道 輸入信號序列 {X1X2…X Ｌ } 輸出信號序列 {Y1Y2…Y Ｌ } 高斯噪聲 {n1n2…n Ｌ } X1 Y1=X1 +n1 n1 XＬ YＬ =XＬ +nＬ nＬ 上式同樣也是 Ｌ 個獨立、并聯(lián)組合高斯加性信道的信道容量。 [例 ] 設(shè)在各單元時刻上，噪聲是均值為零，方差為 Pni 的高斯加性噪聲。 解 通信系統(tǒng)的平均互信息就是信道的信息傳輸率 R，它表示信道傳輸數(shù)據(jù)的比特率。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計算可得 電話信道的信道容量 為 22k比特／秒。 ③ 用時間換取信噪比 弱信號累積接收基于這一原理。( YXIC ?表示信道的實際傳信率和信道容量之差。 注意： 信道容量 C和輸入信號的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。 雖然定理設(shè)有具體說明如何構(gòu)造這種碼，但它對信道編碼技術(shù)與實踐仍然具有根本性的指導(dǎo)意義。 對于連續(xù)信道，有類似的結(jié)論。 ? 對于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達到信道容量。 ? 當達到信道容量時，我們稱 信源與信道達到匹配 ，否則認為信道有剩余。下面舉例說明： ① 用頻帶換取信噪比 (這是擴頻通信的原理 ) 模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強。 el o gel o gel o g)1l n (202020NPWNPWWNPWCWW????????[例 ] 在電話信道中常允許多路復(fù)用。加性高斯信道的信道容量 平均功率受限的信源最大熵是在高斯分布時出現(xiàn)。 水平面的高度為 ? ， 當 Pni ＞ ?的單元內(nèi)沒有水； Pni越小的單元內(nèi)水就越多， 當總能量 P增加，水面 (?)抬高，圖中第三單元也可能流入水。 ) ( 。 ) ( ) ( / ) ( ) ( / ) ( ) ( ) ( )I X Y h X h X Y h Y h Y Xh X h Y h X Y? ? ? ?? ? ?( 。 [例 5] 某對稱離散信道的信道矩陣如下，求其信道容量。)l o g ( 39。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項是固定 X＝ x 時對 Y求和，即對信道矩陣的行求和。 ()39。 當 12????(比特／符號 ) 離散無噪無損信道 二、簡單離散信道的信道容量 例如： 其信道矩陣是單位矩陣： 滿足： I(X。Y) = H(X) – H(X|Y) (比特 /符號 ) 離散信道的信道容量 一、 信道容量的定義 由于平均互信息 I(X。 1( / ) ( / )Niiip p y x?? ?yx1( 。 離散無記憶信道的擴展 信道 對于離散無記憶信道 ，其擴展 信道 的 傳遞概率滿足 ： ＤＭＣ用 [X， p( y / x )， Y] 概率空間來描述。 ? 平均互信息 I(X。([例 ]設(shè) BSC的輸入概率空間為： 信道如圖： 計算得平均互信息： I(X。 )()XYXYXYp x yI X Y p x ypxp x yp x yp x p yp y xp x y I Y Xpy??????????（ 4）凸狀性 ??平均互信息 I(X。(0)|(XHYXHXHYXIYXH??????（ 3）交互性（對稱性） 即 I(X。Y)=H(X)=H(Y) 無噪無損信道：完全重迭 全損信道：完全獨立 無噪無損信道： 全損信道： 平均互信息的性質(zhì) 平均互信息 I(X。Y) = 0 [I(X。Y) 如果用 X表示案情， Y表示犯人講話，那么， H(X|Y) 表示犯人講話后警察對案件的不解，I(X。Y)也等于發(fā)出 X的前、后關(guān)于 Y的平均不確定性的消除 。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝噪聲熵 (或散布度 )，反映了信道中噪聲源的不確定性 。 若 I(X。 y) 代表收到某消息 y后獲得關(guān)于某事件 x的信息量。 Y)： I(xi 。 這說明接收到符號集 Y的所有符號后，關(guān)于輸入符號 X的平均不確定性減少了，即 總能 消除一些關(guān)于輸入端 X的不確定性，從而 獲得 了一些信息。 ? 如果信道中無干擾 (噪聲 )，則信道的輸出符號與輸入符號一一對應(yīng)，那么，接收到傳送過來的符號后就消除了對發(fā)送符號的先驗不確定性。 ? 給定信道矩陣為： ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211(1) 輸入和輸出符號的聯(lián)合概率 : ( , ) ( )( ) ( / ) ( ) ( / )i j i ji j i j i jp x a y b p a bp a p b a p b p a b? ? ???式中： p(bj|ai) 前向概率 （信道的傳遞概率），發(fā)送為 ai，通過信道傳輸接收到為 bj的概率。 r=s=2， a1=b1=0； a2=b2=1。 ?條件概率： p(y/x)＝ p(y=bj/x=ai)＝ p(bj/ai) 這一組條件概率稱為 信道的傳遞概率 或 轉(zhuǎn)移概率 ，可以利用條件概率來 描述干擾對信道影響 的大小。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。 本章內(nèi)容： ?信道的分類及離散信道的數(shù)學模型 ?平均互信息及其性質(zhì) ?信道容量的概念及幾種典型信道的信道容量計算 ?信源與信道的匹配 ?信道編碼定理 信道的數(shù)學模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實際信道 編碼信道 圖 通信系統(tǒng)的一般模型 信道的數(shù)學模型和分類 一、信道的分類 根據(jù)載荷消息的媒體不同 根據(jù)信息傳輸?shù)姆绞? 郵遞信道 電信道 光信道 聲信道 輸入和輸出信號的形式 信道的統(tǒng)計特性 信道的用戶多少 根據(jù)信息傳輸?shù)姆绞椒诸愔? 根據(jù)信道的用戶多少： 兩端 (單用戶 )信道 多端 (多用戶 )信道 根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道 反饋信道 根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道 時變參數(shù)信道 根據(jù)輸入和輸出信號的特點： 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 二、離散信道的數(shù)學模型 條件概率 p(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計依賴關(guān)系。 顯然可以用條件（ 轉(zhuǎn)移） 概率表示信道的噪聲干擾特性。當然，這樣處理會引入誤差： N↗ ，誤差 ↘ 。 ? 當然，也可用下圖來描述： a1 b1 a2 b2 X . . Y . . ar bs p(bj/ai) 一般離散單符號信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學模型 的形式。 ? 轉(zhuǎn)移矩陣 : 1??????? pppp1 0 1 0 1 1－ p a1=0 0=b1 1－ p a2=1 1=b2 p p 輸出 輸入 符號“ 2”表示接收到了“ 0”、“ 1”以外的特殊符號 這種信道實際是存在的 。它描述了信道引起的 疑義 性。 后驗熵是當信道接收端接收到輸出符號 bj后 ， 關(guān)于輸入符號的信息測度 。(ijijiiji xpyxpyxpxpyxIxIyxI ?????即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是 收信者獲得的信息量 對于無干擾信道， I(xi 。Y)=H(X)H(X/Y)為 X和 Y之間的 平均互信息 。 y)0，說明在未收到信息量 y以前對消息 x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對 x是否出現(xiàn)的不確定程度增加了。 I(X。 ) ( | )( ) l o g ()YijXp x yp x yEyxI px??? ?? ? ?)|(1l og)()(1