【正文】 息 I(X。(ijijiiji xpyxpyxpxpyxIxIyxI ?????即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是 收信者獲得的信息量 對于無干擾信道， I(xi 。 條件熵小于無條件熵，即 H(X/Y) ? H(X)。 后驗熵是當信道接收端接收到輸出符號 bj后 ， 關(guān)于輸入符號的信息測度 。 一、信道疑義度 信道輸入信源 X的熵 H(X)是在接收到輸出 Y以前，關(guān)于輸入變量 X的先驗不確定性，稱為 先驗熵 。它描述了信道引起的 疑義 性。 ? 一般單符號離散信道的一些概率關(guān)系 設信道的輸入概率空間為： 1( ) 1 0 ( ) 1riiip a p a?? ? ??1 2 31 2 3. . . . . .( ) ( ) ( ) . . . . . . ( )()rra a a aXp a p a p a p apx???? ??????? ??? 信道輸出 Y的符號集為 B={b1,b2,…,b s}。 ? 轉(zhuǎn)移矩陣 : 1??????? pppp1 0 1 0 1 1－ p a1=0 0=b1 1－ p a2=1 1=b2 p p 輸出 輸入 符號“ 2”表示接收到了“ 0”、“ 1”以外的特殊符號 這種信道實際是存在的 。 Y:{0,1} 。 ? 當然，也可用下圖來描述： a1 b1 a2 b2 X . . Y . . ar bs p(bj/ai) 一般離散單符號信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學模型 的形式。 ?輸出符號為 Y，取值于 {b1,b2, …,b s}。當然，這樣處理會引入誤差： N↗ ，誤差 ↘ 。 1 2 1 21( | ) ( . . . | . . . ) ( | )NN N i iip y x p y y y x x x p y x??? ? (3) 有干擾 (噪聲 )有記憶信道 實際信道往往是既有干擾 (噪聲 )又有記憶的這種類型。 顯然可以用條件（ 轉(zhuǎn)移） 概率表示信道的噪聲干擾特性。 ? 研究信道中能夠傳送或存儲的最大信息量，即信道容量。 本章內(nèi)容： ?信道的分類及離散信道的數(shù)學模型 ?平均互信息及其性質(zhì) ?信道容量的概念及幾種典型信道的信道容量計算 ?信源與信道的匹配 ?信道編碼定理 信道的數(shù)學模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實際信道 編碼信道 圖 通信系統(tǒng)的一般模型 信道的數(shù)學模型和分類 一、信道的分類 根據(jù)載荷消息的媒體不同 根據(jù)信息傳輸?shù)姆绞? 郵遞信道 電信道 光信道 聲信道 輸入和輸出信號的形式 信道的統(tǒng)計特性 信道的用戶多少 根據(jù)信息傳輸?shù)姆绞椒诸愔? 根據(jù)信道的用戶多少： 兩端 (單用戶 )信道 多端 (多用戶 )信道 根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道 反饋信道 根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道 時變參數(shù)信道 根據(jù)輸入和輸出信號的特點： 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 二、離散信道的數(shù)學模型 條件概率 p(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計依賴關(guān)系。 ? 根據(jù)信道的 統(tǒng)計特性即條件概率 p(y/x)的不同，離散信道又可分成三種情況： ? 無干擾信道 ? 有干擾無記憶信道 ? 有干擾有記憶信道 (1)無干擾 (噪聲 )信道 信道中沒有隨機性的干擾或者干擾很小，輸出信號y與輸入信號 x 之間有確定的、一 一對應的關(guān)系。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。 （ 2）另一種處理方法是 把 p(y/x) 看成馬爾可夫鏈 的形式，這是有限記憶信道的問題。 ?條件概率： p(y/x)＝ p(y=bj/x=ai)＝ p(bj/ai) 這一組條件概率稱為 信道的傳遞概率 或 轉(zhuǎn)移概率 ，可以利用條件概率來 描述干擾對信道影響 的大小。 P中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸?shù)母怕?，所以該矩陣又稱為 信道矩陣 （轉(zhuǎn)移矩陣） 。 r=s=2， a1=b1=0； a2=b2=1。 ????????qqpp1001 0 2 1 0 1 p 0 0 1－ p 1 1 q 1－ q 2 [例 2]二元刪除信道。 ? 給定信道矩陣為： ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211(1) 輸入和輸出符號的聯(lián)合概率 : ( , ) ( )( ) ( / ) ( ) ( / )i j i ji j i j i jp x a y b p a bp a p b a p b p a b? ? ???式中： p(bj|ai) 前向概率 （信道的傳遞概率），發(fā)送為 ai，通過信道傳輸接收到為 bj的概率。 p(ai)先驗概率 ，接收到一個輸出符號以前輸入符號概率 p(bj)輸出某符號的概率 (2)根據(jù)條件概率可得輸出符號的概率 : 輸出 /輸入符號與轉(zhuǎn)移概率關(guān)系的矩陣形式為 : 1( ) ( ) ( / ) ( 1 , . . . , )rj i j iip b p a p b a j s???? 對 都 成 立1 12 2() ()() ()(): :() ()Ts rpb papb parspb pa?? ???? ???? ?????? ???? ??????P(3) 根據(jù)貝葉斯定律可得后驗概率 : ()( / ) ( ) 0()iji j jjp a bp a b p bpb??1( ) ( / )( 1 , 2 , . . . , 1 , 2 , . . . , )( ) ( / )i j iri j iip a p b ai r j sp a p b a?? ? ??。 ? 如果信道中無干擾 (噪聲 )，則信道的輸出符號與輸入符號一一對應，那么，接收到傳送過來的符號后就消除了對發(fā)送符號的先驗不確定性。 1( | ) ( | ) l og( | )jjX jH X b p x b p x b? ?1( | ) [ ( / ) ] ( ) ( / )sj j jjH X Y E H X b p b H X b??? ?111( ) ( | ) l o g( | )srj i jji ijp b p a b p a b??? ??,1( ) l o g( | )XY p x y p x y? ? 信道疑義度（含糊度） ：它表示在輸出端收到全部輸出符號 Y集后，對于輸入端的信號集 X尚存在 的不確定性 (存在疑義 )。 這說明接收到符號集 Y的所有符號后，關(guān)于輸入符號 X的平均不確定性減少了，即 總能 消除一些關(guān)于輸入端 X的不確定性，從而 獲得 了一些信息。 yj) = I(xi)； 對于全損信道， I(xi 。 Y)： I(xi 。 ?它代表接收到符號集 Y后平均每個符號獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。 y) 代表收到某消息 y后獲得關(guān)于某事件 x的信息量。 ? I(X。 若 I(X。Y) = H(X) H(X|Y) I(X。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝噪聲熵 (或散布度 )，反映了信道中噪聲源的不確定性 。Y) = H(X) H(X|Y)：從 Y中獲得關(guān)于 X的平均互信息 I(X。Y)也等于發(fā)出 X的前、后關(guān)于 Y的平均不確定性的消除 。Y) 確定了通過信道的信息量的多少，因此稱它為 信息傳輸率或傳信率 。Y) 如果用 X表示案情， Y表示犯人講話，那么， H(X|Y) 表示犯人講話后警察對案件的不解，I(X。Y)=0，說明罪犯的講話對案情毫無幫助。Y) = 0 [I(X。 ? 平均互信息 I(X。Y)=H(X)=H(Y) 無噪無損信道：完全重迭 全損信道：完全獨立 無噪無損信道： 全損信道： 平均互信息的性質(zhì) 平均互信息 I(X。 )I X Y?,( ) ( ) ( )( ) l o g ( ) l o g( ) ( ) ( )( ) ( )l o g ( ) l o g ( ) ( ) l o g 1 0()X Y X YX Y X Yp x y p x p yp x y p x yp x p y p x yp x p yp x y p x p yp x y? ? ?? ? ? ?????( 。(0)|(XHYXHXHYXIYXH??????（ 3）交互性（對稱性） 即 I(X。X)