【正文】 第三章 信道及其容量 ? 信道的任務是以信號方式傳輸信息和存儲信息。 ? 研究信道中能夠傳送或存儲的最大信息量，即信道容量。 本章內容： ?信道的分類及離散信道的數(shù)學模型 ?平均互信息及其性質 ?信道容量的概念及幾種典型信道的信道容量計算 ?信源與信道的匹配 ?信道編碼定理 信道的數(shù)學模型和分類 等效信道 干擾源 物理信道 解調器 編碼器 譯碼器 信宿 信源 調制器 實際信道 編碼信道 圖 通信系統(tǒng)的一般模型 信道的數(shù)學模型和分類 一、信道的分類 根據(jù)載荷消息的媒體不同 根據(jù)信息傳輸?shù)姆绞? 郵遞信道 電信道 光信道 聲信道 輸入和輸出信號的形式 信道的統(tǒng)計特性 信道的用戶多少 根據(jù)信息傳輸?shù)姆绞椒诸愔? 根據(jù)信道的用戶多少： 兩端 (單用戶 )信道 多端 (多用戶 )信道 根據(jù)信道輸入端和輸出端的關聯(lián)： 無反饋信道 反饋信道 根據(jù)信道的參數(shù)與時間的關系： 固定參數(shù)信道 時變參數(shù)信道 根據(jù)輸入和輸出信號的特點： 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 二、離散信道的數(shù)學模型 條件概率 p(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計依賴關系。 它反映了 信道的統(tǒng)計特性 。 i i ’ p(y/x)=1 p(y/x) ? 例如 其中 : p(ai)表示輸入某符號的概率 , ???ri iap11)(p(bj)表示輸出某符號的概率 , ???sj jbp11)(?? ?sj ij abp1 1)|(p(bj|ai)表示發(fā)送 ai而接收為 bj概率 ,條件概率。 顯然可以用條件（ 轉移） 概率表示信道的噪聲干擾特性。 ? 根據(jù)信道的 統(tǒng)計特性即條件概率 p(y/x)的不同，離散信道又可分成三種情況： ? 無干擾信道 ? 有干擾無記憶信道 ? 有干擾有記憶信道 (1)無干擾 (噪聲 )信道 信道中沒有隨機性的干擾或者干擾很小，輸出信號y與輸入信號 x 之間有確定的、一 一對應的關系。即： y ＝ f (x) 1 ( )( | )0 ( )y f xp y xy f x???? ??(2)有干擾無記憶信道 ? 信道輸入和輸出之間的條件概率是一般的概率分布。 ? 如果任一時刻輸出符號只統(tǒng)計依賴于對應時刻的輸入符號，則這種信道稱為無記憶信道。 1 2 1 21( | ) ( . . . | . . . ) ( | )NN N i iip y x p y y y x x x p y x??? ? (3) 有干擾 (噪聲 )有記憶信道 實際信道往往是既有干擾 (噪聲 )又有記憶的這種類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號 不但與對應時刻的輸入符號有關，而且還與此前其他時刻信道的輸入符號及輸出符號有關， 這樣的信道稱為有記憶信道。 ?處理有記憶有干擾信道的兩種方法： （ 1）最直觀的方法是把記憶較強的 N個符號當作一個 N維矢量，而把各矢量之間認為是無記憶的，這樣就 轉化成無記憶信道 的問題。當然，這樣處理會引入誤差： N↗ ，誤差 ↘ 。 （ 2）另一種處理方法是 把 p(y/x) 看成馬爾可夫鏈 的形式，這是有限記憶信道的問題。 此時，信道的統(tǒng)計特性可用在已知時刻的輸入符號和前時刻信道所處的 狀態(tài) 的條件下，信道的輸出符號和所處的 狀態(tài) 的聯(lián)合條件概率來描述，即用 p(ynSn/xnSn1) 來描述。 三、單符號離散信道 ?單符號離散信道： ?輸入符號為 X，取值于 {a1,a2, …, ar}。 ?輸出符號為 Y，取值于 {b1,b2, …,b s}。 ?條件概率： p(y/x)＝ p(y=bj/x=ai)＝ p(bj/ai) 這一組條件概率稱為 信道的傳遞概率 或 轉移概率 ，可以利用條件概率來 描述干擾對信道影響 的大小。 ? 用傳遞概率 p(bj/ai) 來描述干擾影響的大小 ? 一般 簡單的單符號離散信道 可以用 [X, p(y/x) ,Y] 三者加以描述。 ? 其數(shù)學模型可以用概率空間 [X, p(y/x) ,Y]描述。 ? 當然，也可用下圖來描述： a1 b1 a2 b2 X . . Y . . ar bs p(bj/ai) 一般離散單符號信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學模型 的形式。 P中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸?shù)母怕剩栽摼仃囉址Q為 信道矩陣 （轉移矩陣） 。 ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211 b1 b2 … bs a1 p(b1|a1) p(b2|a1) … p(bs|a1) a2 p(b1|a2) p(b2|a2) … p(bs|a2) … …. … … ar p(b1|ar) p(b2|ar) … p(bs|ar) 在這里直觀表示矩陣 P中每行之和應等于 “ l” 表明：在信道輸入為 ai時，在輸出端接收到的一定是符號 b1， b2 ， … ， bs中一個。 [例 1] 二元對稱信道， [BSC， Binary Symmetrical Channel] 解： 此時， X:{0,1} 。 Y:{0,1} 。 r=s=2， a1=b1=0； a2=b2=1。 傳遞概率 : 11221221( | ) ( 0 | 0 ) 1( | ) ( 1 | 1 ) 1( | ) ( 0 | 1 )( | ) ( 1 | 0 )p b a p p pp b a p p pp b a p pp b a p p? ? ? ?? ? ? ?????? p是單個符號 傳輸發(fā)生錯誤 的概率，表示信道輸入符號 “ 0”而接收到的符號為 “ 1”，或信道輸入符號為 “ 1”而接收到的符號為 “ 0”的概率的概率。 ?（ 1p）表示是 無錯誤傳輸 的概率。 ? 轉移矩陣 : 1??????? pppp1 0 1 0 1 1－ p a1=0 0=b1 1－ p a2=1 1=b2 p p 輸出 輸入 符號“ 2”表示接收到了“ 0”、“ 1”以外的特殊符號 這種信道實際是存在的 。 ????????qqpp1001 0 2 1 0 1 p 0 0 1－ p 1 1 q 1－ q 2 [例 2]二元刪除信道。 [BEC， Binary Eliminated Channel] 解： X:{0,1} Y:{0,1,2} 此時， r ＝ 2， s ＝ 3， 傳遞矩陣為： ? 設有一個信道，其輸入為正、負方波信號，那么，信道輸出送入譯碼器的將是受干擾后的方波信號 R(t)，如圖 (b)。 ????????qqpp1001 0 2 1 0 1 ? 如果信道干擾不是很嚴重的話，則“ 1→0” 和“ 0→1” 的可能性比“ 0→2” 和“ 1→2” 的可能性小得多，所以假設： p(y=1/x=0)＝ p(y=0/x=1)＝ 0是合理的。 ? 一般單符號離散信道的一些概率關系 設信道的輸入概率空間為： 1( ) 1 0 ( ) 1riiip a p a?? ? ??1 2 31 2 3. . . . . .( ) ( ) ( ) . . . . . . ( )()rra a a aXp a p a p a p apx???? ??????? ??? 信道輸出 Y的符號集為 B={b1,b2,…,b s}。 ? 給定信道矩陣為： ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211(1) 輸入和輸出符號的聯(lián)合概率 : ( , ) ( )( ) ( / ) ( ) ( / )i j i ji j i j i jp x a y b p a bp a p b a p b p a b? ? ???式中： p(bj|ai) 前向概率 （信道的傳遞概率），發(fā)送為 ai，通過信道傳輸接收到為 bj的概率。它是由于信道噪聲引起的，所以描述了信道 噪聲 的特性。 p(ai/bj)后向概率 ，已知信道輸出端接收到符號為 bj，但發(fā)送的輸入符號為 ai的概率。它描述了信道引起的 疑義 性。 p(ai)先驗概率 ，接收到一個輸出符號以前輸入符號概率 p(bj)輸出某符號的概率 (2)根據(jù)條件概率可得輸出符號的概率 : 輸出 /輸入符號與轉移概率關系的矩陣形式為 : 1( ) ( ) ( / ) ( 1 , . . . , )rj i j iip b p a p b a j s???? 對 都 成 立1 12 2() ()() ()(): :