【正文】 第三章 信道容量 胡君紅 本章內(nèi)容 概述 信道的數(shù)學(xué)模型和分類 單符號離散信道的信道容量 多符號離散信道 多用戶信道 連續(xù)信道 信道編碼定理 概述 ? 信息論對信道研究的內(nèi)容 ? 什么是信道？ ? 信道的作用 ? 研究信道的目的 ? 本章學(xué)習(xí)達(dá)到的目的 概述 ? 信息論對信道研究的內(nèi)容： ? 信道的建模：用恰當(dāng)?shù)妮斎?/輸出兩個隨機(jī)過程來描述 ? 信道容量 ? 不同條件下充分利用信道容量的各種辦法 概述 ? 什么是信道 ？ ? 信道是傳送信息的載體 —— 信號所通過的通道。 ? 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；聽收音機(jī)，收、發(fā)間的空間就是信道。 ? 信道的作用 ? 在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。 概述 ? 研究信道的目的 ? 實現(xiàn)信息傳輸?shù)?有效性 和 可靠性 ? 有效性：充分利用信道容量 ? 可靠性：通過信道編碼降低誤碼率 ? 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。 ? 通信技術(shù)研究－－信號在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性 ? 信息論研究－－信息的傳輸問題（假定傳輸特性已知） 概述 ? 本章達(dá)到的目的 ? 了解信息論研究信道的目的、內(nèi)容 ? 了解信道的基本分類并掌握信道的基本描述方法 ? 掌握信道容量的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系 ? 能夠計算簡單信道的信道容量（對稱離散信道、無記憶加性高斯噪聲信道） ? 了解信道容量在研究通信系統(tǒng)中的作用 ? 理解無噪信道編碼的物理意義 ? 進(jìn)一步從信息論的角度理解香農(nóng)公式及其用途 信道的數(shù)學(xué)模型和分類 ? 信道分類 ? 從工程物理背景 —— 傳輸媒介類型； ? 從數(shù)學(xué)描述方式 —— 信號與干擾描述方式； ? 從信道本身的參數(shù)類型 —— 恒參與變參； ? 從用戶類型 —— 單用戶與多用戶； ? ?? ???????????????? ?? ???? ???? ?? ??? ????????????????????? ?????離 散無 記 憶連 續(xù)信 號 類 型半 離 散有 記 憶半 連 續(xù)無 干 擾 ： 干 擾 少 到 可 忽 略 ；無 源 熱 噪 聲信 號 與 干 擾 類 型線 性 疊 加 干 擾 有 源 散 彈 噪 聲脈 沖 噪 聲干 擾 類 型有 干 擾交 調(diào)乘 性 干 擾 衰 落碼 間 干 擾信道的數(shù)學(xué)模型和分類 ???恒 參 信 道 （ 時 不 變 信 道 ）信 道 參 量 類 型變 參 信 道 （ 時 變 信 道 ）信道的數(shù)學(xué)模型和分類 ???二 用 戶 信 道 （ 點 對 點 通 信 ）用 戶 類 型多 用 戶 信 道 （ 通 信 網(wǎng) ） 信道的數(shù)學(xué)模型和分類 其中： c1為連續(xù)信道，調(diào)制信道； c2為離散信道，編碼信道； c3為半離散、半連續(xù)信道； c4為半連續(xù)、半離散信道。 信源 編碼 媒介 譯碼 信宿 干擾 C1 C2 C3 C4 A B 信 道 劃 分 是 人 為 的 ！ 信道的數(shù)學(xué)模型和分類 ? 信道描述 ? 信道可以引用三組變量來描述： 信道輸入概率空間： 信道輸出概率空間： 信道概率轉(zhuǎn)移矩陣： 即： { ， ， }， 它可簡化為： 。 [ , ( )]X p x[ , ( )]Y p y( / )P Y X[ , ( )]X p x ( / )P Y X [ , ( )]Y p y[ , ( ) , ]X P Y信道的數(shù)學(xué)模型和分類 其中： 11( ) ( ) ( ) ( )( ) ( )nmnmx x y yXYp x p x p y p yp x p y? ? ? ?? ? ? ???? ? ? ?? ? ? ?? ? ? ?? ? ? ?入 出→ 信 道 →ixX? {1, 2, , }in?jyY? {1, 2, , }jm?1 1 11( ) ( )( ) ( )mn m nP y x P y xPP y x P y x??????? 單符號離散信道的信道容量 ?信道容量的定義 ?幾種特殊離散信道的信道容量 ?離散信道容量的一般計算方法 信道容量的定義 ? 互信息與信道輸入概率分布的關(guān)系 性質(zhì) 1 ： I(X。Y)是信道輸入概率分布 p(x)的上凸函數(shù) . ? 信息量與信道轉(zhuǎn)移概率分布的關(guān)系 性質(zhì) 2 ： I(X。Y)是信道轉(zhuǎn)移概率分布 p(y/x)的下凸函數(shù) . ? 信道容量的定義： ? 單位時間的信道容量： ()m a x ( 。 )ipxC I X Y?()1 m a x ( 。 ) ( )it pxC I X Yt? 比 特 / 秒單符號離散信道的信道容量 幾種特殊離散信道的信道容量 ? 離散無噪信道的信道容量 ? 強(qiáng)對稱離散信道的信道容量 ? 對稱信道的信道容量 ? 準(zhǔn)對稱信道的信道容量 單符號離散信道的信道容量 離散無噪信道的信道容量 ? 具有擴(kuò)展性能的無噪信道 —— 無損信道 ? 矩陣中每一列僅有一個非零元素 ? H（ X/Y） =0； H（ Y/X） ≠0 ? I（ X； Y） = H （ X） H （ Y） ? 信道容量： x1 y1 y2 x2 y3 y4 x3 y5 y6 1/2 1/2 3/5 3/10 1/10 1 1 / 2 1 / 2 0 0 0 0P= 0 0 3 / 5 3 / 1 0 1 / 1 0 00 0 0 0 0 1??????( ) ( )C = m a x ( 。 ) m a x ( ) l o giip x p xI X Y H X n??單符號離散信道的信道容量 離散無噪信道的信道容量 ? 具有并歸性能的無噪信道 —— 確定信道 ? 矩陣中每一行僅有一個非零元素 ? H（ Y/X） =0； H （ X/Y） ≠0 ? I（ X； Y） = H （ Y） H （ X） ? 信道容量： 1 0 01 0 00 1 0P=0 1 00 1 00 0 1??????????????????1 y1 x1 x2 y2 x3 x4 y3 x5 x6 1 1 1 1 1 ( ) ( )C = m a x ( 。 ) m a x ( ) l o giip x p xI X Y H Y m??單符號離散信道的信道容量 離散無噪信道的信道容量 ? 具有一一對應(yīng)關(guān)系的無噪信道 —— 既無損又確定 ? 矩陣中每一行每一列僅有一個非零元素 ? H（ Y/X） =0； H （ X/Y） =0 ? I（ X； Y） = H （ Y） = H （ X） ? 信道容量： 1 0 0P= 0 1 00 0 1????????y1 x1 x2 y2 x3 y3 1 1 1 ( ) ( )C = m a x ( 。 ) m a x ( ) l o giip x p xI X Y H X n??單符號離散信道的信道容量 強(qiáng)對稱離散信道的信道容量 單符號離散信道的信道容量 111111nnpppnnpppP nnpppnn?????????? ??????????? 強(qiáng)對稱信道或均勻信道 ? 矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性） ? 錯誤分布是均勻的，為 p/(n1) ? 信道輸入與輸出符號數(shù)相等 強(qiáng)對稱離散信道的信道容量 單符號離散信道的信道容量 ( 。 ) ( ) ( / )I X Y H Y H Y X??? 強(qiáng)對稱信道的信道容量 1111( / ) ( ) ( / ) l og ( / )( ) ( / ) ( / ) ( ) ( / )l og ( 1 ) l og11l og l og1nni j i j iijnni i i i iiiH Y X p x p y x p y xp x H Y x H Y x p x H Y xppp p