【正文】 第 3章 信道與信道容量 ? 信道的基本概念 ? 離散單個符號信道及其容量 ? 離散序列信道及其容量 ? 連續(xù)信道及其容量 ? 信源與信道的匹配 信息論與編碼 信道與信道容量 ?由于一般信道中總是存在噪聲和干擾，在這樣的信道中進行信息傳輸會造成損失。那么在有噪信道中怎么能夠使消息通過傳輸后發(fā)生的錯誤最少？在有噪信道中無錯誤傳輸可以達到的最大信息率是多少？這就是本章研究的內(nèi)容。 信息論與編碼 信道與信道容量 ?信道分類和表示參數(shù) ? 通信系統(tǒng)中，信道是非常重要的部分。信道的任務是以信號方式傳輸信息。在信道中會引入噪聲，這些都會使信號通過信道后產(chǎn)生錯誤和失真，故信道的輸入和輸出之間一般不是確定的函數(shù)關系，而是統(tǒng)計依賴關系。 ? 只要知到了信道的輸入信號和輸出信號以及它們之間的統(tǒng)計依賴關系，則信道的全部特性就確定了。所以可以用信道的轉(zhuǎn)移概率矩陣 P(Y/X)來 描述信道、信道的數(shù)學模型及分類 ? 研究信道，就要研究信道中能夠傳送的最大信息量，即信道容量問題。 信息論與編碼 信道與信道容量 ?信道的分類：從不同的角度，有不同的分類方法。 ? 根據(jù)信道的參數(shù)是否隨時間變化，可以分為： （ 1） 固定參數(shù)信道 ：信道的參數(shù)不隨時間變化； （ 2） 時變參數(shù)信道 ：信道的參數(shù)隨時間變化。 ? 根據(jù)輸入和輸出信號的特點，可以分為： （ 1） 離散信道 ：信道的輸入和輸出的隨機序列取值都是離散的； （ 2） 連續(xù)信道 ：信道的輸入和輸出的隨機序列的取值都是連續(xù)的； 信息論與編碼 信道與信道容量 （ 3） 半離散或半連續(xù)信道 ：輸入序列是離散的但相應的輸出序列是連續(xù)的，或者反過來； （ 4） 波形信道 ：信道的輸入輸出不但取值是連續(xù)的，而且還隨時間連續(xù)變化。一般可用隨機過程來描述其輸入輸出。由于實際信道的帶寬總是有限的，所以輸入信號和輸出信號總可以分解成時間離散的隨機序列。序列的取值可以是連續(xù)的，也可以是離散的，因此，波形信道可以分解成連續(xù)信道或離散信道或半離散半連續(xù)信道。 信息論與編碼 信道與信道容量 ? 信道參數(shù) ? 設信道的輸入矢量和輸出矢量分別是 ? 通常采用條件概率 來描述信道輸入輸出信號之間統(tǒng)計的依賴關系。 ? 該條件概率通常稱為轉(zhuǎn)移概率 ),( 21 ?? iXXX?X },{ 21 ni aaaAX ???},{ 21 mi bbbBY ???)/( XYp),( 21 ?? jYYY?Y信息論與編碼 信道與信道容量 ? 根據(jù)信道是否存在干擾以及有無記憶，可將信道分為下面三類 ? 無干擾信道：信道的輸出符號 Y與輸入符號 X之間又確定的關系 Y=f(X),已知 X后就確知 Y。 ? 有干擾無記憶信道：信道的輸出符號 Y與輸入符號 X之間沒有確定的關系，但轉(zhuǎn)移概率滿足 ? 即每個輸出符號只與當前輸入符號之間有概率轉(zhuǎn)移關系。 ? 在這種情況下，只需分析單個符號的轉(zhuǎn)移概率即可 )/()/()/()( 2211 LL xypxypxypp ??Y / X信息論與編碼 信道與信道容量 ? 有干擾有記憶信道： ? 一般情況都是如此，常用的方法有兩種 ? 將記憶很強的 L個符號當矢量符號，各矢量符號之間是無記憶的，但此事會引入誤差， L越大，誤差越小 ? 將轉(zhuǎn)移概率看成馬爾科夫鏈的形式，記憶有限，信道的統(tǒng)計特性可用在已知現(xiàn)在時刻輸入符號和前信道所處的狀態(tài)的條件概率來描述，這種處理方法比較復雜，通常取一階時稍簡單 信息論與編碼 信道與信道容量 下面我們討論幾種常用信道。 （ 1） 二進制離散信道 二進制離散信道的輸入值集合是 {0， 1}， 輸出值集合也是 {0，1}，再加上一組描述信道統(tǒng)計特性的轉(zhuǎn)移概率，就可以完全確定信道。 ? 二進制離散信道的一個特例： 二進制對稱信道 （ BSCBinary Symmetric Channel） 。如果描述二進制離散信道的轉(zhuǎn)移概率對稱，即 則稱這種二進制輸入、二進制輸出的信道為二進制對稱信道。 pXYpXYppXYpXYp?????????????1)0/0()1/1()0/1()1/0(信息論與編碼 信道與信道容量 如圖所示。 ? BSC信道是無記憶信道。 ? BSC信道是研究二元編解碼最簡單也是最常用的信道模型。 輸入 0 1 1p 1p p p 輸出 0 1 信息論與編碼 信道與信道容量 （ 2） 離散無記憶信道 ? 設信道的輸入符號集合是 ， ? 輸出符號集合是 ? 再加上一組（ mn個）轉(zhuǎn)移概率 這樣的一種信道稱為離散無記憶信道 ? （ DMC:Discrete Memoryless Channel） 。 },{ 110 ?? myyyY ?)/()/( ijij xypxXyYp ???},{ 110 ?? nxxxX ?信息論與編碼 信道與信道容量 ??????????????????? 1,11,11,01,111010,11000mnmmnnppppppppp???????P可以把轉(zhuǎn)移概率寫成矩陣的形式，即 信息論與編碼 信道與信道容量 圖示 a0 an1 a1 b0 b1 bm1 信息論與編碼 信道與信道容量 （ 3）離散輸入、連續(xù)輸出信道 ? 信道輸入符號選自一個有限離散的符號集合 ? 信道輸出時未經(jīng)量化的任意值，即 m∞ ? 信道特性由轉(zhuǎn)移概率密度函數(shù)決定 ? 典型信道是加性高斯白噪聲信道（ AWGN） },{ 110 ?? naaa ?XniaXyp iY ,2,1),|( ???22 2/)(21)|( ???iayiY eaXyp????信息論與編碼 信道與信道容量 （ 4）波形信道 ? 輸入和輸出都是隨機過程 {x(t)}和 {y(t)}，模擬系統(tǒng)。 ? 對于頻帶受限的波形信道，可以用抽樣的方法變成時間離散信道。設帶寬為 W，則在 T時間間隔內(nèi)，根據(jù)抽樣定理，應該抽樣至少 2WT個 點，分別記為輸入 和輸出 ? 這樣波形信道就轉(zhuǎn)化為多維連續(xù)信道 ],[ 21 Nxxx ??NX],[ 21 Nyyy ??NY信息論與編碼 信道與信道容量 ? 信道轉(zhuǎn)移概率密度函數(shù)為 且滿足完備性。 ? 連續(xù)無記憶信道，滿足 ? 一般情況下，是有記憶信道 ),|,()|( 2121 LLYY xxxyyypp ???xy????LlllYLLYY xypxxxyyypp12121 )/(),|,()|( ??xy信息論與編碼 信道與信道容量 ? 對于加性噪聲，單符號信道可以表示為 y(t)=x(t)+n(t) n(t) 為噪聲過程的一個樣本函數(shù) ? 由于噪聲和信號相互獨立，所以有 ? 轉(zhuǎn)移概率為 即信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù) )()(),(),( , npxpnxpyxp nXnXYX ??)()( ),()( ),()|( , npxp nxpxp yxpxyp nXnXXYXY ???信息論與編碼 信道與信道容量 條件熵 )()(l o g)()(l o g)()()|(l o g)|()()|(l o g),()/(,nHdnnpnpdnnpnpdxxpdyxypxypdxxpd x d yxypyxpXYHRnnRnRXYRYRXYYXR?????????????信息論與編碼 信道與信道容量 ? 上式說明條件熵是由噪聲引起的，它等于噪聲信源的熵。故條件熵也稱噪聲熵。 ? 在加性多維連續(xù)信道中，輸入矢量 X、輸出矢量 Y和噪聲矢量 n之間的關系是 Y=X+n 可得 )()|()()|(nXYnxy nYcc HHpp??信息論與編碼 信道與信道容量 ? 我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量，即 信息傳輸率 R。而信道的信息傳輸率就是平均互信息，即 bit/符號 ? 若已知平均傳輸一個符號所需的時間為 t(s)，則將信