【正文】 上式說明條件熵是由噪聲引起的，它等于噪聲信源的熵。 輸入 0 1 1p 1p p p 輸出 0 1 信息論與編碼 信道與信道容量 （ 2） 離散無記憶信道 ? 設(shè)信道的輸入符號集合是 ， ? 輸出符號集合是 ? 再加上一組（ mn個）轉(zhuǎn)移概率 這樣的一種信道稱為離散無記憶信道 ? （ DMC:Discrete Memoryless Channel） 。如果描述二進(jìn)制離散信道的轉(zhuǎn)移概率對稱，即 則稱這種二進(jìn)制輸入、二進(jìn)制輸出的信道為二進(jìn)制對稱信道。 ? 有干擾無記憶信道：信道的輸出符號 Y與輸入符號 X之間沒有確定的關(guān)系，但轉(zhuǎn)移概率滿足 ? 即每個輸出符號只與當(dāng)前輸入符號之間有概率轉(zhuǎn)移關(guān)系。由于實際信道的帶寬總是有限的，所以輸入信號和輸出信號總可以分解成時間離散的隨機(jī)序列。 信息論與編碼 信道與信道容量 ?信道的分類：從不同的角度，有不同的分類方法。信道的任務(wù)是以信號方式傳輸信息。第 3章 信道與信道容量 ? 信道的基本概念 ? 離散單個符號信道及其容量 ? 離散序列信道及其容量 ? 連續(xù)信道及其容量 ? 信源與信道的匹配 信息論與編碼 信道與信道容量 ?由于一般信道中總是存在噪聲和干擾，在這樣的信道中進(jìn)行信息傳輸會造成損失。在信道中會引入噪聲，這些都會使信號通過信道后產(chǎn)生錯誤和失真，故信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計依賴關(guān)系。 ? 根據(jù)信道的參數(shù)是否隨時間變化，可以分為： （ 1） 固定參數(shù)信道 ：信道的參數(shù)不隨時間變化； （ 2） 時變參數(shù)信道 ：信道的參數(shù)隨時間變化。序列的取值可以是連續(xù)的，也可以是離散的，因此，波形信道可以分解成連續(xù)信道或離散信道或半離散半連續(xù)信道。 ? 在這種情況下，只需分析單個符號的轉(zhuǎn)移概率即可 )/()/()/()( 2211 LL xypxypxypp ??Y / X信息論與編碼 信道與信道容量 ? 有干擾有記憶信道： ? 一般情況都是如此，常用的方法有兩種 ? 將記憶很強(qiáng)的 L個符號當(dāng)矢量符號，各矢量符號之間是無記憶的，但此事會引入誤差， L越大，誤差越小 ? 將轉(zhuǎn)移概率看成馬爾科夫鏈的形式，記憶有限，信道的統(tǒng)計特性可用在已知現(xiàn)在時刻輸入符號和前信道所處的狀態(tài)的條件概率來描述，這種處理方法比較復(fù)雜，通常取一階時稍簡單 信息論與編碼 信道與信道容量 下面我們討論幾種常用信道。 pXYpXYppXYpXYp?????????????1)0/0()1/1()0/1()1/0(信息論與編碼 信道與信道容量 如圖所示。 },{ 110 ?? myyyY ?)/()/( ijij xypxXyYp ???},{ 110 ?? nxxxX ?信息論與編碼 信道與信道容量 ??????????????????? 1,11,11,01,111010,11000mnmmnnppppppppp???????P可以把轉(zhuǎn)移概率寫成矩陣的形式，即 信息論與編碼 信道與信道容量 圖示 a0 an1 a1 b0 b1 bm1 信息論與編碼 信道與信道容量 （ 3）離散輸入、連續(xù)輸出信道 ? 信道輸入符號選自一個有限離散的符號集合 ? 信道輸出時未經(jīng)量化的任意值，即 m∞ ? 信道特性由轉(zhuǎn)移概率密度函數(shù)決定 ? 典型信道是加性高斯白噪聲信道（ AWGN） },{ 110 ?? naaa ?XniaXyp iY ,2,1),|( ???22 2/)(21)|( ???iayiY eaXyp????信息論與編碼 信道與信道容量 （ 4）波形信道 ? 輸入和輸出都是隨機(jī)過程 {x(t)}和 {y(t)}，模擬系統(tǒng)。故條件熵也稱噪聲熵。( YXHXHYXIR ???tYXIR t /)。 ? 因此對于一個固定的信道，總存在一種信源符號的概率分布，使 傳輸每個符號平均獲得的信息量最大。({m a x)( YXIC xp?信息論與編碼 信道與信道容量 ? 有時候也把單位時間內(nèi)信道平均傳輸?shù)淖畲笮畔⒘拷凶鲂诺廊萘?，? ? 信道容量 C已與輸入信源的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。({m a x1)(YXItCxpt?信息論與編碼 信道與信道容量 ? 無干擾離散信道 ? 設(shè)信道的輸入符號集合是 輸出符號集合是 按照 X與 Y的對應(yīng)關(guān)系，可以分為如下幾類 ? 無噪無損信道 ? 無噪有損信道 ? 有噪無損信道 ? 這些信道 是部分理想化的，使用中比較少 },{ 110 ?? nxxxX ?},{ 110 ?? myyyY ? ? 無干擾離散信道的信道容量 X Y X Y X Y 1 1 1 1 1 1 1 1 1 1 1 1 1 ( a) 無噪無損信道 ( b) 無噪有損信道 ( c) 有噪無損信道 X、 Y一一對應(yīng) C＝ log n 多個輸入變成一個輸出 C＝ maxH(Y) 一個輸入對應(yīng)多個輸出 C＝ maxH(X) 信息論與編碼 信道與信道容量 ? DMC信道的信道容量 ? 設(shè) DMC信道 的輸入符號集合是 ? 輸出符號集合是 ? 轉(zhuǎn)移概率 由信道特性決定。( nimj jijiji ypxypxypxpYXI? ???????1010)()( )()/(l og)/()(m a x)。 信息論與編碼 信道與信道容量 對稱 DMC信道 : ??????????3131616161613131????????????????216131312161613121信息論與編碼 信道與信道容量 對稱 DMC信道的性質(zhì)： i）對稱 DMC信道的條件熵 H(Y/X)與信道輸入符號的概率分布無關(guān)，且有 這是因為 與 無關(guān)。信道容量為 ?????????????????????????????????????111111111???????nnnnnnP)1,1,1(l og ????? nnHnC ??? ?信息論與編碼 信道與信道容量 信息論與編碼 信道與信道容量 （ 2） BSC信道的信道容量 BSC信道是均勻 DMC信道在輸入輸出在 n=m=2時的特例，所以對于轉(zhuǎn)移概率為 p(0/1)=p(1/0)=p， p(0/0)=p(1/1)=1p的信道，當(dāng) 時，其平均互信息量最大，即其信道容量為： 21)()()()(1010 ???? ypypxpxp信息論與編碼 信道與信道容量 )]1(2l o g [)1()2l o g ()](/)1/1(l o g [)1/1()()](/)1/0(l o g [)1/0()()](/)0/1(l o g [)0/1()()](/)0/0(l o g [)0/0()(11011000ppppypppxpypppx