【正文】 信息論與編碼基礎(chǔ)教程 第 3章 信道及信道容量 本章主要內(nèi)容 信源與信道的匹配 * 連續(xù)信道及其容量 本次課內(nèi)容 信道的基本概念 離散單符號(hào)信道及容量 數(shù)學(xué)模型 信道容量 信道 (information channels)： 是信號(hào)的傳輸媒質(zhì)。 信道的作用： 把攜有信息的信號(hào)從它的輸入端傳遞到輸出端。 它的最重要特征參數(shù)是信息傳遞能力，即信道容量問題。 相關(guān)知識(shí)復(fù)習(xí) ? 本章主要討論離散信道的統(tǒng)計(jì)特性和數(shù)學(xué)模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導(dǎo)出信道容量的概念和幾種比較典型的信道的信道容量計(jì)算方法。 ? 本章重點(diǎn)在于研究一個(gè)輸入端和一個(gè)輸出端的信道，即單用戶信道。以無記憶、無反饋、固定參數(shù)的離散信道為重點(diǎn)內(nèi)容討論。 相關(guān)知識(shí)復(fù)習(xí) X={X0,X1,X2… X r1}含 r個(gè)元素的輸入符號(hào)集 Y={y0,y1,y2…y s1}含 S個(gè) 元素的輸出符號(hào) r與 s的值不同信道模型不同 信道分類： 有線信道： 明線、對(duì)稱電纜、同軸電纜及 光纜等。 無線信道： 地波傳播、短波電離層反射、 超短波或微波視距中繼、人造 衛(wèi)星中繼以及各種散射信道等。 信道分類 2．恒參信道和隨參信道 ?恒參信道： 信道的統(tǒng)計(jì)特性不隨時(shí)間而變化。如明線、對(duì)稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。 ?隨參信道： 信道的統(tǒng)計(jì)特性隨時(shí)間而變化。大多數(shù)的信道都是隨參信道，統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對(duì)流層散射信道等。 信道分類 3．單用戶信道和多用戶信道 ?單用戶信道： 信道只有一個(gè)輸入端和一個(gè)輸出端，且只能進(jìn)行單方向的通信。 ?多用戶信道： 又稱多端信道，輸入端或者輸出端至少有一端具有兩個(gè)或者兩個(gè)以上用戶，并且可以實(shí)現(xiàn)雙向通信，目前大多數(shù)信道都是多端信道。 信道分類 5．隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道。 ? 隨機(jī)差錯(cuò)信道： 信道中傳輸碼元所遭受的噪聲是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯(cuò)誤不會(huì)成串出現(xiàn)。 如：高斯白噪聲信道。 ?突發(fā)差錯(cuò)信道： 信道中噪聲或干擾對(duì)傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨(dú)立，使碼元錯(cuò)誤成串出現(xiàn)。 如：衰落信道、碼間干擾信道。 移動(dòng)通信的信道、光盤存儲(chǔ)屬于該類信道。 信道分類 數(shù)學(xué)模型 若信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān)聯(lián)性，信道的分析可簡(jiǎn)化為對(duì)單個(gè)符號(hào)的信道分析，此時(shí)輸入、輸出可以看做是單符號(hào)的，稱這類信道為單符號(hào)信道。如果信道的輸入、輸出隨機(jī)變量又都是離散的，該信道則為 單符號(hào)離散無記憶信道 。 離散單符號(hào)信道及容量 設(shè)離散信道的輸入變量為 X，輸出變量為 Y，對(duì)應(yīng)的概率空間分別為 ??????????????????????????)()()()()()()()(21212121ssrrbpbpbpbbbypYapapapaaaxpX????輸入符號(hào)集合的元素個(gè)數(shù)為 r，輸出符號(hào)集合的元素個(gè)數(shù)為 s 數(shù)學(xué)模型 i=1， 2， …， r， j=1， 2， …， s。 表明：在輸入 x的情況下，信道輸出 y的取值只能是其中的一個(gè)，不可能還有其他的取值。 該類信道的特性可用條件轉(zhuǎn)移概率進(jìn)行描述。 輸入 ，輸出 時(shí)對(duì)應(yīng)的條件轉(zhuǎn)移概率為 ) () () ( ijij abpaxbypxyp ????1) (1???sjij abpjby ?iax ? 數(shù)學(xué)模型 稱該矩陣為：條件轉(zhuǎn)移矩陣 或者信道轉(zhuǎn)移矩陣。 ???????????????)()()()()()()()()()/(212222111211rsrrssabpabpabpabpabpabpabpabpabpXYP??????? 用矩陣表示信道輸入輸出符號(hào)之間的條件轉(zhuǎn)移關(guān)系 數(shù)學(xué)模型 由于信道中存在干擾或者噪聲，信道輸入符號(hào)與輸出符號(hào)之間并不是一一對(duì)應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計(jì)方法。 用條件轉(zhuǎn)移概率 可以表示輸出為 bj 的 各種可能性 ) ( ij abpiax ?輸入 : 傳輸?shù)倪^程中出現(xiàn)錯(cuò)誤 數(shù)學(xué)模型 信道輸入、輸出符號(hào)之間的聯(lián)合分布為 ) ()(),( ijiji abpapbap ?) ( ij abp前向概率，表示在輸入為 x=ai 時(shí)，通過信道后接收為 bj 的概率，描述了信道噪聲的特性。 P(ai) 為先驗(yàn)概率。 聯(lián)合分布還可以表示為 后驗(yàn)概率 ,表示當(dāng)接收符號(hào)為 bj時(shí) ,信道輸入為 ai的概率。 p ( a i , b j ) = p ( b j ) p ( a i b j )p (a i b j ) 數(shù)學(xué)模型 可以得到后驗(yàn)概率為 ????????????)()()(21sbpbpbp?????????????)()()(21rapapap?????rrijiijijjijiabpapabpapbpbapbap1)()()()()(),() (= PT(Y︱ X) 由前向概率和先驗(yàn)概率可計(jì)算出信道輸出符號(hào)概率 p ( b j ) = p ( a i ) p ( b j a i )i = 1r229。矩陣表示形式 數(shù)學(xué)模型 （ r=s=2） 由輸入值集合 X={0,1},輸出值 Y={0,1},一組表示輸入、輸出關(guān)系的條件概率 (轉(zhuǎn)移概率 )組成。 P(yj /xi) X{0,1} Y{0,1} 數(shù)學(xué)模型 若信道存在干擾，導(dǎo)致二進(jìn)制序列發(fā)生統(tǒng)計(jì)獨(dú)立的差錯(cuò)，且條件概率對(duì)稱 . P(Y=1/X=1)=P(Y=0/X=0)=1P 即 P(Y=0/X=1)=P(Y=1/X=0)=P 輸入是 1或 0輸出為 0或 1 01P PP P233。235。234。234。249。P= 0 1 這種對(duì)稱二進(jìn)二出的信道叫做二進(jìn)制對(duì)稱信道 ,簡(jiǎn)稱 BSC信道 . 數(shù)學(xué)模型 信道模型 : 0 1 1P P P 1P 1 0 這種信道的輸出符號(hào)僅與對(duì)應(yīng)時(shí)刻輸入符號(hào)有關(guān) ,與以前輸入無關(guān)，故稱此信道是無記憶信道的 . 數(shù)學(xué)模型 則 P(Y=yi/X=xi)=P(yi/xi)稱為離散無記憶信道 若輸入值的集合 X={X0,X1… Xr1} 輸出 Y={y0,y1… ys1} 且信道和調(diào)制過程是無記憶的 離散無記憶信道 (DMC) 數(shù)學(xué)模型 決定 DMC特點(diǎn)的條件概率 P(yj/xi)可寫成矩陣形式 P(Y1=V1， Y2=V2…Yn=Vn/X=U1…X=Un) = p ( Y Rn213。 = U R / X = u R )若 DMC信道的輸入、輸出是由 n個(gè)符號(hào)組成的序列 , 其中 ui∈ X,vi∈ Y， i=1 2,3,4…n,則聯(lián)合條件概率為 : P = [ p i j ] 數(shù)學(xué)模型 轉(zhuǎn)移概率矩陣 P =p ( y 0 / x 0 ) p ( y 1 / x 0 ) p ( y Q 1 / x 0 )p ( y 0 / x 1 ) p ( y 1 / x 1 ) p ( y Q 1 / x 1 )p ( y 0 / x q 1 ) p ( y 1 / x q 1 ) p ( y Q 1 / x q 1 )230。232。231。231。231。231。231。246。248。247。247。247。247。247。 =p 00 p 01 p 0 , Q 1p 10 p 11 p 1 , Q 1p q 1 , 0 p q 1 , 1 p q 1 , Q 1230。232。231。231。231。231。231。246。248。247。247。247。247。247。 數(shù)學(xué)模型 若信道中有干擾 ,信道輸出不是一個(gè)固定值 ,是概率各異的一組值 , 稱有擾離散信道 .輸入 Xi時(shí) ,各可能輸出值 yj的概率之和必得 1,即 : p ( jy ix )j = 0Q 1229。= 1 數(shù)學(xué)模型 設(shè)信道輸入符號(hào)是有限、離散的 ,其輸入字符集 X = 0x , 1x ... r 1x{ }信道輸出 )( ??s ? ????? ,Y稱離散輸入 ,連續(xù)輸出信道 . 即 又稱半離散或半連續(xù)信道。 數(shù)學(xué)模型 若輸入是模擬波形，輸出也是模擬波形則為波形信道 . 若分析性能的理論極限多選用離散輸入 ,連續(xù)輸出的信道模型。 選擇何種模型取決于我們目的 . 從工程上講 ,最常用的 DMC信道或 BSC信道 . 數(shù)學(xué)模型 信道容量 在單符號(hào)離散信道中，平均每個(gè)符號(hào)傳送的信息量定義為信道的信息傳輸率 。從統(tǒng)計(jì)角度而言，信道的噪聲總是有限的，總有部分信息能夠準(zhǔn)確傳輸，所以信道的信息傳輸率為 信道容量 R = I ( X 。Y ) 互信息量 是輸入符號(hào) X 概率分布的凸函數(shù)。對(duì)于一個(gè)給定的信道，總是存在某種概率分布 ，使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于每個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率， 這個(gè)最大信息傳輸速率定義為信道容量。 )。( YXI)(xp什么是信道容量？ 信道容量 定義 31 設(shè)某信道的平均互信息量為 ，信道輸入符號(hào)的先驗(yàn)概率為 ，該信道的信道容量 C 定義為 比特 /符號(hào) p ( x = a i ) 179。 0 , i = 1 , 2 , , rp ( a i ) = 1i = 1r229。)}。(m a x {)(YXICxp?)。( YXI)(xp先驗(yàn)概率分布 應(yīng)當(dāng)滿足下列條件 信道容量 對(duì)于給定信道，條件轉(zhuǎn)移概率 p(bj︱ ai)是一定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗(yàn)概率分布p(x)，使 得 平均互信息量最大 ,這種先驗(yàn)分布概率為最佳分布。 信道容量 如果信道輸入滿足最佳分布，信息傳輸率最大，即達(dá)到信息容量 C；如果信道輸入的先驗(yàn)分布不是最佳分布，那么信息傳輸率不能夠達(dá)到信息容量 C。