【正文】 定義： 如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是 第一列的某種置換，則稱(chēng)信道是關(guān)于輸出 對(duì)稱(chēng)離散信道。(m a x 1)()( rXHYXICrxpxp??? ?無(wú)噪有損信道 有噪無(wú)損信道 X Y ? ? ? ? )/(l o g)(m a x)。 1 / s = 1 / 3離散單符號(hào)信道及容量 此時(shí)信道輸出的概率分布為 所以，當(dāng)信道只是輸入對(duì)稱(chēng)時(shí)，信道容量不能簡(jiǎn)單認(rèn)為是 C = m a xp ( ai )H ( Y ) H ( Y | X ) = l og s H ( Y | X )上次課內(nèi)容 1. 無(wú)干擾離散信道 2. 對(duì)稱(chēng)離散信道的信道容量 1)輸入對(duì)稱(chēng)信道 信道的作用： 把攜有信息的信號(hào)從它的輸入端傳遞到輸出端。 Y ) = H ( Y ) H ( Y | X ) = H ( Y ) H ( p 1 , p 2 , , p s ) 所以輸入對(duì)稱(chēng)信道的容量就是找到一種分布，使得信道輸出的熵最大。這類(lèi)信道的特點(diǎn)是，信道概率轉(zhuǎn)移矩陣中每列只有一個(gè)非零元素 . ???????(Y∣ X) 信道容量 2. 對(duì)稱(chēng)離散信道的信道容量 對(duì)稱(chēng)離散無(wú)記憶信道是最簡(jiǎn)單的信道之一， 1）輸入對(duì)稱(chēng)信道容量 定義 32: 如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱(chēng)信道關(guān)于輸入是對(duì)稱(chēng)的，這種信道稱(chēng)為輸入對(duì)稱(chēng)離散信道。(m a x { ????????????????10100101)|( XYP 信道容量 X Y 1 1 1 1 (b) 無(wú)噪有損信道 有噪無(wú)損信道 信道輸出符號(hào) Y集合的數(shù)量大于信道符號(hào) X集合的數(shù)量 ,即 r＜ s,形成一對(duì)多的映射關(guān) .由于一對(duì)多的映射關(guān)系 ,不能由輸入完全確定信道的輸出 ,H(X︱ Y) ＞ 0， H(X)＜ H(Y),I(X。這類(lèi)信道的前向概率矩陣和后驗(yàn)概率矩陣是相等的，都是 r r單位矩陣， 信道容量 logrC = m a x{p ( x )I ( X 。根據(jù)信道輸入符號(hào) X與信道輸出符號(hào) Y之間的關(guān)系，可以分為下了幾種信道。信道傳輸?shù)?信息量 R必須小于信道容量 C,否則傳輸過(guò)程中會(huì)造成信息損失，出現(xiàn)錯(cuò)誤；反之，如果 R＜ C成立，可以通過(guò)信道編碼方法保證信息能夠幾乎無(wú)失真地傳送到接收端。)}。對(duì)于一個(gè)給定的信道，總是存在某種概率分布 ，使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于每個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率， 這個(gè)最大信息傳輸速率定義為信道容量。 數(shù)學(xué)模型 若輸入是模擬波形，輸出也是模擬波形則為波形信道 . 若分析性能的理論極限多選用離散輸入 ,連續(xù)輸出的信道模型。247。248。231。 =p 00 p 01 p 0 , Q 1p 10 p 11 p 1 , Q 1p q 1 , 0 p q 1 , 1 p q 1 , Q 1230。247。231。231。234。矩陣表示形式 數(shù)學(xué)模型 （ r=s=2） 由輸入值集合 X={0,1},輸出值 Y={0,1},一組表示輸入、輸出關(guān)系的條件概率 (轉(zhuǎn)移概率 )組成。 用條件轉(zhuǎn)移概率 可以表示輸出為 bj 的 各種可能性 ) ( ij abpiax ?輸入 : 傳輸?shù)倪^(guò)程中出現(xiàn)錯(cuò)誤 數(shù)學(xué)模型 信道輸入、輸出符號(hào)之間的聯(lián)合分布為 ) ()(),( ijiji abpapbap ?) ( ij abp前向概率，表示在輸入為 x=ai 時(shí)，通過(guò)信道后接收為 bj 的概率，描述了信道噪聲的特性。 該類(lèi)信道的特性可用條件轉(zhuǎn)移概率進(jìn)行描述。 信道分類(lèi) 數(shù)學(xué)模型 若信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān)聯(lián)性，信道的分析可簡(jiǎn)化為對(duì)單個(gè)符號(hào)的信道分析，此時(shí)輸入、輸出可以看做是單符號(hào)的，稱(chēng)這類(lèi)信道為單符號(hào)信道。 如：高斯白噪聲信道。 信道分類(lèi) 3．單用戶信道和多用戶信道 ?單用戶信道： 信道只有一個(gè)輸入端和一個(gè)輸出端，且只能進(jìn)行單方向的通信。如明線、對(duì)稱(chēng)電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。以無(wú)記憶、無(wú)反饋、固定參數(shù)的離散信道為重點(diǎn)內(nèi)容討論。 信道的作用： 把攜有信息的信號(hào)從它的輸入端傳遞到輸出端。 它的最重要特征參數(shù)是信息傳遞能力，即信道容量問(wèn)題。 相關(guān)知識(shí)復(fù)習(xí) X={X0,X1,X2… X r1}含 r個(gè)元素的輸入符號(hào)集 Y={y0,y1,y2…y s1}含 S個(gè) 元素的輸出符號(hào) r與 s的值不同信道模型不同 信道分類(lèi)： 有線信道： 明線、對(duì)稱(chēng)電纜、同軸電纜及 光纜等。 ?隨參信道： 信道的統(tǒng)計(jì)特性隨時(shí)間而變化。 ?多用戶信道： 又稱(chēng)多端信道，輸入端或者輸出端至少有一端具有兩個(gè)或者兩個(gè)以上用戶，并且可以實(shí)現(xiàn)雙向通信，目前大多數(shù)信道都是多端信道。 ?突發(fā)差錯(cuò)信道： 信道中噪聲或干擾對(duì)傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨(dú)立，使碼元錯(cuò)誤成串出現(xiàn)。如果信道的輸入、輸出隨機(jī)變量又都是離散的，該信道則為 單符號(hào)離散無(wú)記憶信道 。 輸入 ，輸出 時(shí)對(duì)應(yīng)的條件轉(zhuǎn)移概率為 ) () () ( ijij abpaxbypxyp ????1) (1???sjij abpjby ?iax ? 數(shù)學(xué)模型 稱(chēng)該矩陣為：條件轉(zhuǎn)移矩陣 或者信道轉(zhuǎn)移矩陣。 P(ai) 為先驗(yàn)概率。 P(yj /xi) X{0,1} Y{0,1} 數(shù)學(xué)模型 若信道存在干擾，導(dǎo)致二進(jìn)制序列發(fā)生統(tǒng)計(jì)獨(dú)立的差錯(cuò)，且條件概率對(duì)稱(chēng) . P(Y=1/X=1)=P(Y=0/X=0)=1P 即 P(Y=0/X=1)=P(Y=1/X=0)=P 輸入是 1或 0輸出為 0或 1 01P PP P233。249。P= 0 1 這種對(duì)稱(chēng)二進(jìn)二出的信道叫做二進(jìn)制對(duì)稱(chēng)信道 ,簡(jiǎn)稱(chēng) BSC信道 . 數(shù)學(xué)模型 信道模型 : 0 1 1P P P 1P 1 0 這種信道的輸出符號(hào)僅與對(duì)應(yīng)時(shí)刻輸入符號(hào)有關(guān) ,與以前輸入無(wú)關(guān)，故稱(chēng)此信道是無(wú)記憶信道的 . 數(shù)學(xué)模型 則 P(Y=yi/X=xi)=P(yi/xi)稱(chēng)為離散無(wú)記憶信道 若輸入值的集合 X={X0,X1… Xr1} 輸出 Y={y0,y1… ys1} 且信道和調(diào)制過(guò)程是無(wú)記憶的 離散無(wú)記憶信道 (DMC) 數(shù)學(xué)模型 決定 DMC特點(diǎn)的條件概率 P(yj/xi)可寫(xiě)成矩陣形式 P(Y1=V1， Y2=V2…Yn=Vn/X=U1…X=Un) = p ( Y Rn213。231。246。247。232。231。247。247。 選擇何種模型取決于我們目的 . 從工程上講 ,最常用的 DMC信道或 BSC信道 . 數(shù)學(xué)模型 信道容量 在單符號(hào)離散信道中，平均每個(gè)符號(hào)傳送的信息量定義為信道的信息傳輸率 。 )。(m a x {)(YXICxp?)。 信道容量 1. 無(wú)干擾離散信道 這類(lèi)信道是理想信道。 信道容量 ? 無(wú)噪無(wú)損信道 該信道的輸入、輸出集合符號(hào)數(shù)量相等，輸入 X與輸出 Y之間是一一對(duì)應(yīng)。 Y ) } = m a xp ( x ) = 1r{ H ( X ) } = l og rP (Y | X ) = I r 180。Y)=H(X). X Y (c) 有噪無(wú)損信道 信道的容量為 ? ? ? ? )/(l o g)(m a x)。 例如，信道轉(zhuǎn)移矩陣為 ???????P離散單符號(hào)信道及容量 ???????P)|()|()|( 21 raYHaYHaYH ??? ??????sjijiji abpabpaYH1)|(l o g)|()|(離散單符號(hào)信道及容量 又比如信道轉(zhuǎn)移矩陣 YH ( YHX () ? )ia∣ ∣ 即條件熵 H(Y | X)與信道輸入的符號(hào)無(wú)關(guān)。 【例 】 信道的轉(zhuǎn)移矩陣為 求該信道的容量 。 信道 最重要特征參數(shù)是信息傳遞能力，即信道容量 . 什么是信道容量？ 互信息量 I(X,Y)是輸入符號(hào) X 概率分布的凸函數(shù) 對(duì)于一個(gè)給定的信道，總是存在某種概率分布 p(xi), 使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于每 個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率，這 個(gè)最大信息傳輸速率定義為信道容量。(m a x )()( 符號(hào)比特rxHYXIC xpxp ???? ? ? ? 符號(hào)比特 /l o g)(m a x)。 ???????????1001P???????????P離散單符號(hào)信道及容量 例如：信道轉(zhuǎn)移矩陣 都是輸出對(duì)稱(chēng)信道。 = 1s信道輸出符號(hào)的熵為 sYH lo g)( ?離散單符號(hào)信道及容量 由于信道轉(zhuǎn)移矩陣是已知的， H(Y∣X) 可以使用下列公式 離散單符號(hào)信道及容量 只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量 H ( Y | X ) = p ( a i ) H ( Y | a i )i = 1r229。 【例 】 設(shè)某信道轉(zhuǎn)移矩陣為 求信道容量 解：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對(duì)稱(chēng)的，所以信道容量為 ???????????3131616161613131P),(l o g 21 spppHsC ???)61,61,31,31(4lo g H??0 8 ? 比特 ∕ 符號(hào) 離散單符號(hào)信道及容量 【例 33】假設(shè)信道的輸入、輸出符號(hào)數(shù)相等，都等于 r,且信道條件轉(zhuǎn)移矩陣為 求 :信道容量 。 稱(chēng)該信道為準(zhǔn)對(duì)稱(chēng)信道。 定理 31 ： 準(zhǔn)對(duì)稱(chēng)離散信道的信道容量是在 信道輸入為等概率分布時(shí)達(dá)到的。 解：該信道是準(zhǔn)對(duì)稱(chēng)信道，可以分解為三個(gè)互不相交的子集，分別為 P =1313161616131613233。234。P 1 =13161613233。234。, P 2 =1313233。2