【正文】 由準(zhǔn)對稱離散信道的信道容量計(jì)算公式 ?????? ???qqqqP1001qqqqqC ???????? 11 2l o g)1()1l o g ()1( 比特 ∕ 符號 離散單符號信道及容量 稱該信道為二元純對稱刪除信道，其信道容量為 q q q q p q q p H 2 log ) 1 log( ) 1 ( ) , , 1 ( 2 log ? ? ? ? ? ? ? ? q q q p q p p p ? ? ? ? ? ? ? ? ? 1 2 log ) 1 ( ) 1 log( ) 1 ( log 如果 p=0，則 ???????????qpqppqqpP11?????nkkks MNpppHrC121 l og),(l og ?離散單符號信道及容量 1 q a 1 b 1 q b 2 q a 2 b 3 1 q 圖 34二元純對稱刪除信道 ?????????qqqqP1001 【例 】 信道轉(zhuǎn)移矩陣為 求：信道容量 。 )(1 pHC ??離散單符號信道及容量 ??????????216131312161613121當(dāng) r=2時(shí)，信道容量為 C = l og r H ( p ) p l og( r 1 )3）準(zhǔn)對稱信道容量 定義 34： 如果信道轉(zhuǎn)移矩陣按列可以劃分為幾 個(gè)互不相交的子集，每個(gè)子矩陣滿 足下列性質(zhì)： (1)每行都是第一行的某種置換； (2)每列都是第一列的某種置換。 | a i ) = 1r p ( b j | a i )i = 1r229。(m a x 1)()( rXHYXICrxpxp??? ?無噪有損信道 有噪無損信道 X Y ? ? ? ? )/(l o g)(m a x)。 Y ) = H ( Y ) H ( Y | X ) = H ( Y ) H ( p 1 , p 2 , , p s ) 所以輸入對稱信道的容量就是找到一種分布，使得信道輸出的熵最大。(m a x { ????????????????10100101)|( XYP 信道容量 X Y 1 1 1 1 (b) 無噪有損信道 有噪無損信道 信道輸出符號 Y集合的數(shù)量大于信道符號 X集合的數(shù)量 ,即 r＜ s,形成一對多的映射關(guān) .由于一對多的映射關(guān)系 ,不能由輸入完全確定信道的輸出 ,H(X︱ Y) ＞ 0， H(X)＜ H(Y),I(X。根據(jù)信道輸入符號 X與信道輸出符號 Y之間的關(guān)系，可以分為下了幾種信道。)}。 數(shù)學(xué)模型 若輸入是模擬波形，輸出也是模擬波形則為波形信道 . 若分析性能的理論極限多選用離散輸入 ,連續(xù)輸出的信道模型。248。 =p 00 p 01 p 0 , Q 1p 10 p 11 p 1 , Q 1p q 1 , 0 p q 1 , 1 p q 1 , Q 1230。231。矩陣表示形式 數(shù)學(xué)模型 （ r=s=2） 由輸入值集合 X={0,1},輸出值 Y={0,1},一組表示輸入、輸出關(guān)系的條件概率 (轉(zhuǎn)移概率 )組成。 該類信道的特性可用條件轉(zhuǎn)移概率進(jìn)行描述。 如：高斯白噪聲信道。如明線、對稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。 信道的作用： 把攜有信息的信號從它的輸入端傳遞到輸出端。 相關(guān)知識復(fù)習(xí) X={X0,X1,X2… X r1}含 r個(gè)元素的輸入符號集 Y={y0,y1,y2…y s1}含 S個(gè) 元素的輸出符號 r與 s的值不同信道模型不同 信道分類： 有線信道： 明線、對稱電纜、同軸電纜及 光纜等。 ?多用戶信道： 又稱多端信道，輸入端或者輸出端至少有一端具有兩個(gè)或者兩個(gè)以上用戶，并且可以實(shí)現(xiàn)雙向通信，目前大多數(shù)信道都是多端信道。如果信道的輸入、輸出隨機(jī)變量又都是離散的，該信道則為 單符號離散無記憶信道 。 P(ai) 為先驗(yàn)概率。249。231。247。231。247。 )。 信道容量 1. 無干擾離散信道 這類信道是理想信道。 Y ) } = m a xp ( x ) = 1r{ H ( X ) } = l og rP (Y | X ) = I r 180。 例如，信道轉(zhuǎn)移矩陣為 ???????P離散單符號信道及容量 ???????P)|()|()|( 21 raYHaYHaYH ??? ??????sjijiji abpabpaYH1)|(l o g)|()|(離散單符號信道及容量 又比如信道轉(zhuǎn)移矩陣 YH ( YHX () ? )ia∣ ∣ 即條件熵 H(Y | X)與信道輸入的符號無關(guān)。 信道 最重要特征參數(shù)是信息傳遞能力，即信道容量 . 什么是信道容量？ 互信息量 I(X,Y)是輸入符號 X 概率分布的凸函數(shù) 對于一個(gè)給定的信道，總是存在某種概率分布 p(xi), 使得傳輸每個(gè)符號平均獲得的信息量最大，即對于每 個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率，這 個(gè)最大信息傳輸速率定義為信道容量。 ???????????1001P???????????P離散單符號信道及容量 例如：信道轉(zhuǎn)移矩陣 都是輸出對稱信道。 【例 】 設(shè)某信道轉(zhuǎn)移矩陣為 求信道容量 解：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對稱的，所以信道容量為 ???????????3131616161613131P),(l o g 21 spppHsC ???)61,61,31,31(4lo g H??0 8 ? 比特 ∕ 符號 離散單符號信道及容量 【例 33】假設(shè)信道的輸入、輸出符號數(shù)相等，都等于 r,且信道條件轉(zhuǎn)移矩陣為 求 :信道容量 。 定理 31 ： 準(zhǔn)對稱離散信道的信道容量是在 信道輸入為等概率分布時(shí)達(dá)到的。234。P 1 =13161613233。234。, P 3 =1616233。234。, P 2 =1313233。234。6 1 , 3 1 , 2 1 6 1 3 1 3 2 1 ? ? ? ? ? N N N 3 1 6 1 6 1 , 3 2 3 1 3 1 , 2 1 6 1 3 1 3 2 1 ? ? ? ? ? ? ? ? ? M M M 3 1 log 6 1 3 2 log 3 1 2 1 log 2 1 ) 6 1 , 6 1 , 3 1 , 3 1 ( 2 log ? ? ? ? ? H = /符號 ?????nkkks MNpppHrC121 l og),(l og ?3. 一般離散信道的容量 從信道容量的定義知，信道容量是在信道給定的情況下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入、輸出之間的平均互信息量最大，即，使得信道的輸入概率分布與信道匹配。235。234。234。( ppHppHYXI ??????? ) o g ()( pp ??? 對 p求導(dǎo)，得到最佳分布 epppHHdpYXdIl o g) o g ()()()。 利用拉格朗日乘子法，求函數(shù) 的極值。 p k [ p i p i j l og p i j q j l og q j l ( p i 1 )i229。必須解出相應(yīng)的ip, 并確認(rèn)所有的ip, i ＝ 1,2 ,…, n都大于等于零時(shí)，所求的 C 才存在。 另，達(dá)到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得 I(X,Y)達(dá)到最大值即可。(31222 ??? ??j jjjbpabpabpYaI比特 ∕符號 )()|(l o g)|()。Y)與信道輸入和輸出中各個(gè)隨機(jī)變量的平均互信息量之和之間的關(guān)系。(m ax = ?????NiiNiiixpCYXIi 11 )()。(??miiC1離散序列符號信道及容量 當(dāng)輸入隨機(jī)變量 Xi相互獨(dú)立，且有 p(X1,X2… Xm) 達(dá)到最佳分布時(shí)容量最大 (為各自信道容量之和 )。( ??? 信源與信道的匹配 一般情況下，信源輸出符號之間總是存在較強(qiáng)的相關(guān)性，而且信源的分布與信道難以匹配。( YXI ｝比特 ∕ 符號 本章小結(jié) ? 輸入對稱離散信道： 如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。( ???本章小結(jié) 信息容量：設(shè)有一般離散信道，它有 個(gè)輸入個(gè)符號， 個(gè)輸出符號，其平均互信息 達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布 滿足（其中 ） 對 所有 的 ＜ 對 所有 。 本章小結(jié) 準(zhǔn)對稱信道： 如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的子集，每個(gè)子矩陣滿足下列性質(zhì)：(1)每行都是第一列的某種置換； (2)每列都是第一列的某種置換。 信源與信道的匹配 如果信道的傳輸速率 R小于信道容量 C,可以對信源輸出進(jìn)行適當(dāng)?shù)男诺谰幋a ,實(shí)現(xiàn)無誤差的信息傳輸； 如果信道的信息傳輸速率 R大于信道容量 C， 實(shí)現(xiàn)無差錯(cuò)信息傳輸是不可能的。對于給定離散信道，其容量是存在的，而且是一個(gè)確定量，只有信源輸入滿足最佳分布時(shí)，信息的傳輸才能夠達(dá)到信道容量，即只有特殊分布的信源才能夠使信息傳輸速率最大。