【正文】 (1)。 即稱該信道為準(zhǔn)對稱信道。( YXI)(xpC C =)(m a xxp｛ )。 信源與信道的匹配 本章小結(jié)： 信道及信道容量是 Shannon信息論的基本概念之一，也是通信理論與工程所研究的基本問題之一。(1)。 信源與信道的匹配 一般信源與信道連接時 ,信息傳輸速率 R等于信源與信宿之間的平均互信息量 R=I(X,Y)。而且滿足 C ≤ min{ C1， C2， … ， Cm} 將 m個相互獨立的信道并聯(lián)，如圖所示， ???miiimm XYpXXXYYYp12121 )(),( ??離散序列符號信道及容量 )( ii XYp 每個信道輸出 Yi只與本信道輸入 Xi有關(guān)(i=1,2,… ,m), 假設(shè)各個信道的轉(zhuǎn)移概率分別為 ，那么序 列的轉(zhuǎn)移概率為 如果每個信道都是無記憶的，總的信道也是無記憶的，則滿足 I(X； Y)≤ 獨立并聯(lián)信道的容量為 ? C=maxI(X； Y)≤ ??miii YXI1)。 對信道進(jìn)行二次擴(kuò)展，擴(kuò)展后的信道轉(zhuǎn)移矩陣為 解：由擴(kuò)展信道的轉(zhuǎn)移矩陣知，二次擴(kuò)展信道是對稱信道，當(dāng)輸入序列等概率分布時可以達(dá)到信息容量 C2，將擴(kuò)展后的每種序列排列認(rèn)為是一個符號，二次擴(kuò)展信道就等價于四元信道，四元對稱信道的信道容量為 )),1(),1(,)1((4l o g 222 ppppppHC ????? )),1(),1(,)1((2 22 ppppppH ????? 比特 / 序列 離散序列符號信道及容量 離散序列符號信道及容量 在實際中經(jīng)常有信道的并聯(lián)和串聯(lián)，下面簡單介紹。 對于一般的離散無記憶信道的 N次擴(kuò)展信道，如果信道輸入隨機(jī)變量是無記憶的，且信道是非平穩(wěn)的則有 C N = )(m a xxpI ( X ； Y ) = ??NiiixpYXI1)()。( 離散序列符號信道及容量 各互信息量滿足下列關(guān)系： I(X。 )/( 22 XYp)/( 11 XYp?)/( NN XYp1Y2Y?NY1X2X?NX)( 21 NN XXXX ??)( 21 NN YYYY ?? (3)如果輸入序列和信道都是無記憶的，則 其中 ,Xi和 Yi分別表示隨機(jī)序列 X和 Y中第 i個隨機(jī)變量 該定理描述了離散信道中隨機(jī)序列的平均互信息量 I(X。 ( Y a I i ＜ C 對所有 0 ) ( ? i a p 的 i a 前面討論了輸入和輸出都是單個隨機(jī)變量的信道及其容量，分析了對稱信道、準(zhǔn)對稱信道、一般離散信道的信道容量和信道最佳概率分布的計算方法。(31111 ?? ??j jjjbpabpabpYaI比特 ∕符號 )()|(l o g)|()。 離散單符號信道及容量 【例 37】 設(shè)某信道的轉(zhuǎn)移矩陣為 ??????????????????????313131)|()|()|()|()|()|()|()|()|(333231232221131211abpabpabpabpabpabpabpabpabpP離散單符號信道及容量 求 。 ( Y a I i ＜ C 對所有 0 ) ( ? i a p 的 i a 上述定理只是給出了達(dá)到容量時，信道輸入符號分布的充要條件，并不能給出信道的最佳概率分布，即 ,沒有給出信道容量的計算公式。一般要通過迭代算法來實現(xiàn) （ 具體算法 可參考 課外資料 ） 。 ) l o gkkkC p I a Y e ?? ? ??l o g l o g ( l o g )iji j i j i j i j jj j jjpp C p p p C qq ? ? ? ?? ? ?l o g l o gj j i j j i j i jjjC q p p p??? ? ? ???令l o g2 1 l o g 21 jjjj Cj jjjCqCq ????????? ? ? ?? ??????2 j Cjq ? ??? ??iiijij pppq }{一般離散信道容量的計算步驟： (1) 由l o gi j j i j i jjjp p p? ??? 求j? (2) 由 l o g 2 jjC?? ? 求 C (3) 由2jCjq? ?? 求jq (4) 由 {}j i i j iiq p p p?? ? 求ip 強(qiáng)調(diào) ： 在第 (2 ) 步信道容量 C 被求出后，計算并沒有結(jié)束。 ]l o g ( l o g l o g )0k j k j k j j k jjjp p p q p e ?? ? ? ????lo g lo gkjkjj jppeq ????( 。182。(0,1 ??? ii ipp? ??? i ipYXIJ )1()。 現(xiàn)求 在約束 下的極值。 下面討論一般離散信道的解法。(pppYXI???? )l o l o )(1(ppp????? ) o g ()()()1()( ppHppH ??????? ) o g ()( pp ??? 離散單符號信道及容量 ??????? pppbppppbp)1()()1()(21?????????? ) o g ()()()1()()。234。234。 | a i )P = 0 . 9 0 . 10 . 2 0 . 8233。 離散單符號信道及容量 【例 36】 信道轉(zhuǎn)移矩陣為 ???????離散單符號信道及容量 求 :信道輸入最佳分布和信道容量 。234。234。234。234。234。234。234。 解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個準(zhǔn)對稱信道，可以分解為 ???????????qpqppqqpP11???????????qpppqpP111 ???????qqP2qMqMqNqN2,1,12121??????離散單符號信道及容量 是兩個互不相交的子集，而每個子集都是對稱信道形式，對應(yīng)參數(shù)分別為 N1為第 1個子矩陣的行元素之和 M1為第 1個子矩陣的列元素之和 由準(zhǔn)對稱離散信道的信道容量計算公式 ?????? ???qqqqP1001qqqqqC ???????? 11 2l o g)1()1l o g ()1( 比特 ∕ 符號 離散單符號信道及容量 稱該信道為二元純對稱刪除信道，其信道容量為 q q q q p q q p H 2 log ) 1 log( ) 1 ( ) , , 1 ( 2 log ? ? ? ? ? ? ? ? q q q p q p p p ? ? ? ? ? ? ? ? ? 1 2 log ) 1 ( ) 1 log( ) 1 ( log 如果 p=0，則 ???????????qpqppqqpP11?????nkkks MNpppHrC121 l og),(l og ?離散單符號信道及容量 1 q a 1 b 1 q b 2 q a 2 b 3 1 q 圖 34二元純對稱刪除信道 ?????????qqqqP1001 【例 】 信道轉(zhuǎn)移矩陣為 求：信道容量 。 ?????????????????????,1 pp例： 可劃分成兩個對稱矩陣 準(zhǔn)對稱矩陣 離散單符號信道及容量 準(zhǔn)對稱信道是關(guān)于輸入對稱的，可以使用輸入對稱信道的方法直接求解 .輸入對稱信道的容量為： YHYHC iap ()(m a x )( ?? | YHYHX iap ()(m a x) )( ?? | )ia ),()(m a x 21)( sap pppHYHi???C ≤ YHs (l o g ? | ),(l o g) 21 spppHsX ??? 離散單符號信道及容量 準(zhǔn)對稱信道的容量 : 由于信道輸入不一定存在一種分布使得信道輸出滿足等概率分布 ,所以準(zhǔn)對稱信道的信道容量滿足下列關(guān)系 可以證明，準(zhǔn)對稱信道信道輸入的最佳分布是等概率分布，信道容量為 ?????nkkks MNpppHrC121 l og),(l og ?離散單符號信道及容量 其中 p1,p2,…… ps為準(zhǔn)對稱信道轉(zhuǎn)移矩陣中的一行元素 ,n為劃分的子集數(shù)量 ,Nk為第 k個子矩陣的行元素之和 ,Mk為第 k個子矩陣的列元素之和。 )(1 pHC ??離散單符號信道及容量 ??????????216131312161613121當(dāng) r=2時，信道容量為 C = l og r H ( p ) p l og( r 1 )3）準(zhǔn)對稱信道容量 定義 34： 如果信道轉(zhuǎn)移矩陣按列可以劃分為幾 個互不相交的子集，每個子矩陣滿 足下列性質(zhì)： (1)每行都是第一行的某種置換； (2)每列都是第一列的某種置換。如果希望信息傳輸率達(dá)到信道容量，信道輸入應(yīng)當(dāng)滿足等概率分布。 | a i ) = 1r p ( b j | a i )i = 1r229。 Y ) = m a xp ( a i ) H ( Y ) H ( p 1 , p 2 , , p s )? 信道容量 2）輸出對稱信道容量 3）準(zhǔn)對稱信道容量 4）對稱 DMC信道容量 5）一般離散信道的容量 ? 離散序列符號信道及容量 ? 信源與信道的匹配 ? * 連續(xù)信道及其容量 本次課內(nèi)容 2）輸出對稱信道容量