【文章內(nèi)容簡介】 ? ? 2P P P???????????qppqqpqp11P第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 6） 定理 對于對稱信道，當(dāng)信道輸入概率分布為等概分布時(shí)，輸出概率分布 必 為等概分布。 證明：當(dāng)輸入為等概分布時(shí) 則輸出 ， 其中 1( ) , 1 , 2 , ,ip x i rr??jijiijiij Hrxyprxypxpyp1)|(1)|()()( ??? ?????riijj xypH1)|( 為信道矩陣第 j列元素之和。 jH第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 7） 又因?yàn)? 即當(dāng)信道輸入為等概分布時(shí)，輸出 亦為等概分布。 11()jp y Hrs??第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 8） j=1,2,… ,s 而對稱信道每一列是第一列的不同排列。因此 12 sH H H H? ? ? ?1sH r??定理 對稱信道 當(dāng)信道 輸出 概率分布為等概的情況下達(dá)到信道容量： 其中 是信道矩陣中的任意一行中的元素。 , , ,12l o g ( , , , )sC s H p p p??,2,1 , sppp ?證明： 39。 39。 39。12( | ) ( | ) ( , , , )isH Y X H Y x H p p p??第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 9） , , ,12( 。 ) ( ) ( | ) ( ) ( , , , )sI X Y H Y H Y X H Y H p p p? ? ? ?? ?(), , ,12(), , ,12(), , ,12m a x ( 。 )m a x ( ) ( , , , )m a x ( ) ( , , , )lo g ( , , , )pxspxspxsC I X YH Y H p p pH Y H p p ps H p p p???????第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 10） 推論 ：對于 強(qiáng)對稱信道 有： C=logrplog(r1)H(p) )()1l o g (l o gl o gl o g)1l o g (l o g1l o gl o gl o g1l o g11l o g1l o gl o g)1,1,(l o g),(l o g,2,1pHrprpppprprrpppprrprprprppprrprppHrpppHsCs??????????????????????????????s = r 第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 11） 例 求對稱信道的信道容量， 解： ?????????????????216131312161613121P, , ,12l og ( , , , )1 1 1l og 3 ( , , )2 3 6 /sC s H p p pH????? 比 特 符 號第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 12） 準(zhǔn)對稱信道 , , ,121l o g ( , , , ) l o gns k kkC r H p p p N M?? ? ? ?第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 13） ),(l o g ,2,1 spppHsC ??? , , ,12()m a x ( ) ( , , , )spxC H Y H p p p??當(dāng)信道輸入概率分布為等概的情況下達(dá)到信道容量： 設(shè)信道矩陣可劃分為 n個(gè)子矩陣，其中 Nk是第 k個(gè)子矩陣中行元素之和， Mk是第 k個(gè)子矩陣中列元素之和。 例 ：求準(zhǔn)對稱信道的信道容量。二元對稱刪除信道： 解： N1=1q, M1=1q, N2=q, M2=2q ???????????qppqqpqp11P, , ,121l o g ( , , , ) l o gl o g 2 ( 1 , , ) ( 1 ) l o g ( 1 ) l o g ( 2 )ns k kkC r H p p p N MH p q q p q q q q?? ? ?? ? ? ? ? ? ? ??第四章：信道及信道容量 二、 離散單符號信道及其信道容量 4. 離散對稱信道的信道容量（續(xù) 14） 第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量 信道容量 約束條件： 求信道容量轉(zhuǎn)化為求 對信源概率分布 的條件極值。 ? ?()m a x ( 。 )PXC I X Y?( 。 )I X Y ()PX( ) 1iipx ??( ) 0 , 1 , 2 , ,ip x i r??解： 引入輔助函數(shù) 1( 。 ) ( ) 1riiF I X Y p x?????? ? ?????? （ 為 待 定 系 數(shù) ）1( 。 ) ( ) 1 ( 1 , .. , )( ) ( )( 。 )()riiiiiFI X Y p x i rp x p xI X Ypx??????? ??? ? ? ??? ???? ?????????第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 1） 11( | )( 。 ) ( ) ( | ) l og()rs jii j iij jp y xI X Y p x p y xpy??? ??1( ) ( ) ( | )rj i j iip y p x p y x?? ? ( ) ( | )() j j ii p y p y xpx? ??( 。 )()iI X Ypx??1 1 1( ) ( | ) l o g ( | ) ( ) l o g ( )r s si j i j i j ji j jp x p y x p y x p y p y? ? ???? ? ?1 1 1( | ) l o g ( | ) ( | ) l o g ( ) ( | ) l o gs s sj i j i j i j j ij j jp y x p y x p y x p y p y x e? ? ?? ? ?? ? ?1( | )( | ) l og l og()s jijij jp y xp y x epy????第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 2） l o g ( ) ( | ) l o g( ) ( )j j iijp y p y x ep x p y? ??令 0()iFpx? ??1( | )( | ) l og l og 0( ) ( )sjijijijp y xF p y x ep x p y ??? ? ? ? ?? ?則 1( | )( | ) l o g l o g 1 , 2 , ,()sjijij jp y xp y x e i rpy ?? ? ? ??1 1 1( | )( ) ( | ) l o g ( )(l o g )()r s rjii j i ii j ijp y xp x p y x p x epy ?? ? ???? ? ?l o gCe ???第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 3） 第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 4） 在某些條件下利用這個(gè)方法可以計(jì)算 C： ( | )( | ) l o g l o g()jijij jp y xp y x e Cpy ?? ? ??( | ) l og ( | ) ( | ) l og ( )( | ) [ l og ( ) ]j i j i j i jjjj i jjp y x p y x p y x p y Cp y x p y C???????l og ( )jjp y C? ??令 ( | ) ( | ) l o g ( | )j i j j i j ijjp y x p y x p y x? ???1 1 102 4 40 1 0 00 0 1 01 1 104 4 2???????????????????P這是一個(gè)含有 s個(gè)未知數(shù)、由 r個(gè)方程組成的方程組。 當(dāng) r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。 l o g ( )jjp y C? ??( ) 2 j Cjpy ? ??( ) 1jjpy ????jjC ?2lo g( ) ( ) ( | )j i j iip y p x p y x? ?21j Cj? ? ??( ) ( 1 , 2 , , )ip x i r?第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 5） 1 , 2 , ,j js? ?( ) 2 1 , 2 , ,j Cjp y j s? ???例 ：求以下信道的信道容量。 信道矩陣 1 1 102 4 40 1 0 00 0 1 01 1 104 4 2???????????????????P第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 6） ?????????????????????21l o g2141l o g4141l o g412141410041l o g4141l o g4121l o g2141412143132421????????解： 2,0 4132 ????? ????15l o g)2222l o g (2l o g 2022 ??????? ???jjC ?比特 /符號 第四章：信道及信道容量 二、 離散單符號信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 7） 2 l og 5 1 0 l og 5 11 4 2 3( ) 2 1 , 2 , ,14( ) ( ) 2 ( ) ( ) 210 10j Cjp y j sp y p y p y p y? ?? ? ? ? ???? ? ? ? ? ?1 1 42 1 23 3 44 1 41 4 2 311( ) ( ) ( )241( ) ( ) ( )41( ) ( ) ( )411( ) ( ) ( )424 11( ) ( ) , ( ) ( )30 30p y p x p xp y p x p xp y p x p xp y p x p xp x p x p x p x???????????????? ???? ? ? ?第四章：信道及信道容量