【正文】 ) m a x ( ) ( | )p x p xC I X Y h Y h Y X? ? ?)()(l o g)()(l o g)()()|(l o g)|()()|(l o g)()|(Nhdnnpnpd x d nnpnpxpd x d yxypxypxpd x d yxypxypXYh??????????? ?? ?? ?????????????????????????????? ?( ) ( ) ( )m a x ( 。 ) ( ) ( | )( ) ( ) ( )I X Y h X h X YI Y X h Y h Y Xh X h Y h XY??? ? ?? ? ?( 。 第四章：信道及信道容量 四、 組合信道及其信道容量 2. 級(jí)聯(lián)信道 例 設(shè)有兩個(gè)離散二元對(duì)稱信道，其級(jí)聯(lián)信道如圖所示，求級(jí)聯(lián)信道的信道容量。 ) m a x ( 。 )NkkkI I X Y?? ?X 。( 2211 YXIYXIYXIYXI NN ???? ?1( ) ( 。 )。根據(jù) 224Nr ??224Ns ??1( | ) | )NkkkP P Y X?? ?YX （= 00 00 =1y= 01= 1 0= 1 11x2x3x4x01 =2y10 =3y11=4yX Y第四章：信道及信道容量 三、 離散多符號(hào)信道及其信道容量 1. 離散多符號(hào)信道（續(xù) 5） 2112131241( | ) ( 00 | 00 ) ( 0 | 0) ( 0 | 0)( | ) ( 01 | 00 ) ( 0 | 0) ( 1 | 0)( | ) ( 10 | 00 ) ( 1 | 0) ( 0 | 0)( | ) ( 11 | 00 ) ( 1 | 0) ( 1 | 0)p p p p pp p p p p pp p p p p pp p p p p? ? ?? ? ?? ? ?? ? ?yxyxyxyx可求出 第四章：信道及信道容量 三、 離散多符號(hào)信道及其信道容量 1. 離散多符號(hào)信道（續(xù) 6） 同理可求出其他的轉(zhuǎn)移概率 ，得到信道矩陣： , 2 , 3 , 4 , 1 , 2 , 3 , 4ijp i j??22222222p p p p p pp p p p p pp p p p p pp p p p p p???????????P第四章：信道及信道容量 三、 離散多符號(hào)信道及其信道容量 1. 離散多符號(hào)信道（續(xù) 7） 定理 若信道的輸入和輸出分別是 N長(zhǎng)序列X和 Y，且信道是無記憶的，則 當(dāng)信源也是無記憶時(shí)等號(hào)成立。 此時(shí)的約束條件是 ( ) , ( | ) ( ) 1i i j iiQ I p x p x y p x? ????? ? ????? ???( ) l n ( ) ( ) ( | ) l n ( | ) ( )i i i j i i j ii i j ip x p x p x p y x p x y p x?? ? ? ?? ? ?（ 2） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 7. 信道容量的迭代算法（續(xù) 2） 1 , 2 , , , 1 , 2 , ,i r j s??l n ( ) 1 ( | ) l n ( | )() i j i i jjiQ p x p y x p x ypx ?? ? ? ? ? ?? ?0()iQpx? ?? l n ( ) 1 ( | ) l n ( | ) 0i j i i jjp x p y x p x y ?? ? ? ? ??令 (3) ( ) e x p ( | ) l n ( | ) 1i j i i jjp x p y x p x y ???? ? ??????e xp ( | ) l n ( | )e xp ( 1 )j i i jjp y x p x y?????????? 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 7. 信道容量的迭代算法（續(xù) 3） ( ) 1iipx ??e xp ( | ) l n ( | )( ) 1e xp ( 1 )j i i jjiiip y x p x ypx ?????????????e x p ( 1 ) e x p ( | ) l n ( | )j i i jijp y x p x y? ???? ??????1 l n e x p ( | ) l n ( | )j i i jijp y x p x y? ???? ??????利用約束條件 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 7. 信道容量的迭代算法（續(xù) 4） *e xp ( | ) l n ( | )()e xp ( | ) l n ( | )j i i jjij i i jijp y x p x ypxp y x p x y????????????????1 , 2 , ,ir? （ 4） 由（ 3）式移項(xiàng)得： l n ( ) ( | ) l n ( | ) 1i j i i jjp x p y x p x y ?? ? ? ??( ) l n ( ) ( ) ( | ) l n ( | ) 1i i i j i i ji i jp x p x p x p y x p x y ?? ? ? ?? ? ?即 （ 5） ( ) * , ( | ) * 1 l n e x p ( | ) l n ( | )i i j j i i jijI p x p x y p y x p x y? ???? ? ? ? ????????第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 7. 信道容量的迭代算法（續(xù) 5） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 7. 信道容量的迭代算法（續(xù) 6） ? ?| , ( ) , ( | )i j j i i i j i i jp p y x p p x p x y?? ? ?? ?1 , 2 , , , 1 , 2 , ,i r j s??? ?( 0 ) 12, , , , ,irp p p p?p0k ? 0? ?()()()kij ikji kij iipppp? ??1 , 2 , , , 1 , 2 , ,i r j s??記： 算法： 初始化信源分布 （一般為設(shè)為等概分布） ，信道容量相對(duì)誤差門限 迭代計(jì)數(shù)器 ? ?1 , 2 , , , 1 , 2 , ,i r j s??( ) ( )l n e x p l nkkij jiijCp ???????? ??????????()( 1 )()e xp l ne xp l nkij jijkikij jiijppp?????????????????????????????( 1 )( 1 )( 1 )kij ikji kij iipppp????? ?( 1 ) ( 1 )l n e xp l nkkij jiijCp ?????????? ??????????1 , 2 , ,ir? 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 7. 信道容量的迭代算法（續(xù) 7） ( 1 ) ( 1 )l n e xp l nkkij jiijCp ?????????? ?????????? ( 1 ) ( )( 1 )kkkCCC ???? ?( 1 ) ( 1 )8 kkipC??、 輸 出 和 的 結(jié) 果 ；( 0 )C ? ??如果 轉(zhuǎn)向 9； 停止 (也可以設(shè) ) 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 7. 信道容量的迭代算法（續(xù) 8） 第四章：信道及信道容量 三、 離散多符號(hào)信道及其信道容量 定義 若在任意時(shí)刻信道的輸出只與此時(shí)刻信道的輸入有關(guān) ，而與其他時(shí)刻的輸入和輸出無關(guān) ， 則稱之為離散無記憶信道 ，簡(jiǎn)稱為 DMC (discrete memoryless channel)。 1()ipx r?11( | )( | ) l og( ) ( | )sjiji rjk j kkp y xp y xp x p y x??? ??11( | )( | ) l og1 ( | )sjiji rjjkkp y xp y xp y xr??? ??第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 6. 信道容量定理（續(xù) 2） 1( | )( | ) l o g()sjijij jp y xp y xpy?? ?11( ) ( | )rj j kkp y p y xr?? ? 相 等在同一子陣 Pl中 1( | )( | ) l og1( | )jljiji ryYjkkp y xp y xp y xr????相 等第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 6. 信道容量定理（續(xù) 3） 對(duì)于不同的 ， ix? ?1( | )。(2l o g)。 ) 0( 。 ?????????????????101021210101P15243( 。Y) 達(dá)到信道容量的充要條件是輸入分布 p(xi) 滿足以下充要條件： p(xi) ≠0 時(shí) I(xi。( ??? ? YXI第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 12） 1 / 2? ? )。Y)求導(dǎo)，得到信道容量和最佳輸入分布。 當(dāng)計(jì)算結(jié)果為負(fù)值時(shí)，此解無效。 )()iI X Ypx??1 1 1( ) ( | ) l o g ( | ) ( ) l o g ( )r s si j i j i j ji j jp x p y x p y x p y p y? ? ???? ? ?1 1 1( | ) l o g ( | ) ( | ) l o g ( ) ( | ) l o gs s sj i j i j i j j ij j jp y x p y x p y x p y p y x e? ? ?? ? ?? ? ?1( | )( | ) l og l og()s jijij jp y xp y x epy????第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 5. 一般離散信道的信道容量（續(xù) 2） l o g ( ) ( | ) l o g( ) ( )j j iijp y p y x ep x p y? ??令 0()iFpx? ??1( | )( | ) l og l og 0( ) ( )sjijijijp y xF p y x ep x p y ??? ? ? ? ?? ?則 1( | )( | ) l o g l o g 1 , 2 , ,()sjijij jp y xp y x e i rpy ?? ? ? ??1 1 1( | )( ) ( | ) l o g ( )(l o g )()r s rjii j i ii j ijp y xp x p y x p x epy ?? ? ???? ? ?l o gCe ???第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 5. 一般離散信道的信