【正文】 p y p y???????????? ? ???1 1 1 1 2 1 2( ) ( ) ( / ) ( ) ( / )p y p x p y x p x p y x??（ 4） 2 1 2 1 2 2 2( ) ( ) ( / ) ( ) ( / )p y p x p y x p x p y x??1 1 222( ) ( ) ( )( ) ( 1 ) ( )p y p x p xp y p x?????? 11111211()1 ( 1 )()1 ( 1 )pxpx?????????????????????????120 1 ( ) , ( ) 0 ,p x p x C?? ? ? ? 即 所 求 的 存 在 多符號(hào)離散信道 ? 多符號(hào)離散信道的數(shù)學(xué)模型 ? 離散無(wú)記憶信道和獨(dú)立并聯(lián)信道的信道容量 多符號(hào)離散信道的數(shù)學(xué)模型 多符號(hào)離散信道 1212NNX X XY Y Y??XY? ?()PX Y X Y? ?? ?1212nmKKx x xy y y??XY? ?12i Ni i ia x x x?12, , , 1 , 2 , ,Ni i i n?1 , 2 , , Nin?? ?12j Nj j jb y y y?1 , 2 , , Njm?輸入 12, , , 1 , 2 , ,Nj j j m?輸出 多符號(hào)離散信道的數(shù)學(xué)模型 多符號(hào)離散信道 ()P??X Y X Y1 1 2 1 112122 2 2( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )NNN N N Nmmn n m np b a p b a p b ap b a p b a p b ap b a p b a p b a????????離散無(wú)記憶信道和獨(dú)立并聯(lián)信道的信道容量 多符號(hào)離散信道 無(wú)記憶： YK僅與 XK有關(guān) 1 2 1 21 1 2 21( / ) ( / )( / ) ( / ) ( / )( / )NNNNNkkkp Y X p Y Y Y X X XP Y X P Y X P Y XP Y X???? ?( 。Y)達(dá)到極值的輸入概率分布為｛ p1,p2,...,pr｝ .方程組第一個(gè)式子中的前 r個(gè)方程式兩邊同乘以 pi，并求和得 ? ? ??i j jijiji eypxypxypp l og)()/(l og)/( ?即： eC lo g?? ?離散信道容量的一般計(jì)算方法 單符號(hào)離散信道的信道容量 ( / )( / ) l o g l o g()jijij jp y xp y x e Cpy ?? ? ?? 令 可求解出 ，繼而求得信道容量： 21log 2 jmjC ??? ?離散信道容量的一般計(jì)算方法 單符號(hào)離散信道的信道容量 11( / ) l o g ( / ) ( / ) l o g ( )mmj i j i j i jjjp y x p y x p y x p y C?????? ????2l o g ( )jjp y C? ?? 有 211( / ) ( / ) l o g ( / )mmj i j j i j ijjp y x p y x p y x??????j? 注意：在第（ 2）步求出 C后，必須解出相應(yīng)的 ，并確認(rèn)所有的 ，所求的 C才存在。( ??iijij xypxpyp )/()()(eyp xypeypxpypxpjijjijil og)( )/(l og)](ln)([)(l og)( ?? ??? ?( 。 ) ( ) 1iXI X Y p x? ??? ? ? ??????其中 為拉格朗日乘子（待定常數(shù)） ?解方程組 ( 。準(zhǔn) 對(duì) 稱 信 道 的 信 道 容 量 為當(dāng) 信 道 輸 入 等 概 分 布 時(shí) 達(dá) 到 信 道 容 量準(zhǔn)對(duì)稱離散信道的信道容量 (補(bǔ)充 ) 121( ) l o g ( ) ( , , , )sk k k mkC m p y p y H q q q?? ? ?? 1( ) ( ) ( / ) ( / ) ( X )(j i j i j iXXp y p x p y x p y xrP j r r????? ）為 等 概 分 布中 第 列 元 素 之 和 / 為 輸 入 符 號(hào) 數(shù)( ) ( )()()j k j kjp y M p y Mkkkkkkkkkp y P j rpymmmMPrMPmM P Crr?????????? （ ）中 第 列 元 素 之 和 /對(duì) 應(yīng) 的 中 列 元 素 之 和對(duì) 應(yīng) 的 中 元 素 對(duì) 稱對(duì) 應(yīng) 的 中 列 元 素 之 和準(zhǔn)對(duì)稱離散信道的信道容量 (補(bǔ)充 ) 12112112111211( ) l o g ( ) ( , , , )l o g ( , , , )l o g l o g ( , , , )l o g l o g ( , , , )l o g l o gsk k k mkskkkmksskkk k k mkkskkmkskkkC m p y p y H q q qCCm H q q qrrCCm C m r H q q qrrMP PC r H q q qrrM P C??????? ? ?? ? ?? ? ? ?? ? ? ?? ? ? ??????? 行對(duì) 應(yīng) 中 元 素 之 和 中 元 素 之 和對(duì) 應(yīng) 中 元 素 之 和12121( , , , )l o g l o g ( , , , )msk k mkr H q q qr R C H q q q?????（ ）=行 對(duì) 稱求信道的信道容量 準(zhǔn)對(duì)稱離散信道的信道容量 單符號(hào)離散信道的信道容量 1 1 1 12 4 8 81 1 1 14 2 8 8P????? ????????1 1 1 1 1 1 1 1 1 1 1 1l o g 2 [ ( ) l o g ( ) ( ) l o g ( ) ] ( , , , )2 4 2 4 8 8 8 8 2 4 8 83 3 1 1 1 1 1 1 1 1l o g 2 l o g l o g l o g l o g 2 l o g4 4 4 4 2 2 4 4 8 80 . 0 6 1 2 ( )CH? ? ? ? ? ? ? ?? ? ? ? ? ? ?? 比 特 / 信 道 符 號(hào)離散信道容量的一般計(jì)算方法 單符號(hào)離散信道的信道容量 I(X。 ) ( ) ( / ) ( ) ( , , , )imI X Y H Y H Y X H Y H q q q? ? ? ?2()m a x ( 。 ) [ ( ) ] ( l o g l o g )1m a x m a xiip x p xpC I X Y H Y p p pn? ? ? ? ? ?強(qiáng)對(duì)稱離散信道的信道容量 單符號(hào)離散信道的信道容量 1( ) l o g ( ) ( )jH Y n p y H Yn??， ，當(dāng) 時(shí) 達(dá) 到 最 大 值? 強(qiáng)對(duì)稱信道的信道容量 1( ) ( / ) , 1 , 2 , ,nj i j iip y p x p y x j n????要 獲 得 這 一 最 大 值 ， 通 過(guò) 公 式尋 找 相 應(yīng) 的 輸 入 概 率 分 布()由 于 矩 陣 的 對(duì) 稱 性 ， 當(dāng) 輸 入 符 號(hào) 等 概 分 布 時(shí) ， 輸 出 符 號(hào) 一 定是 等 概 分 布 的 。 ) m a x ( ) l o giip x p xI X Y H X n??單符號(hào)離散信道的信道容量 強(qiáng)對(duì)稱離散信道的信道容量 單符號(hào)離散信道的信道容量 111111nnpppnnpppP nnpppnn?????????? ??????????? 強(qiáng)對(duì)稱信道或均勻信道 ? 矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對(duì)稱性） ? 錯(cuò)誤分布是均勻的，為 p/(n1) ? 信道輸入與輸出符號(hào)數(shù)相等 強(qiáng)對(duì)稱離散信道的信道容量