【文章內(nèi)容簡介】 容量為： C(1)=maxI(X。Y) 信道 1,2,3… 串聯(lián)后等價為 容量為： C(1,2,…)=maxI(X。W) 信道 1,2串聯(lián)后等價為 容量為： C(1,2)=maxI(X。Z) (2)串聯(lián)信道的信道容量可能會減少。串聯(lián)級數(shù)越大，信道容量會越小。 由 （信息不增定理）知道：H(X)≥I(X。Y)≥I(X。Z)≥…I(X。W) 所以： C(1,2)≥C(1,2,3)≥……≥C(1,2,3…) 。 。，求串聯(lián)后的信道容量矩陣為信道串聯(lián)，它們的轉(zhuǎn)移兩個相同的??????????????11 PPB S C 33 21 例 題2022/6/3 26 (11212(12222?????????????????????))()() 1111PPP 21?????????????????????????串聯(lián)后的轉(zhuǎn)移矩陣為： 12H ( ( 11Z)I ( X 。)1H(1Y)I ( X 。22 ))(,),??????????? ；可求得 mm信道容量越小?；バ畔⒃叫?，越大如圖所示，信息曲線個相同信道串聯(lián)后的互,2022/6/3 27 四、準對稱 DMC信道的容量 準對稱信道 ：只滿足輸入對稱的信道 信道容量的計算，有兩種方法： 引入拉格朗日算子求極值。舉例說明： bb{bYa{aXDM C205030203050 4332121 求信道容量。，輸出符號輸入符號，是一個準對稱已知信道的轉(zhuǎn)移矩陣例題}.,},......???????????? P表示，求出極值點。，其它變量用型凸函數(shù)。令的關(guān)于思路：???????????)()()|()|)()())]|()([)。(1ijijijiijjjaPaPabl o g PaP ( baPbl o g PP ( bm a x [ XYHYHm a xYXm a x IC?? ? ???????????????)(.)(.)(....),()()(解????????12022013020 30 50baP1aPaPji21 概率矩陣。由轉(zhuǎn)移矩陣可得聯(lián)合，：令2022/6/3 28 0 . 2bP 0 . 20 . 5bP0 . 20 . 3baPbPbaPbP32i1i1ijij??????? ??)()(),()(),()(，得：由??30og3050og50 2050og20502030l o g2030abl o g PaP ( baPbl o g PP ( bYXIjijijiijjj....)..()..()..()..()|()|)()())。(lll??????????? ???????符號代入上式。所以：，得令/./)。(/)。(0 3 6 b i t0 21 YXm a x IC210YXI?????????劃分為若干個互不相交的對稱的子矩陣后，求信道容量。 ????????????????????????? 61613131316161311 / 31 / 6 1 / 61 / 6 1 / 3613131P/////////// 和、分解成舉例：??????????????????? 0 . 10 . 10 . 7200 . 20 . 70 . 7 0 . 2 10201070P 和分解成.....2022/6/3 29 是子矩陣的個數(shù)個子矩陣中列元素之和是第；個子矩陣中行元素之和是第元素；是轉(zhuǎn)移矩陣的任一行的數(shù)；為輸入符號集中的符號其中：互信息達到信道容量當輸入分布為等概時，rkMkN. . . . PPPnl o g MN. . . . PPPHl o g nC kks21r1kkks2139。39。39。39。39。39。,),(證 明得知：?????容量。用第二種方法求其信道，信道，轉(zhuǎn)移矩陣中的準對稱例例題 ???????????205030203050DM C 43 53......P符號。，。和分解成：0 3 6 b i t /0 2n l o g MNPPPHl o g nC402020M803050M20N803050N2r0 . 20 . 20 . 5300 . 30 . 50 . 2 0 . 2 50303050Pr1kkk3212121.. . . . . . . .),(...............解39。39。39。??????????????????????????????????????2022/6/3 30 五、一般 DMC信道的容量 平均互信息 I(X。Y)是關(guān)于 P(a1),P(a2),…P(a n)的多元函數(shù)，求其最大值的方法有很多，如前述拉格朗日乘子法， BlahutArimoto算法等，大都比較復(fù)雜，下面只給出相關(guān)定理。 定理 ：一般離散無記憶信道的平均互信息 I(X。Y) 達到極大值的充要條件是，輸入分布滿足： I(ai。 Y)=C 對于所有的滿足 p(ai)0的 i。 I(ai。 Y)≤C 對于所有的滿足 p(ai)=0的 i。 解釋 ：當平 均互信息 I(X。Y) 達到信道容量時，除了概率為零的符號外，輸入符號集中的每一個符號對輸出端提供相同的信息量。 2022/6/3 31 而其它符號所提供的信息量增大。所以經(jīng)過不斷調(diào)整后，輸入符號的概率分布使得每個概率不為零的輸入符號對于輸出Y提供的平均互信息是相同的。 ??j iijiji )P ( a)a|P ( b) l o ga|P ( bYI ( a )。理解 ：在某種給定的輸入分布下，對輸出 Y所提供的互信息I(X。Y)，若其中有一個符號 ai比其它輸入符號大，那么就可以更多地使用該符號，即增大該符號 ai出現(xiàn)的概率 P(ai)，使得加權(quán)平均后的 I(X。Y)=ΣP(ai)I(ai。Y)增大；但是，這會改變輸入符號的分布，而使該符號的平均互信息 I(ai。Y)減?。?？）， 2022/6/3 32 第三節(jié) 離散序列信道及其容量 一、回顧 離散單符號擴展信道。分為無記憶和有記憶兩種。只討論無記憶離散序列信道的容量。 )|(), . . .,|, . . ., lllXYPXXXYYP ( Y)Y|XP( L1L21L21??????無記憶：二、無記憶離散序列信道的平均互信息 關(guān)系式）( YXHXHYYYXXH ( XXXH ( X)Y|XH()XH()Y。XI(LLLL21L21L21)|()(),. ..,|,. ..,),. ..,????? ?????2022/6/3 33 定義）((( )XP( )X|YP() l o gY,XP)YP( )Y|XP() l o gY,XP)Y。XI( ?????????????? ??三、無記憶離散序列信道的容量 定理 ?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。),. ..,),. ..,:????，則存在：。假設(shè)信道是無記憶的的序列為通過信道傳輸接收到隨機序列為定理一、若信道的輸入?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。),. ..,),. ..,:????，則存在：。假設(shè)信道是無記憶的的序列為通過信道傳輸接收到隨機序列為定理二、若信道的輸入結(jié)論 ??? L1YI(X)Y|XI(l ll)。??2022/6/3 34 信道容量 信息通過信道傳輸?shù)淖畲蠡ツ硶r刻 llllllllll?????? ??????CCYm a x I ( XYI ( Xm a x)Y|XI(m a xCL1L1L1)XP(L )。)。???1L1LL21LCCCCCC??????ll則：同，各時刻的轉(zhuǎn)移概率都相信道平穩(wěn)時，各符號在 ...？道的容量信道，二次擴展后，信例 ?? 2CB S C 732022/6/3 35 序列則：符號信道：/../....),(,解0 6 2 b i t15 3 1022CC5 3 1 b i t099 l b 001l b 01 0 .1P P1PHl b 2CB S C 2 ???????????序列，，其信道容量為信道。轉(zhuǎn)移矩陣為：是對稱的信道的二次擴展信道仍驗證：/))()()((,)()()()()()()()()()()()(1 .