【文章內(nèi)容簡(jiǎn)介】 XI33 ? [例 ]求信道容量，信道轉(zhuǎn)移矩陣如下： ?????????????????????????????????????111111111???????nnnnnnP? 信道輸入符號(hào)和輸出符號(hào)的 個(gè)數(shù)相同 ，都為 n； ? 正確的傳輸概率為 1－ ?，錯(cuò)誤概率 ?被對(duì)稱地 均分給 n1個(gè)輸出符號(hào) ； ? 強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例。 )1,1,1(l og ????? nnHnC ??? ?含義？ 34 ? n=2時(shí)，即為：二進(jìn)制對(duì)稱信道，容量為 C＝ 1－ H（ ?） 0 0 . 2 0 . 4 0 . 6 0 . 8 100 . 20 . 40 . 60 . 81通常記作：),1(l o g ????? HnC35 ε C )(1 ?HC ??0)21,21(1 ??? HC信道無噪聲 當(dāng) ε = 0, C =1－ 0 = 1bit = H(X)= log2 當(dāng) ε =1/2, 不確定性最大，信道容量為 0 BSC信道容量 當(dāng) ε =1，強(qiáng)噪信道 強(qiáng)噪信道，也可使 C=log2 0 1 計(jì)算信道容量 C按下面步驟進(jìn)行： (1)先驗(yàn)證信道轉(zhuǎn)移概率矩陣 P =[p(yj︱ xi)]是方陣，且矩陣 P的行列式 ︱ [p(yj︱ xi)]︱ ≠ 0； (2)計(jì)算出逆矩陣 P－１ =[ p1 (yj︱ xk)]； (3)根據(jù)式（ 417），計(jì)算出； KixypxypxYHKjijiji ,2,1)(ln)()(1???? ??? ?? ???????? ?? KkKiiki xYHxypC1 11 )()(e x pln(4)根據(jù)式（ 418） ，計(jì)算出信道容量 C； (5) 驗(yàn)證是否滿足 q(xi) ?0， i =1, 2, … , K。 l 先由式 （ 416） 計(jì)算出 ?（ yk） k =1, 2, … , K l再由式（ 421） 計(jì)算 Kixq i ,2,1)( ??【 例 】 給出信道轉(zhuǎn)移概率矩陣 ，求信道容量 C。 2, ???????? KP（ 1） P矩陣的行列式 ，說明 P是一個(gè)非奇異方陣。 ??P（ 2） P的逆矩陣 ? ???????????????????????? ??2 8 8 1 4 4 79727178)(11 ij xypP（ 3）算出 ???????????????????????21212221111)(ln)()(3 2 )(ln)()(jjjjjjxypxypxYHxypxypxYH（ 4） 信道容量 （ 奈特 /碼符號(hào) ） ? ?? ???????? ?? 21211 )()(e x plnk iiki xYHxypC)ln [ ??? ?? ee（ 5）下面驗(yàn)證是否 q (xi) ?0， i =1, 2 l先根據(jù) 算出 l再算得 2,1)()(e x p)(211 ??????? ??? ??? kxYHxypCyiikik????????????21ee??????????????????????????????2121221111)()()()()()(jjjjjjxypyxqxypyxq??)] 8 2 8 x p () 4 2 4 n [ e x p ( ?????????圖 4－ 9 兩個(gè)信道 組合信道的容量 考慮有兩個(gè)信道 。 信道 1 信道 2： ????????])([},{},{12121ijjixypyyyYxxxXP信道轉(zhuǎn)移概率矩陣：輸出符號(hào)集：輸入符號(hào)集：????????????])([},{},{39。39。239。239。139。/39。239。139。/ijjixypyyyYxxxXP信道轉(zhuǎn)移概率矩陣：輸出符號(hào)集：輸入符號(hào)集：????信道編碼器 X Y 信道譯碼器 X / Y / 獨(dú)立并行信道 在這種情況下 ， 二個(gè)信道作為一個(gè)信道使用 ， 傳送符號(hào) ，接收符號(hào) ， 根據(jù)定理 ， 對(duì)于離散無記憶信道 ， 下式成立 （ 422） /XX/YY)。()。()。( //// YXIYXIYYXXI ??對(duì)上面不等式兩邊取最大值 ， 得 C ? C 1 + C2 （ 423） 推廣到 N個(gè)信道的并行組合 ， 當(dāng) N個(gè)信道并行獨(dú)立使用時(shí) ，記 Ck (k = 1, 2, … , N )為第 k個(gè)信道的信道容量 ， C為組合信道的總?cè)萘?， 則有 （ 424） ???NkkCC1 等號(hào)成立的條件，都要求信源離散無記憶，即要求信道獨(dú)立使用且輸入獨(dú)立。 和信道 兩個(gè)信道輪流使用 ， 使用概率分別為 p1, p2， 且 p1+p2 = 1， 記概率分布 P =（ p1, p2） ， 和信道的平均互信息計(jì)算如下 I（ P） = I（ p1, p2） = p1I（ X。Y） + p 2 I（ X /。Y /） + H 2（ P） 式中： H 2（ P） = p1 log p1 p2 log p2 ? ? ? ? ? ? ? ?)(l o g)()(l o g)( 39。239。39。39。39。39。21139。 39。 jijxijiyjijxijiy ypxypxypxqpypxypxypxqpi ji j?? ? ?? ???? ?? ?? ?? ?221139。39。39。39。39。39。21l ogl og)(l og)()(l og)(39。 39。ppppyxypxypxqpyxypxypxqpjijxijiyjijxijiyi ji j????? ?? ??? 根據(jù)定義 ， 有 （ 426） ? ?PP IC xqxq )(),(, /m a x?? ? ? ? ? ?? ?PP 239。39。21)(),(, 。m a x / HYXIpYXIpxqxq ???? ?)(m a x 22211 PP HCpCp ???求使式 (426)取極大值的 P 令 ， 對(duì)數(shù)以 2為底 ， 注意到 p2 = 1 p1， 得 記 C1 log p1 = C2 log p2 = ?（ ?為待定常數(shù)） （ 427） ? ?? ? 0122211 ?????pPHCpCp02ln 1l o g2ln 1l o g 2121 ?????? ppCC從式 （ 427） 中解出： （ 428） ?????????212221CCpp將式 (428)代入條件 p1+p2 = 1， 得 （ 429） ? ?21 22lo g CC ???式（ 428）中的 p1, p2就是使平均互信息量 I（ p1, p2）達(dá)到最大的取值，將其代入式（ 426），得： ?????? ?????? ???? 221121 2l o g22l o g222 21 CCCCCC CCC)22( 21 ??? ?? ?? CC = ?（ p1+p2） =? ? ?21 22lo g CCC ?? 將式 （ 429） 代入式 （ 430） 得： 推廣到 N個(gè)信道輪流使用的情況 , 當(dāng) N個(gè)信道以不同概率輪流使用時(shí) ， 記 Ck (k = 1, 2, … , N )為第 k個(gè)信道的信道容量 ， C為組合信道的總?cè)萘?， 則有 （ 431） ?? ?Nk kCC 12lo g 串行信道 將兩個(gè)信道級(jí)聯(lián)，有 X / = Y，如圖 410所示 。 X 信道 1 信道 2 Y / Y =X / 圖 410 串行信道 串行信道的信道轉(zhuǎn)移概率 用矩陣表示為： （ 432） )()()( 39。39。39。 jijijjij yxypxypxyp ?? ?? ? ? ? ? ?)()()( 39。39。39。 ijijij xypxypxyp ??串行級(jí)聯(lián)信道的信道轉(zhuǎn)移概率趨向于兩個(gè)獨(dú)立信道轉(zhuǎn)移概率的均值 。 若將 N個(gè)轉(zhuǎn)移概率相同的信道級(jí)聯(lián) ， 當(dāng) N →∞ 時(shí) ，其總信道容量將趨于零 。 信道 1： P1 = [p (y︱ x)] ， 信道 2： P2 = [p (y‘︱ x‘ )] ，信道 1和信道 2是獨(dú)立的 ， 信道 2的輸出 Z只與其輸入 Y及信道轉(zhuǎn)移概率 P2 = [p (y‘︱ x‘ )]有關(guān) ， 而與 X無關(guān) 。因此信道 1和信道 2串連就構(gòu)成了一個(gè) 馬爾可夫鏈 ，對(duì)于馬爾可夫鏈有如下定理： X 信道 1 信道 2 Z Y 圖 4－ 11 馬爾可夫鏈 定理 若隨機(jī)變量 X、 Y、 Z組成一個(gè)馬爾可夫鏈，如圖 411所示，則有 I（ X。 Z） ? I（ X。 Y） （ 433） I（ X。 Z） ? I（ Y。 Z） （ 434） 證明式（