【正文】 碼 元 個(gè) 數(shù)從信道編碼的角度看，用 個(gè)碼元表示一個(gè)原始信源符號(hào)，信道的信息傳輸率為： k167。 Y\X 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3 21111( ) ( ) ( | )4kkkp b p a q b a????41( | )( 。121l o g ( , ) l o gns k kkC r H p p p N M?? ? ? ?1l og 2 ( 1 ) l og ( 1 ) l og l ognkkkNM? ? ? ??? ? ? ? ? ? ?l o g 2 ( 1 ) l o g ( 1 )l o g ( 1 ) l o g ( 1 ) l o g 2??? ? ? ? ? ?? ? ? ?? ? ? ? ?1 ???167。 39。 167。 39。 :離散無(wú)記憶信道及其信道容量 33 1( 1 ) l og l og1( 1 )21????????? ? ????準(zhǔn)對(duì)稱(chēng)離散信道的信道容量： 39。 :離散無(wú)記憶信道及其信道容量 32 ? 由定理 ，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即： p(a1)=p(a2)=1/2；有： 21111( ) ( ) ( | ) ( 1 )2kkkp b p a p b a ??? ? ??31( | )( 。 :離散無(wú)記憶信道及其信道容量 30 167。 顯然，對(duì)稱(chēng)性的基本條件是 1，而 4是加強(qiáng)條件。 3. 錯(cuò)誤分布是均勻的：信道矩陣中正確傳輸概率都相等，且錯(cuò)誤傳輸概率均勻地分配到 r1個(gè)符號(hào)上。 :離散無(wú)記憶信道及其信道容量 29 強(qiáng)對(duì)稱(chēng)離散信道的信道容量： l o g l o g ( 1 ) ( )C r p r H p? ? ? ?強(qiáng)對(duì)稱(chēng)信道具備四個(gè)特征： 1. 矩陣中的每一行都是第一行的排列； (行對(duì)稱(chēng) ) 矩陣中的每一列都是第一列的排列 。 ) ( ) ( | ) ( ) ( , , , )sI X Y H Y H Y X H Y H p p p? ? ? ?若 r=s， 且對(duì)于每一個(gè)輸入符號(hào)，正確傳輸概率都相等，且錯(cuò)誤傳輸概率 p 均勻地分配到 r1 個(gè)符號(hào)，則稱(chēng)此信道為 強(qiáng)對(duì)稱(chēng)信道或均勻信道 。 39。12( | ) ( | ) ( , , , )isH Y X H Y x H p p p??39。 39。12l o g ( , )sC s H p p p??r個(gè)輸入 s個(gè)輸出的 對(duì)稱(chēng)離散信道的信道容量： 其中 是信道矩陣中的任意一行中的元素。 39。 ) ( | ) l o g()jkk j kj jp b aC I x a Y p b apb?? ? ? ?1( 1 ) l o g l o g1 / 2 1 / 21 ( )H??????? ? ???于是： ( ) l o g ( 1 ) l o g ( 1 )H ? ? ? ? ?? ? ? ? ?這里： 167。 :離散無(wú)記憶信道及其信道容量 27 ? 由定理 ，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即： p(a1)=p(a2)=1/2；有： 2111 1 2 1221( ) ( ) ( | ) 。 :離散無(wú)記憶信道及其信道容量 25 120 .7 0 .1 0 .20 .1 0 .7 0 .2aa???????P120 .7 0 .1 0 .20 .2 0 .7 0 .1aa???????P行對(duì)稱(chēng)信道 a1 a2 b1 b2 b3 a1 a2 b1 b2 b3 167。 167。 167。 :離散無(wú)記憶信道及其信道容量 22 ? 對(duì)稱(chēng)的離散無(wú)記憶信道 信道容量 –對(duì)稱(chēng)的離散無(wú)記憶信道 ? 矩陣中的每一行都是第一行的重排列； ? 矩陣中的每一列都是第一列的重排列。 )kI x a Y?()kpa? 反復(fù)調(diào)整 ，使 相等且都等于 C ( , )I X Y C?– 定理只給出了可使 的 p(x)的充要條件 ，并無(wú)具體分布及 C的值，但可以幫助求解簡(jiǎn)單情況部分信道的 C ?求解信道容量過(guò)程實(shí)際信源的概率分布進(jìn)行調(diào)節(jié)的過(guò)程。即： ( 。()(),( YaxIapYXI kk k?? ?( 。 167。 ) | , ( ) 0kkI x a Y C p aI x a Y C p a? ? ???p = pp = p當(dāng)當(dāng) ＝1( | )( 。 :離散無(wú)記憶信道及其信道容量 20 ? 離散無(wú)記憶信道的信道容量定理 定理 ：對(duì)前向轉(zhuǎn)移概率矩陣為 Q的離散無(wú)記憶信道，其輸入字母的概率分布 p*能使互信息 I(p,Q)取最大值的充要條件是 ****( 。167。 ???niixp11)(167。Y)求偏導(dǎo)時(shí)，僅限制 ，并沒(méi)有限制p(xi)≥0 ，所以求出的 p(xi)有可能為負(fù)值，此時(shí) C就不存在，必須對(duì) p(xi)進(jìn)行調(diào)整，再重新求解 C。求④由；，求③由；，求②由；，求①由)(,)/()()()(2)(2l o g)/(l o g)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj?????????????????????????? 注意： ? 在第②步信道容量 C被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的 p(xi) ，并確認(rèn)所有的 p(xi)≥0時(shí)，所求的 C才存在。 :離散無(wú)記憶信道及其信道容量 16 167。 當(dāng) r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。 :離散無(wú)記憶信道及其信道容量 14 在某些條件下利用這個(gè)方法可以計(jì)算 C： ( | )( | ) l o g l o g()jijij jp y xp y x e Cpy ?? ? ??( | ) l o g ( | ) ( | ) l o g ( )j i j i j i jjjp y x p y x p y x p y C????l og ( )jjp y C? ??令 ( | ) ( | ) l o g ( | )j i j j i j ijjp y x p y x p y x? ???( | ) [ l o g ( ) ]j i jjp y x p y C???( | ) 1jijp y x ??167。 )()iI X Ypx??1 1 1( ) ( | ) l o g ( | ) ( ) l o g ( )r s si j i j i j ji j jp x p y x p y x p y p y? ? ???? ? ?1 1 1( | ) l o g ( | ) ( | ) l o g ( ) ( | ) l o gs s sj i j i j i j j ij j jp y x p y x p y x p y p y x e? ? ?? ? ?? ? ?1( | )( | ) l og l og()s jijij jp y xp y x epy????167。 :離散無(wú)記憶信道及其信道容量 12 11( | )( 。 ) ( ) 1 ( 1 , .. , )( ) ( )( 。 :離散無(wú)記憶信道及其信道容量 11 解： 引入輔助函數(shù) 1( 。 )PXC I X Y?( 。 :離散無(wú)記憶信道及其信道容量 10 ? 一般離散無(wú)記憶信道容量的計(jì)算 –思路：將問(wèn)題轉(zhuǎn)化為：有界閉區(qū)域上求約束極值 –方法： 求區(qū)域內(nèi)極值 求邊界極值 求前兩者的最大值 –具體實(shí)現(xiàn)： ? 簡(jiǎn)單情況下直接求解（如單符號(hào)信道、對(duì)稱(chēng)信道） ? 解方程 ? 迭代法（見(jiàn)朱雪龍 2022版 p124頁(yè)） 信道容量 約束條件： 求信道容量轉(zhuǎn)化為求 對(duì)信源概率分布 的條件極值。 Y由消息序列互信息 性質(zhì) 對(duì)離散無(wú)記憶信道，有： （性質(zhì) 4） 則 1 m a x ( , )iKkkpkI X Y?? ?1 KkkkC KC?? ? 平 穩(wěn)當(dāng)且僅當(dāng)信源 (信道入 )無(wú)記憶時(shí)，“等號(hào)”成立 （性質(zhì) 4推論） 167。 )KkkkI I X Y?? ?X 。 :離散無(wú)記憶信道及其信道容量 8 ? 離散無(wú)記憶信道及其信道容量 k1( ) ( ) P ( )Kkkky yPPxx??Y X 無(wú) 記 憶 平 穩(wěn)()I X。Y)的 條件極大值 問(wèn)題，當(dāng)輸入信源概率分布 p(xi)調(diào)整好以后， C和Ct已與 p(xi)無(wú)關(guān)，而 僅僅是信道轉(zhuǎn)移概率的函數(shù) ，只與信道統(tǒng)計(jì)特性有關(guān)； ? 信道容量是完全 描述信道特性 的參量； ? 信道容量是信道 能夠傳送的最大信息量 。(m a x )(1 秒比特YXICixptt?167。 )/()。 :離散無(wú)記憶信道及其信道容量 6 ? 信道容量 C： 在信道中 最大的 信息傳輸速率， 單位： 比特 /信道符號(hào) 。 ? ?? ?? ?? ?????????nimj xypxpxypijinimjypxypjiijijiniijijniijiijjij xypxpyxpYXIxypxpyxpxypxpyp1 1 )/()()/(21 1)()/(211l og)/()(l og)()。由平均互信息的性質(zhì)已知， I(X。Y)隨信源概率分布 p(xi)的變化而變化。 :離散無(wú)記憶信道及其信道容量 5 ? I(X。一旦在某一過(guò)程中丟失了一些信息，以后的系統(tǒng)不管怎樣處理，如果不能接觸到丟失信息的輸入端，就不能再恢復(fù)已丟失的信息 。每處理一次，只會(huì)使信息量減少，至多不變。 當(dāng)已用某種方式取得 Y后，不管怎樣對(duì) Y進(jìn)行處理，所獲得的信息不會(huì)超過(guò) I(X。 ?當(dāng)對(duì)信號(hào) /數(shù)據(jù) /消息 進(jìn)行多級(jí)處理時(shí)，每處理一次，就有可能 損失 一部分信息，也就是說(shuō)數(shù)據(jù)處理會(huì)把信號(hào) /數(shù)據(jù) /消息變成更有用的形式，但是 絕不會(huì)創(chuàng)造出新的信息 。Z)≤I(Y。Z)≤I(X。 | ) 0I X Y Z ?? 數(shù)據(jù)處理定理 數(shù)據(jù)處理定理 ： 當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均 互信息量趨于變小。 ) ( 。 ) ( 。 | )I X Y Z I X Y I X Z Y H X H X Y ZH X H X Z H X Z H X Y ZI X Z I X Y Z? ? ? ?? ? ? ???( 。 | ) ( ) ( | )( ) ( | ) ( | ) ( | )( 。 ) ( 。 信道 1 P(Y/X) 信道 2 P(Z/Y) X Y Z? 串聯(lián)信道 信道 1 P(Y/X) 信道 2 P(Z/Y) X Y Z( | ) ( | ) ( | )j j jp x z y b p x y b p z y b? ? ? ?( 。 信道 1 P(Y/X) 信道 2 P(Z/Y) X Y Z12{ , , . . . . . . . }XKA a a a?12{ , , . . . . . . . }ZLA c c c?12{ , , . . . . . . . }YJA b b b?? 串聯(lián)信道 ? 信道 1的輸出 Y與其輸入 X統(tǒng)計(jì)相關(guān)，信道 2的輸出 Z與其輸入 Y統(tǒng)計(jì)相關(guān)，一般來(lái)講， Z與 X統(tǒng)計(jì)相關(guān)。 ? 信宿收到數(shù)據(jù)后再進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。