【正文】 二十世紀(jì)六十年代以來(lái)，這方面的研究非?；钴S，出現(xiàn)了代數(shù)編碼、循環(huán)碼、卷積碼、級(jí)聯(lián)碼、格型碼等等，為提高信息傳輸?shù)目煽啃宰鞒隽酥匾呢暙I(xiàn)。 eP??eP L??1eP ?即在任何信道中，信道容量是保證信息可靠傳輸?shù)淖畲笮畔鬏斅省? 例如，某離散無(wú)記憶信源 通過(guò)一個(gè)無(wú)噪無(wú)損二元離散信道進(jìn)行傳輸。Y)＝ H(X)，因而 ： 無(wú)損 信 道 的相對(duì) 剩余度 = rXHlog)(1?? 上式說(shuō)明提高無(wú)損信道信息傳輸率就等于減少信源的剩余度。 相對(duì)信道剩余度 = C YXIC )。由此可見，當(dāng)信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。 2,T , l o g (1 )sPW ??香農(nóng)公式的 物理意義 為： 當(dāng)信道容量一定時(shí)，增大信道的帶寬，可以降低對(duì)信噪功率比的要求； 反之，當(dāng)信道頻帶較窄時(shí)，可以通過(guò)提高信噪功率比來(lái)補(bǔ)償。 在香農(nóng)公式中決定信道容量的是三個(gè)物理參量： 三個(gè)參數(shù)的乘積是一個(gè) “ 可塑 ” 性的體積，三者之間可以互換。 而實(shí)際信道能達(dá)到的最大信息傳輸率約為 ／秒。這是擴(kuò)頻通信系統(tǒng)的理論基礎(chǔ)。假設(shè) R=C，則傳輸數(shù)據(jù)的平均功率為 依此將信道容量定理寫為 CEREP bb ??WCNEWNCEWC WC/12 )1(l o g /0b0b2?????第 3章 信道容量和編碼 Enjoy Science 依此畫出 C/W與 Eb/N0的曲線圖 從曲線來(lái)看，即使在 Eb/N0小于 1的情況下， C/W也是一個(gè)正數(shù)。此 信道的輸入和輸出信號(hào)是隨機(jī)過(guò)程 {x(t)} 和 {y(t)} ，而加入信道的噪聲是加性高斯白噪聲 {n(t)} (其均值為零、功率譜密度為 N0/2)。 輸入信號(hào) X是 10個(gè)相互統(tǒng)計(jì)獨(dú)立、均值為零、方差為 Pi的高斯變量，且： 求各子信道的信號(hào)功率分配。 將 容器底部 看成是 由噪聲平均功率 Pni(即方差 )所形成 的高低不平的底部，將信號(hào)的總能量 P看作總水量，將這些水倒入容器中，水流動(dòng)達(dá)到平衡。 此時(shí)分兩種情況： (1) 若 各單元時(shí)刻 (i＝ 1,…, Ｌ )上的噪聲都是均值為零、方差為Pn的高斯噪聲，而 Pi=S， 則： (2) 若各單元時(shí)刻 (i＝ 1,…, Ｌ )上的噪聲是均值為零，方差為不同 Pni的高斯噪聲，但輸入信號(hào)的總平均功率受限，其約束為： 則： 單位： (比特／Ｌ個(gè)自由度 ) l o g 12 nLSCP????????? ?11 l o g 12Lnii niPCP? ??????? ????? ??? ???? 0 0 0 )( xxxx? ?i n iPP? ???211LLiiiiE X P P???? ????????i n iPP ???(常數(shù) ), i=1,2…, Ｌ 這結(jié)論說(shuō)明，Ｌ個(gè)獨(dú)立并聯(lián)的組合高斯加性信道，當(dāng)各分信道 (或各時(shí)刻 )的噪聲平均功率不相等時(shí)，為達(dá)到最大的信息傳輸率，要對(duì)輸入信號(hào)的總能量適當(dāng)?shù)剡M(jìn)行分配。 211l o g 1 l o g 2 ( )22S C e P h n??? ? ? ? ??????二、多維無(wú)記憶高斯加性連續(xù)信道的信道容量 11( ) ( / ) ( / ) ( )LLi i iiip p p y x p n??? ? ???n y x1( 。所以： ( ) ( )m a x [ ( ) ( / ) ] m a x ( ) ( )p X p XC h Y h Y X h Y h n? ? ? ?? 設(shè)信道迭加的噪聲 n是均值為零，方差為 ? 2 的一維高斯噪聲，則噪聲信源的熵為： 22lo g)( ?? enh ?? 如果信道輸出信號(hào) Y的平均功率限制在 P0以下，由第二章知，當(dāng) Y是均值為零的高斯變量時(shí)，其熵 h(Y)為最大。 一、連續(xù)單符號(hào)加性高斯噪聲信道的信道容量 單符號(hào)連續(xù)信道的平均互信息為： 信息傳輸率為： (比特 /符號(hào) ) 信道容量為： ( 。 ) m a x ( 。 只有當(dāng)信道的輸入符號(hào)是等概率分布時(shí) 才能達(dá)到這個(gè)最大值。) ( / )ssP x P xsC H Y H p p p H Y H p p ps H p p p b it s y m b o l? ? ? ?????YX xypxypxpXYH )|( 1l o g)|()()|( ＝)/()( xXYHxpX??＝)]39。, . . . , 39。, 39。 這類信道中總的錯(cuò)誤概率為 p ，對(duì)稱地平均分配給 r1個(gè)輸出符號(hào)。 m a x ( ) l o g ( / )pxC H Y s b i t s y m b o l??? 損失熵 H(X/Y) = 0 的信道稱為 無(wú)損信道 ，其信道容量為： ? 噪聲熵 H(Y/X) = 0 的信道稱為 無(wú)噪信道 ，其信道容量為： 所謂對(duì)稱信道，是指 信道矩陣 P中每一行都是由同一集合{p1， p2， … ， ps}中諸元素的不同排列組成，且每一列也都是由 {q1， q2， … ， qr} 中諸元素的不同排列組成 。 即接收到符號(hào) Y后不能完全消除對(duì) X的不確定性 ()m a x ( ) l o g ( / )pxC H Y s b i t s y m b o l??無(wú)噪有損信道 在 維拉圖 上 ,有噪無(wú)損信道和無(wú)噪有損信道中平均互信息、損失熵、噪聲熵以及信源熵 之間的關(guān)系 。Y)=H(X) ?????????????????10000005153510000003231P1 1 1 22 3 2 4 2 536( / ) 1 ( / ) 1( / ) 1 ( / ) 1 ( / ) 1( / ) 1p a b p a bp a b p a b p a bp a b??? ? ?? 其 他 各 項(xiàng) 后 驗(yàn) 概 率 為 零()m a x ( ) l o g ( / )PxC H X r b i t s y m b o l?? 如果信道的 前向概率 p(y/x)等于 0或 1，即輸出 y是 x的確定函數(shù)，但不是一一對(duì)應(yīng)的，而是多一對(duì)應(yīng)關(guān)系。Y)最大。({m a x)( YXIC XP? （比特 /符號(hào)） tCCt?(bit/s) Ct仍稱為 信道容量 若平均傳輸一個(gè)符號(hào)需要 t 秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 ] 信道容量的計(jì)算 )(1)。 ? 所以： R = I(X。 假若信源是無(wú)記憶的 ，則有： 1( , ) ( , )N iiiI I X Y?? ?XY1( , ) ( , ) ( , )N iiiI I X Y N I X Y????XY其中 Xi和 Yi是隨機(jī)序列 X和 Y中的第 i 位隨機(jī)變量。 若信源是無(wú)記憶的，則等式成立。 由于是 無(wú)記憶信道 ，可 求得 二次擴(kuò)展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )p p p p pp p p p p pp p p p p pp p p p p????????? ? ?? ? ?? ? ?? ? ? 按照 平均互信息的定義，可得 無(wú)記憶信道的 N次擴(kuò)展信道的平均互信息 ： ( 。 ? 對(duì)每一種信源都存在一種 最差 的信道，此時(shí)干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 ? （ 2） 對(duì)于每一個(gè)固定信道，一定存在有一種 最佳 的信源 (某一種概率分布 p(x))，使輸出端獲得的平均信息量為最大。Y) 是 信道概率 p 的 ∪ 型凸函數(shù)。 p ( y 0 ) ( 0 ) ( 0 / 0 ) ( 1 ) ( 0 / 1 ) ( 1 ) p x p y x p x p y xp p p p? ? ? ?? ? ? ? ? ? ? ? ?? ? ? ? ? p ( y 1 ) ( 1 ) p p p p? ? ? ?? ? ? ? ? ?)/()(Y)I ( X 。()。Y)是輸入信源的概率分布 p(x)的 ∩ 型凸函數(shù)。 ) ( ) l o g()() ( ) l o g( ) ( )( / ) ( ) l o g ( 。Y) = I(Y。 )()/()()。 證明：利用詹森不等式 ( 。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。同樣，也不能從 X中獲得任何關(guān)于 Y的信息量。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨(dú)立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計(jì)獨(dú)立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。 如果 I(X。Y) H(XY) = H(X)+H(Y) I(X。 ?平均互信息量 I(X。Y) = H(Y) H(Y|X) ：平均互信息 I(X。 ) ( | )( ) l o g ()YijXp x yp x yEyxI px??? ?? ? ?)|(1l og)()(1l og)(, yxpxypxpxpYXX?? ?＝,( | )( ) l o g()XYp y xp x ypy? ?( ) ( )Yp x y p x??( ) ( ) ( / ) ( ) ( / )p x y p x p y xp y p x y??( ) ( | )H X H X Y??平均互信息與各類熵之間關(guān)系的說(shuō)明 ? I(X。)(1l o g)()(ypypYHxpxpXH YX ?? ＝＝)|(1l o g)()|(。 I(X。Y) = 0。 y)0，說(shuō)明在未收到信息量 y以前對(duì)消息 x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對(duì) x是否出現(xiàn)的不確定程度增加了。Y) ? 互信息 I(x 。Y)=H(X)H(X/Y)為 X和 Y之間的 平均互信息 。(ijij ijijij iji xpyxpyxpyxIyxpYXI ? ?? ? ??平均互信