【正文】 ??1 2 31 2 3. . . . . .( ) ( ) ( ) . . . . . . ( )()rra a a aXp a p a p a p apx???? ??????? ??? 信道輸出 Y的符號(hào)集為 B={b1,b2,…,b s}。 Y:{0,1} 。 ?輸出符號(hào)為 Y，取值于 {b1,b2, …,b s}。 1 2 1 21( | ) ( . . . | . . . ) ( | )NN N i iip y x p y y y x x x p y x??? ? (3) 有干擾 (噪聲 )有記憶信道 實(shí)際信道往往是既有干擾 (噪聲 )又有記憶的這種類(lèi)型。 ? 研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信道容量。 ? 根據(jù)信道的 統(tǒng)計(jì)特性即條件概率 p(y/x)的不同，離散信道又可分成三種情況： ? 無(wú)干擾信道 ? 有干擾無(wú)記憶信道 ? 有干擾有記憶信道 (1)無(wú)干擾 (噪聲 )信道 信道中沒(méi)有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)y與輸入信號(hào) x 之間有確定的、一 一對(duì)應(yīng)的關(guān)系。 （ 2）另一種處理方法是 把 p(y/x) 看成馬爾可夫鏈 的形式，這是有限記憶信道的問(wèn)題。 P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?，所以該矩陣又稱(chēng)為 信道矩陣 （轉(zhuǎn)移矩陣） 。 ????????qqpp1001 0 2 1 0 1 p 0 0 1－ p 1 1 q 1－ q 2 [例 2]二元?jiǎng)h除信道。 p(ai)先驗(yàn)概率 ，接收到一個(gè)輸出符號(hào)以前輸入符號(hào)概率 p(bj)輸出某符號(hào)的概率 (2)根據(jù)條件概率可得輸出符號(hào)的概率 : 輸出 /輸入符號(hào)與轉(zhuǎn)移概率關(guān)系的矩陣形式為 : 1( ) ( ) ( / ) ( 1 , . . . , )rj i j iip b p a p b a j s???? 對(duì) 都 成 立1 12 2() ()() ()(): :() ()Ts rpb papb parspb pa?? ???? ???? ?????? ???? ??????P(3) 根據(jù)貝葉斯定律可得后驗(yàn)概率 : ()( / ) ( ) 0()iji j jjp a bp a b p bpb??1( ) ( / )( 1 , 2 , . . . , 1 , 2 , . . . , )( ) ( / )i j iri j iip a p b ai r j sp a p b a?? ? ??。 1( | ) ( | ) l og( | )jjX jH X b p x b p x b? ?1( | ) [ ( / ) ] ( ) ( / )sj j jjH X Y E H X b p b H X b??? ?111( ) ( | ) l o g( | )srj i jji ijp b p a b p a b??? ??,1( ) l o g( | )XY p x y p x y? ? 信道疑義度（含糊度） ：它表示在輸出端收到全部輸出符號(hào) Y集后，對(duì)于輸入端的信號(hào)集 X尚存在 的不確定性 (存在疑義 )。 yj) = I(xi)； 對(duì)于全損信道， I(xi 。 ?它代表接收到符號(hào)集 Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。 ? I(X。Y) = H(X) H(X|Y) I(X。Y) = H(X) H(X|Y)：從 Y中獲得關(guān)于 X的平均互信息 I(X。Y) 確定了通過(guò)信道的信息量的多少，因此稱(chēng)它為 信息傳輸率或傳信率 。Y)=0，說(shuō)明罪犯的講話對(duì)案情毫無(wú)幫助。 ? 平均互信息 I(X。 )I X Y?,( ) ( ) ( )( ) l o g ( ) l o g( ) ( ) ( )( ) ( )l o g ( ) l o g ( ) ( ) l o g 1 0()X Y X YX Y X Yp x y p x p yp x y p x yp x p y p x yp x p yp x y p x p yp x y? ? ?? ? ? ?????( 。X)=0 當(dāng)信道無(wú)干擾時(shí)， I(X。 ?I(X。 XYHYH ??)()( pHppH ??? ???????? ????? pppp1l o g1l o g)pp(1l o gp)p(????是 [0， 1]區(qū)域上的熵函數(shù)。 ? 平均互信息 I(X。 ) ( 。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。(m a x pHYXI ??因此， BSC的信道容量為： m a x ( 。 這類(lèi)信道稱(chēng)為 無(wú)噪有損信道 (確定信道 )。 具有這種對(duì)稱(chēng)信道矩陣的信道稱(chēng)為 對(duì)稱(chēng)離散信道 。, . . . , 39。, . .. ,39。 ) iNpXNiipXiNiipXiNiiC I X YI X YI X YC??????????由于輸入序列中的各分量是在同一信道中傳輸?shù)? 一般情況下 ，消息序列在離散無(wú)記憶的 N次擴(kuò)展信道中傳輸?shù)男畔⒘浚? I（ X。 ? 因此，得 平均功率受限高斯加性信道 的信道容量 (每個(gè)自由度 )為： 2020 l o g212l o g2l o g????PeePC ???如果信道加入信道的噪聲是加性高斯噪聲，則輸出 Y、 信道噪聲的概率密度函數(shù)為： 0( ) ( 0 , )p y N P?2( ) (0 , )p n N????? Y X n?? ( ) (0 , )p x N S?即： 20PS? ? ?因此，當(dāng)信道的輸入 X是均值為 “ 0”、方差為 “ Ｓ ” 的高斯分布時(shí)， 平均功率受限高斯加性信道 的信息傳輸率達(dá)到最大值： 202211l og l og22P SC ??????211l o g ( 1 ) l o g ( 1 )22 nSSP?? ? ? ?其中Ｓ是輸入信號(hào) X的平均功率， Pn=? 2 是高斯噪聲的平均功率 ?在實(shí)際中，天電干擾、工業(yè)干擾和其它脈沖干擾都屬于加性干擾，它們是非高斯型分布。 i niPP??? 當(dāng)常數(shù) ?＜ Pni時(shí)，此信道 (或此時(shí)刻信號(hào)分量 )不分配能量，使不傳送任何信息， 當(dāng) ? ＞ Pni，在這些信道分配能量，并使?jié)M足 Pi+Pni= ? ，這樣得到的信道容量為最大。 1011( )iiPW???? ?10111011 0 .1 0 .2 .. . 1 .0100 .6 5niiPP??????????? ? ? ? ???(1)由常數(shù) ?的約束條件，得： 解： 比較后得最后四個(gè)信道應(yīng)排除，即令： P7 =0， P8 =0 ， P9 =0 ， P10 =0 Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） (2) 再計(jì)算常數(shù) ?（此時(shí)可用信道為 6個(gè)） ，得： ? ?6111 1 0 . 1 0 . 2 . . . 0 . 6 0 . 5 1 766 niiPP? ???? ? ? ? ? ? ? ????? ?比較得： P6 = ，第六個(gè)信道也應(yīng)排除，令： P6 =0 (3) 再計(jì)算常數(shù) ?（此時(shí)可用信道為 ５個(gè)） ，得： ? ?5111 1 0 . 1 0 . 2 . . . 0 . 5 0 . 555 niiPP? ???? ? ? ? ? ? ? ????? ?可見(jiàn)，第五個(gè)信道也應(yīng)排除，令： P5 =0 (4) 再計(jì)算常數(shù) ?（此時(shí)可用信道為 4個(gè)） ，得 ? ?4111 1 0. 1 0. 2 ... 0. 4 0. 544 niiPP? ???? ? ? ? ? ? ? ????? ?所以，功率分配為 ： P1 =， P2 = ， P3 = ， P4 = 本例結(jié)果表明， 噪聲分量功率小的信道分配得到的相應(yīng)信號(hào)分量功率要大一些， 那些噪聲太大的信道就不去用它，可使總的信道容量最大。 第 3章 信道容量和編碼 Enjoy Science 這說(shuō)明，在帶寬很大的情況下， 信噪比 這是個(gè)小數(shù)，說(shuō)明信號(hào)功率小于噪聲功率。因?yàn)樵趯?shí)際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計(jì)算的值要小。 香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。(?信道剩余度 可以用來(lái)衡量信道利用率的高低。 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 16 1 / 32 1 / 32X x x x x x xpX? ? ? ??? ? ? ?? ? ? ?1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC對(duì) 二元離散信道的信道容量 為： C＝ 1(比特／信道符號(hào) ) 對(duì)本信源的信息熵為 H(X)＝ (比特／信源符號(hào) ) 要使信源在此二元信道中傳輸，必須對(duì)信源 X進(jìn)行二元編碼（例如）： 因此， 必須通過(guò)合適的編碼 ，使信道的信息傳輸率接近或等于信道容量。 我們將在第六章介紹信道編碼的典型編碼方法。反之，當(dāng) RC時(shí)，任何編碼的 必大于零，當(dāng) 時(shí)， 。而 I(X。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量 . ? 由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時(shí)才能實(shí)現(xiàn)。 香農(nóng)公式可適用于其他一般非高斯波形信道 ，由香農(nóng)公式得到的值 是非高斯波形信道的信道容量的下限值 。 根據(jù)信道編碼定理，只要我們通信系統(tǒng)的信息傳輸率 R不大于 C，就有辦法實(shí)現(xiàn)可靠通信。 (比特／ 10個(gè)自由度 ) 44111 2 3 4411l o g 1 l o g221l o g21 0 .5l o g 2 .3 52 0 .1 0 .2 0 .3 0 .4iii ni nin n n nPCPPP P P P?? ? ? ???? ? ? ?? ? ?? ? ? ?? ? ? ????? ? ???信道容量： 若提高信號(hào)的總平均功率，使： 功率分配為 ： P1 =， P2 = ， P3 = ， P4 =， P5 =， P6 = ， P7 = ， P8 = . . .l o g21l o g21l o g2188765432181?????????