【正文】 。 統(tǒng)計(jì)多余度包括信源前后符號(hào)間相關(guān)性帶來的多余度和信源符號(hào)分布不均勻?qū)е碌亩嘤喽取? 信源多余度有：統(tǒng)計(jì)多余度、結(jié)構(gòu)多余度、視覺多余度、時(shí)間多余度、空間多余度等，需要采用不同方法消除?；蛟诿恳粋€(gè)傳送符號(hào)內(nèi)攜帶盡可能多的信息量。 在信道帶寬不受限制的情況下，信道容量僅取決于信噪比。 c1 c2 0 R E(R) C2C1 信道容量的計(jì)算： C=W?log(1+PS/(WN0)) W為信道帶寬， PS是為信號(hào)平均功率， N0高斯噪聲功率譜 令 PS=Rt .Eb ， Rt 為信息傳輸速率， Eb 為傳輸每一比特信息所需平均功率。 )NiiiI X Y I X Y?? ? 小結(jié)：信息論的研究意義 信息論對(duì)信道編碼的指導(dǎo)意義 信道編碼定理：每一個(gè)信道具有確定的信道容量 C，對(duì)于任何小于 C的信息傳輸率 R，總存在一個(gè)碼長為 n，碼率等于 R的分組碼，若采用最大似然譯碼，則其譯碼錯(cuò)誤概率 PE滿足 PE?AenE(R) 其中： A是常數(shù)， E（ R)為誤差函數(shù) 錯(cuò)誤概率 PE越小，傳輸可靠性越高。 信源與信道都是無記憶的，則有： 1( 。 ) ( 。 )NiiiI X Y I X Y?? ?當(dāng)信道無記憶時(shí)，拆開傳輸相當(dāng)于此信源無記憶，那么此時(shí)獲取的信息顯然是比捆綁在一起傳輸要大。 12() NX X X X?12()NY Y Y Y?( | )P y x若信道是無記憶的，則有： 1( 。 ) } m a x ( ( ) ) l o g /PxC I X Y H X r b i t s i g n? ? ?則剩余度為： ( 。 ) ( 。 ()NC N C?因?yàn)楦髯兞吭谕恍诺乐袀鬏?，所以有? , 1 , 2 ,iC C i N??… 信源與信道的匹配 定義 設(shè)信道的信息傳輸率為： 信道容量為 C，則定義信道剩余度為： ( 。()。()()。 離散無記憶 N次擴(kuò)展信道的信道容量 ()( ) ( ) ( )1 1 1m a x ( 。Y)=C 對(duì)于所有 i,其 Pi≠0 2 I(ai。Y)=H(Y)H(Y/X) 定理：一般離散信道的平均互信息 I(X。Y) H(Y) H(X) I(X。Y) H(Y) H(Y/X) ≠ 0 H(Y)=I(X。(m a xXXYX當(dāng)信道平穩(wěn)時(shí) CL=LC1，一般情況下， I(X。(m a x)。()。()。Y) ? C 對(duì)于所有滿足 p(ai ) = 0條件的 i 當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集 {p(ai)}中每一個(gè)符號(hào) ai對(duì)輸出端 Y提供相同的互信息，只有概率為零的符號(hào)除外； 75 離散序列信道及其容量 ? 離散序列信道 信道 p(Y/X) Y X X=(X1X2… XL) Xl?{a1,a2,…, an} Y=(Y1Y2… YL) Yl ?{b1,b2,… ,bm} 76 離散序列信道及其容量 ? 離散無記憶序列信道，信道轉(zhuǎn)移概率為： ????LlllLL XYpXXYYpp111 )/()/()/( ??XY1 進(jìn)一步信道是平穩(wěn)的 )/()/( xypp L?XY????????)()/(l o g)()/()()()/(l o g)()/()()。Y)最大化的充要條件為： ? I(ai。(l og ?73 ? Eg. 求信道容量 ??????? 3/16/13/16/1 6/16/13/13/11P符號(hào)/)6161(l o g61)3131(l o g31)6131(l o g)6131()61,61,31,31(2l o g2222b i tHC??????????解：首先將 P1分解成若干不相交的對(duì)稱子集 ， 如何分 ？ 74 ? 一般 DMC信道 以輸入信號(hào)概率矢量 Px求函數(shù) I(Px)的最大值（信道容量），可以看作是規(guī)劃問題，最常用的方法是： 1972年由 法，現(xiàn)在稱為 BlahutArimoto算法。,39。,39。(ma x b i tYXIC ??) n () n (.20 ??????? ?? 求得 α=1/2， 71 當(dāng) p(a1)＝ p(a2)＝ 1/2時(shí)， p(b1)＝ p(b2)＝ ()/2＝ C=H(Y)H(Y/X)=? 方法二： 將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集，輸入分布為等概率時(shí)，信道容量 ????? rkkks MNpppHnC121 l og)39。(????????????????? ??????iijjijijjj abpabpapbpbpXYHYHYXI70 ? Eg. 求信道容量 ???????方法一 （ 續(xù) ） ：由 得 0)。信道容量： ????????mjjijiapapapppmXYHYHYXHXHYXICiii1)()()(l ogl og)/()(m a x)]|()([m a x)。Y)=1H(?)， I(X。()。W)… )。該信道具有對(duì) 稱 DMC信道特征，其概率轉(zhuǎn)移概率為： 62 ???????????????313131123)( zPz?????????????00.........03/10...003/13/13/1...3/13/1003/13/13/10p0 1 K1 0 1 2 K1 信道示意圖如右圖所示： )(l og ZHKC ??利用公式 得到 3l ogl og ?? KC63 ? 串聯(lián)信道 信道 1 信道 2 … 信道 m 串聯(lián)信道 C(1,2)=maxI(X。 )1,1,1(l og ????? nnHnC ??? ?含義？ 59 ? n=2時(shí)，即為：二進(jìn)制對(duì)稱信道，容量為 C＝ 1－ H（ ?） 0 0 . 2 0 . 4 0 . 6 0 . 8 100 . 20 . 40 . 60 . 81通常記作：),1(l o g ????? HnC60 p C )(1 ?HC ??0)21,21(1 ??? HC信道無噪聲 當(dāng) ε = 0, C =1－ 0 = 1bit = H(X) 當(dāng) ε =1/2, 信道強(qiáng)噪聲，信道容量為 0 BSC信道容量 離散無記憶模 K加性噪聲信道 ? 取值范圍： Z=X=Y={0,1,…,K 1}， X為信道輸入， Y為信道輸出， Z為信道干擾。 54 ? 輸入對(duì)稱 無關(guān)與 iabpabpjijij? )/(l o g)/(無關(guān)；與輸入符號(hào)的概率分布 )()/()/(l o g)/()/(l o g)/()()/(iijijijjijijiiapaYHabpabpabpabpapXYH????????55 ? 對(duì)稱信道容量 )/()(m a x)]|()([m a x)]|()([m a x)。 (2)計(jì)算信道容量 C 在 [例 ]中 ， 第一個(gè)信道是輸入只有兩個(gè)消息的情況 ， 設(shè)最佳分布為 q (x1) = ?， q (x2) = 1?， 仿照 [例 ]可算出 ? = ， 則信道容量 C = C1 = (比特 /符號(hào) )。 【 例 】 兩個(gè)離散信道 ， ， 將它們串行連接使用 ， 如圖 410， 計(jì)算總信道容量 C。 Z) = I (X。 Z） （ 434） 證明式（ 433） I（ X； Z） I（ X； Y） = [H（ X） H（ X︱ Z） ] [H（ X） H（ X︱ Y） ] = H（ X︱ Y） H（ X︱ Z） ? H（ X︱ Y） H（ X︱ YZ） （條件熵小于等于無條件熵） = H（ X︱ Y） H（ X︱ Y） （因?yàn)?X、 Y、 Z為馬爾可夫鏈） = 0 ? I（ X； Z） ? I（ X； Y） 證畢 數(shù)據(jù)處理定理 ： 無論經(jīng)過何種數(shù)據(jù)處理 ， 都不會(huì)使信息量增加 。 Y） （ 433） I（ X。因此信道 1和信道 2串連就構(gòu)成了一個(gè) 馬爾可夫鏈 ，對(duì)于馬爾可夫鏈有如下定理： X 信道 1 信道 2 Z Y 圖 4－ 11 馬爾可夫鏈 定理 若隨機(jī)變量 X、 Y、 Z組成一個(gè)馬爾可夫鏈，如圖 411所示，則有 I（ X。 若將 N個(gè)轉(zhuǎn)移概率相同的信道級(jí)聯(lián) ， 當(dāng) N →∞ 時(shí) ，其總信道容量將趨于零 。39。 jijijjij yxypxypxyp ?? ?? ? ? ? ? ?)()()( 39。39。m a x / HYXIpYXIpxqxq ???? ?)(m a x 22211 PP HCpCp ???求使式 (426)取極大值的 P 令 ， 對(duì)數(shù)以 2為底 ， 注意到 p2 = 1 p1， 得 記 C1 log p1 = C2 log p2 = ?（ ?為待定常數(shù)） （ 427） ? ?? ? 0122211 ?????pPHCpCp02ln 1l o g2ln 1l o g 2121 ?????? ppCC從式 （ 427） 中解出： （ 428） ?????????212221CCpp將式 (428)代入條件 p1+p2 = 1， 得 （ 429） ? ?21 22lo g CC ???式（ 428）中的 p1, p2就是使平均互信息量 I（ p1, p2）達(dá)到最大的取值，將其代入式（ 426），得： ?????? ?????? ???? 221121 2l o g22l o g222 21 CCCCCC CCC)22( 21 ??? ?? ?? CC = ?（ p1+p2） =? ? ?21 22lo g CCC ?? 將式 （ 429） 代入式 （ 430） 得： 推廣到 N個(gè)信道輪流使用的情況 , 當(dāng) N個(gè)信道以不同概率輪流使用時(shí) ， 記 Ck (k = 1, 2, … , N )為第 k個(gè)信道的信道容量 ， C為組合信道的總?cè)萘?，