【正文】 0 0 Z Y 1 1 ?求得 : )]1(2[1)。()(1)。(ppHZXIpHYXI??????在實際通信系統(tǒng)中 ,信號往往要通過幾個環(huán)節(jié)的傳輸 ,或多步的處理 ,這些傳輸或處理都可看成是信道 ,它們串接成一個 串聯(lián)信道 。 p p 1p 1p 1p 1p 第三章 信道與信道容量 信息論與編碼 84 2022/3/13 西北大學(xué)信息學(xué)院 串聯(lián)信道 ?由 信息不增原理 信道 2 信道 m 信道 1 … ?)。()。()。()( WXIZXIYXIXH ???)。(m a x)2,1( ZXIC ??)。(m a x)3,2,1( WXIC ??可以看出 ,串接的信道越多 ,其信道容量可能會越小 ,當(dāng)串接信道數(shù)無限大時 ,信道容量可能會趨于 0 X Y Z 第三章 信道與信道容量 信息論與編碼 85 2022/3/13 西北大學(xué)信息學(xué)院 準(zhǔn)對稱 DMC信道 ?準(zhǔn)對稱信道 ? 轉(zhuǎn)移概率矩陣 P是 輸入對稱而輸出不對稱 ?將信道矩陣 P的列劃分成若干個互不相交的子集 mk,由mk為列組成的矩陣 [P]k是 對稱矩陣 。 ????????????????????????????????????????????616131313161613131613161616131311P?它們滿定對稱性 ,所以 P1所對應(yīng)的信道為準(zhǔn)對稱信道。 第三章 信道與信道容量 信息論與編碼 86 2022/3/13 西北大學(xué)信息學(xué)院 準(zhǔn)對稱信道的信道容量 ?準(zhǔn)對稱信道 ????????????????????2P),(l o g 21 mpppHmC ????準(zhǔn)對稱信道容量 第三章 信道與信道容量 信息論與編碼 87 2022/3/13 西北大學(xué)信息學(xué)院 準(zhǔn)對稱信道的信道容量 ?當(dāng)輸入分布為 等概率 時： ?????rkkkm MNpppHnC121 l o g),(l o g ?? 其中 n是輸入符號集的個數(shù) ,(p1, p2,…p m)為準(zhǔn)對稱信道矩陣中的 行 元素。 ?設(shè)矩陣可劃分成 r個互不相交的子集。 ? Nk是第 k個子矩陣 Pk中 行 元素之和 , ? Mk是第 k個子矩陣 Pk中 列 元素之和。 ),2,1()|()|(rkabpMabpNiijkjijk??????第三章 信道與信道容量 信息論與編碼 88 2022/3/13 西北大學(xué)信息學(xué)院 ?例：設(shè)信道傳遞矩陣為 ???????????8181214181814121P???????????214141211P???????????818181812P信道符號）（比特 /)41l og4143l og43()81,81,41,21(2l ogl og),(l og121??????????? ??HMNpppHnCrkkkm??計算得： N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4 ?將它分成 第三章 信道與信道容量 信息論與編碼 89 2022/3/13 西北大學(xué)信息學(xué)院 一般 DMC信道 ?定理 ： ?一般離散信道的平均互信息 I(X。Y)達(dá)到 極大值 的 充分和必要條件 是輸入概率 {p(ai)}必須滿足 : I (ai。Y) = C 對于所有 ai其 p(ai)＞ 0 I (ai。Y) ≤C 對于所有 ai其 p(ai) = 0 ?上式說明： ? 當(dāng)信道的平均互信息 I(X。Y)達(dá)到信道容量時 ,輸入符號概率集 {p(ai)}中每一個符號 ai對輸出端Y提供相同的互信息 ,只是概率為 0的除外。 第三章 信道與信道容量 90 可以利用該定理對一些特殊信道求得它的信道容量 例：輸入符號集為 :{0,1,2} 10112201P?????????????假設(shè) P(0)=P(2)=1/2， P(1)=0，則： 1( 0)21( 1 )2PyPy????第三章 信道與信道容量 91 21( / 0 )(0 , ) ( / 0 ) l o g l o g 2()yPyI Y P yPy????21( / 2 )( 2 , ) ( / 2 ) l o g l o g 2()yPyI Y P yPy????21( / 1 )( 1 , ) ( / 1 ) l o g 0( 1 )yPyI Y P yP????所以： l o g 2 1C ??第三章 信道與信道容量 92 對于一般信道的求解方法，就是求解方程組 11( / ) l o g ( / ) ( / ) l o g ( )ssj i j i j i jjjP b a P b a P b a P b C??????移項得： 11( / ) [ l o g ( ) ] ( / ) l o g ( / )ssj i j j i j ijjP b a C P b P b a P b a??????令 lo g ( )jjC P b? ??則 11( / ) ( / ) l o g ( / )ssj i j j i j ijjP b a P b a P b a??????若 r=s，此方程有解，可以解出 s各未知數(shù) ，再根據(jù) j?( ) 2 j CjPb ? ??得 121js Cj? ????從而 1lo g 2 jsjC ??? ?第三章 信道與信道容量 93 例： 1 1 102 4 40 1 0 00 0 1 01 1 104 4 2P???????????????????可列方程組： 1 2 4231 3 41 1 1 1 1 1 1 1 1l o g l o g l o g2 4 4 2 2 4 4 4 4001 1 1 1 1 1 1 1 1l o g l o g l o g4 4 2 4 4 4 4 2 2? ? ???? ? ??? ? ? ? ?????????? ? ? ? ???解之得： 231402??????? ? ?2 0 0 2 5l o g ( 2 2 2 2 ) l o g l o g 5 12C??? ? ? ? ? ? ?第三章 信道與信道容量 信息論與編碼 94 2022/3/13 西北大學(xué)信息學(xué)院 離散序列信道及容量 第三章 信道與信道容量 信息論與編碼 95 2022/3/13 西北大學(xué)信息學(xué)院 離散序列信道及容量 ?設(shè)信道的輸入 X=(X1, X2 … Xi,… ), Xi ∈ {a1 … an} 輸出 Y= (Y1, Y2 … Yj,…), Yj ∈ {b1 … bm} 信 道 X Y p(Y|X) ?對于 無記憶離散序列 信道 ,其 信道轉(zhuǎn)移概率 為 )|(),|,()|(111 llLlLL XYpXXYYpp ???? ??XY? 僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的 )|()|( xypp L?XY 第三章 信道與信道容量 信息論與編碼 96 2022/3/13 西北大學(xué)信息學(xué)院 ?定理 ： 若信道的輸入和輸出分別是 L長序列 X和 Y,且信道 是 無記憶 的 ,亦即信道傳遞概率為 )|()|(1llLlXYpp ???XY?則存在 )。()。(1llLlYXII ???ΥΧ?定理 ： 若信道的輸入和輸出分別是 L長序列 X和 Y,且信源 是 無記憶 的 ,亦即 ???LllXpp1)()( X)。()。(1llLlYXII ???ΥΧ?則存在 第三章 信道與信道容量 信息論與編碼 97 2022/3/13 西北大學(xué)信息學(xué)院 離散序列信道及容量 ?若 信源 與 信道 都是 無記憶 的 )。()。(1llLlYXII ???ΥΧ?L次擴(kuò)展信道 的信道容量 ?????????LlLlllPPL lCYXIICXX 11)()。(m a x)。(m a x?當(dāng)信道平穩(wěn)時 : 1LCC L ??一般情況下 : 1)。( LCI ?ΥΧ第三章 信道與信道容量 信息論與編碼 98 2022/3/13 西北大學(xué)信息學(xué)院 例 .BSC信道二次擴(kuò)展 00 01 10 11 00 01 10 11 ???????????????????????????22222222)1()1()1()1()1()1()1()1()1()1()1()1(ppppppppppppppppppppppppP?轉(zhuǎn)移概率矩陣 ?2次擴(kuò)展信道 的信道容量 ]),1(),1(,)1[(4l o g 2222 ppppppHC ?????? 若 p = ? 則 C2=(2－ )bit/序列 = C1 = X Y 第三章 信道與信道容量 信息論與編碼 99 2022/3/13 西北大學(xué)信息學(xué)院 獨立并聯(lián)信道 ?設(shè)有 L個信道 ,它們的輸入、輸出分別是： X1,X2…XL； Y1,Y2…YL ???????LllLLCCCCIC121,2,1 )。(m a x?? YX信 道 信 道 信 道 p(Y1|X1) p(Y2|X2) … ?每一個信道的輸出 Yl只與本信道的輸入 Xl有關(guān) ,與其他信道的輸入、輸出都無關(guān)。 ?獨立并聯(lián)信道的信道容量 X 1 X 2 X L Y 1 Y 2 Y L p(YL|XL) 第三章 信道與信道容量 信息論與編碼 100 2022/3/13 西北大學(xué)信息學(xué)院 信源信道的匹配 第三章 信道與信道容量 101 信道的信道容量是固定的，如果某一信源通過該信道傳輸是，信息傳輸率達(dá)到了信道容量，我們認(rèn)為信源與信道達(dá)到匹配 ，否則，我們認(rèn)為有剩余。 定義： 信道剩余度 ＝ CI(X。Y) 信道的 相對剩余度 ＝ ( 。 )1 I X YC?對于無損信道，相對剩余度＝ ()1 logHX r?第三章 信道與信道容量 102 如何才能做到匹配呢？ 一般通信系統(tǒng)中，把信源發(fā)出的符號變成能在信道中傳輸?shù)姆枺趥鬏敃r，要能夠 盡量用較少的符號表示相同的信息 ，這樣就可以提高信息的傳輸率，從而提高信道的利用率。這就是 香農(nóng)無失真信源編碼理論