【正文】 把這個 最大值 稱為該信道的 信道容量 。Y)的條件極大值問題，當(dāng)輸入信源概率分布 p(xi)調(diào)整好以后， C和 Ct已與 p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)； 它是信道的特征參數(shù)，反應(yīng)的是信道的最大的信息傳輸能力。 結(jié) 論 對于 二元對稱信道 ，由圖可以看出信道容量等于 1H(P) 第三章 信道與信道容量 信息論與編碼 64 2022/3/13 西北大學(xué)信息學(xué)院 無干擾離散信道 ?設(shè)信道的輸入 X∈ A={a1 … an},輸出 Y∈ B={b1 … bm} ?無噪無損 信道 ? 輸入和輸出符號之間有確定的一一對應(yīng)關(guān)系 )3,2,1,(10)|()|( ???????? jijijibapabpjiijX ???????????100010001Pa1 Y b1 a2 b2 a3 b3 1 1 1 第三章 信道與信道容量 信息論與編碼 65 2022/3/13 西北大學(xué)信息學(xué)院 無干擾離散信道 ?無噪無損 信道 X ?????????????????0001001001001000????????Pa1 b1 Y a2 b2 an1 bn1 an bn 1 1 第三章 信道與信道容量 信息論與編碼 66 2022/3/13 西北大學(xué)信息學(xué)院 無干擾離散信道 ?無噪無損 信道 ?由 )|(l o g),()|( ijijji xypyxpXYH ???)|(l o g),()|( jiijji yxpyxpYXH ????計算得： ?噪聲熵 H(Y|X) = 0 損失熵 H(X|Y) = 0 )()(),( YHXHYXI ??nYXICiap2)( lo g)。 第三章 信道與信道容量 信息論與編碼 68 2022/3/13 西北大學(xué)信息學(xué)院 無干擾離散信道 ?無噪有損 信道 ? 多個輸入變成一個輸出 (n＞ m) ?噪聲熵 H(Y|X) ＝ 0 ?損失熵 H(X|Y) ≠ 0 )()(),( XHYHYXI ??)(m a x)。但輸出端 Y的平均不確定性因噪聲熵等于零而沒有增加。 ?噪聲熵 H(Y|X) ≠ 0 損失熵 H(X|Y) = 0 )()(),( YHXHYXI ??)(m a x)。(m a x ?????無 噪 有 損 信道 mYHYXICiap2)( l o g)(m a x)。(m a x ???第三章 信道與信道容量 信息論與編碼 72 2022/3/13 西北大學(xué)信息學(xué)院 對稱 DMC信道 ?對稱離散信道： ?對稱性 : ? 每一行都是由同一集 {p1, p2,…p m} 的諸元素不同排列組成 —— 輸入對稱 ? 每一列都是由集 {q1, q2,…q n}的諸元素不同排列組成 —— 輸出對稱 ????????????????????????????????2131616121313161213131616161613131PP 滿足對稱性 ,所對應(yīng)的信道是對稱離散信道。 第三章 信道與信道容量 信息論與編碼 74 2022/3/13 西北大學(xué)信息學(xué)院 對稱 DMC信道 ?若輸入符號和輸出符號個數(shù)相同 ,都等于 n,且信道矩陣為 ????????????????????????????pnpnpnppnpnpnppP111111111????此信道稱為 強(qiáng)對稱信道 (均勻信道 ) ? 信道矩陣中各列之和也等于 1 第三章 信道與信道容量 信息論與編碼 75 2022/3/13 西北大學(xué)信息學(xué)院 對稱 DMC信道 ?對稱離散信道的平均互信息為 )|()()|()(),( XYHYHYXHXHYXI ????niaYHabpabpabpabpapXYHiijjijiji jiji?,2,1)|()|(l og)|()|(l og)|()()|(???????? ?),()|()|( 21 mi pppHaYHXYH ???第三章 信道與信道容量 信息論與編碼 76 2022/3/13 西北大學(xué)信息學(xué)院 對稱 DMC信道 ?對稱 DMC信道的 容量 ： ?上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?,它只與對稱信道矩陣中行矢量 {p1, p2,…pm }和輸出符號集的個數(shù) m有關(guān)。(pHpHppHXYHYHYXI??????? ??)(1l o g)(1l o g)()(ppHppppppppYH??????????????????第三章 信道與信道容量 信息論與編碼 79 2022/3/13 西北大學(xué)信息學(xué)院 ?p C )(1 pHC ???當(dāng)固定信源的概率分布 ω時 ,I (X,Y) 是 p的 下凸函數(shù)。Y)是輸入信源的概率分布 p(ai)的 型上凸函數(shù)。Y)是信道傳遞概率 p(bj|ai)的 型凸函數(shù)。 ?? ????niijiji jijijijabpapbpbpabpabpapYXI1)|()()()()|(l o g)|()()。()(1)。 p p 1p 1p 1p 1p 第三章 信道與信道容量 信息論與編碼 84 2022/3/13 西北大學(xué)信息學(xué)院 串聯(lián)信道 ?由 信息不增原理 信道 2 信道 m 信道 1 … ?)。()。(m a x)2,1( ZXIC ??)。 ????????????????????????????????????????????616131313161613131613161616131311P?它們滿定對稱性 ,所以 P1所對應(yīng)的信道為準(zhǔn)對稱信道。 ?設(shè)矩陣可劃分成 r個互不相交的子集。 ),2,1()|()|(rkabpMabpNiijkjijk??????第三章 信道與信道容量 信息論與編碼 88 2022/3/13 西北大學(xué)信息學(xué)院 ?例：設(shè)信道傳遞矩陣為 ???????????8181214181814121P???????????214141211P???????????818181812P信道符號）（比特 /)41l og4143l og43()81,81,41,21(2l ogl og),(l og121??????????? ??HMNpppHnCrkkkm??計算得： N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4 ?將它分成 第三章 信道與信道容量 信息論與編碼 89 2022/3/13 西北大學(xué)信息學(xué)院 一般 DMC信道 ?定理 ： ?一般離散信道的平均互信息 I(X。Y) = C 對于所有 ai其 p(ai)＞ 0 I (ai。Y)達(dá)到信道容量時 ,輸入符號概率集 {p(ai)}中每一個符號 ai對輸出端Y提供相同的互信息 ,只是概率為 0的除外。若信道是平穩(wěn)的 )|()|( xypp L?XY 第三章 信道與信道容量 信息論與編碼 96 2022/3/13 西北大學(xué)信息學(xué)院 ?定理 ： 若信道的輸入和輸出分別是 L長序列 X和 Y,且信道 是 無記憶 的 ,亦即信道傳遞概率為 )|()|(1llLlXYpp ???XY?則存在 )。(1llLlYXII ???ΥΧ?定理 ： 若信道的輸入和輸出分別是 L長序列 X和 Y,且信源 是 無記憶 的 ,亦即 ???LllXpp1)()( X)。(1llLlYXII ???ΥΧ?則存在 第三章 信道與信道容量 信息論與編碼 97 2022/3/13 西北大學(xué)信息學(xué)院 離散序列信道及容量 ?若 信源 與 信道 都是 無記憶 的 )。(1llLlYXII ???ΥΧ?L次擴(kuò)展信道 的信道容量 ?????????LlLlllPPL lCYXIICXX 11)()。(m a x?當(dāng)信道平穩(wěn)時 : 1LCC L ??一般情況下 : 1)。(m a x?? YX信 道 信 道 信 道 p(Y1|X1) p(Y2|X2) … ?每一個信道的輸出 Yl只與本信道的輸入 Xl有關(guān) ,與其他信道的輸入、輸出都無關(guān)。 定義： 信道剩余度 ＝ CI(X。 )1 I X YC?對于無損信道，相對剩余度＝ ()1 logHX r?第三章 信道與信道容量 102 如何才能做到匹配呢？ 一般通信系統(tǒng)中，把信源發(fā)出的符號變成能在信道中傳輸?shù)姆?，在傳輸時，要能夠 盡量用較少的符號表示相同的信息 ，這樣就可以提高信息的傳輸率，從而提高信道的利用率