信息論離散信道及其容量-資料下載頁
2025-05-07 22:22本頁面
【正文】 | ) ( )()( ) l o g ( | ) ( ) l o g( ) ( ) ( ) ( | ) ( )X Y X YX Y X YXXp x y p x yI X Y p x y p x yp x p x p yp y x p xp x yp x y p y x p xp x p x y p x p y x p x???????? ??信息傳輸率 ? 信道的 信息傳輸率 R定義為平均互信息： R=I(X。Y) ? 其含義是：平均每個符號所能傳送的信息量。 ? 研究信道的核心問題是求出信道容量 C，以及達到信道容量 C的信源分布 p(x)（最佳輸入分布）。 特殊信道的信道容量 ? 無損信道： logr ? 確定信道： logs ? 無噪信道： logr =logs 無損信道 ? 一個輸入對應(yīng)多個互不 相交的輸出，即信道矩 陣的每一列只有一個非 零元素。 ? 由于知道輸出之后，必然能夠確定其對應(yīng)的輸入是什么，因此信道疑義度 H(X|Y)=0。 ? 則 I(X。Y)=H(X)H(X|Y)=H(X) ? 因此信道容量 C=maxp(x){I(X。Y)}=maxp(x){H(X)}=logr x1x2x3y1y2y3y4y5y6無 損 信 道1 / 3 1 / 6 1 / 2 0 0 00 0 0 1 0 00 0 0 0 1 / 4 3 / 4P??????? 確定信道 ? 一個輸出對應(yīng)多個互不相交 的輸入，即信道矩陣的每一行 只有一個“ 1”，其余元素均為 0。 ? 由于知道輸出之后，必然能夠確定其對應(yīng)的輸入是什么，因此噪聲熵 H(Y|X)=0。 ? 則 I(X。Y)=H(Y)H(Y|X)=H(Y) ? 因此信道容量 C=maxp(x){I(X。Y)}=maxp(x){H(Y)}=logs y1y2y3x1x2x3x4x5x6確 定 信 道1 0 01 0 01 0 00 1 00 0 10 0 1P????????? ???????????? 無噪信道 ? 輸出與輸入是一一對應(yīng)關(guān)系， 即信道矩陣為單位矩陣。 ? 因此信道疑義度 H(X|Y)=0，噪聲熵 H(Y|X)=0。 ? 則 I(X。Y) )=H(X)H(X|Y)=H(X) =H(Y)H(Y|X)=H(Y) ? 因此信道容量 C=maxp(x){I(X。Y)} )}=maxp(x){H(X)}=logr =maxp(x){H(Y)}=logs y1y2y3x1x2x3x4無 噪 信 道y41 0 0 00 1 0 00 0 1 00 0 0 1P????????? 對稱信道 ? 定義 信道矩陣的每一行都是其他行的不同排列，則稱此類信道為 輸入對稱信道 。 ? 定義 信道矩陣的每一列都是其他列的不同排列，則稱此類信道為 輸出對稱信道 。 ? 定義 信道矩陣的每一行（列）都是其他行（列）的不同排列，則稱此類信道為 對稱信道 。 0 .4 0 .60 .6 0 .40 .5 0 .5P???????????0. 7 0. 2 0. 10. 1 0. 7 0. 2P???????11113 3 6 611116 6 3 3P?????????1 / 2 1 / 3 1 / 61 / 6 1 / 2 1 / 31 / 3 1 / 6 1 / 2P?????????對稱信道的容量 ? 定理 若一個離散對稱信道有 r個輸入符號， s個輸出符號，則當輸入為等概分布時，達到信道容量 C，且 C=logsH(p1’p2’… ps’) 式中， p1’p2’… ps’為信道矩陣中的任一行。 ? “當輸入為等概分布時，達到信道容量 C”的含義是最佳輸入為等概分布。 對稱信道容量的例子 ? 例 ? 最佳輸入為： ? 信道容量為： C=logsH(p1’p2’… ps’)=log3H(1/2,1/3,1/6) 1 / 2 1 / 3 1 / 61 / 6 1 / 2 1 / 31 / 3 1 / 6 1 / 2P?????????111333XP???????1 1 1 1 1 1l o g 3 l o g l o g l o g 0 . 1 2 62 2 3 3 6 6? ? ? ? ? 信源和信道的匹配 ? 信源與信道達到匹配的含義：信源處于最佳輸入分布，使得信息傳輸率 R達到了信道容量 C。 ? 但通常情況下，讓信源處于最佳輸入分布并不容易，此時信道有剩余： 信道剩余度 =CI(X。Y) ? 信源編碼的目的就是通過編碼，改變原始信源的統(tǒng)計特性，使得信道剩余度盡可能小。 原始信源 信道 不匹配 原始信源 信道 信源編碼 基本匹配 本章小結(jié) ? 信道： PX,PY|X。 ? 離散無記憶信道：一維（單符號） ? 信道疑義度： H(X|Y)；噪聲熵： H(Y|X)。 ? 平均互信息： I(X。Y)。 ? 串聯(lián)信道：數(shù)據(jù)處理定理。 ? 信道容量 ? 對稱信道： C=logsH(p1’p2’… ps’)，最佳輸入為等概分布。
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1