信息論離散信道及其容量-閱讀頁(yè)
2025-05-22 22:22本頁(yè)面
【正文】 0 | 0 ) ( | ) ( 0 1 | 0 0 ) ( 0 | 0 ) ( 1 | 0 )( | ) ( 1 0 | 0 0 ) ( 1 | 0 ) ( 0 | 0 ) ( | ) ( 1 1 | 0 0 ) ( 1 | 0 ) ( 1 | 0 )( | ) ( 1 0 | 1 1 ) ( 1 | 1 ) ( 0 | 1 ) ( | ) ( 1 1 | 1 1 ) ( 1 | 1 ) ( 1 | 1 )p p p p p p p p p pp p p p p p p p p p pp p p p p p p p p p p? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?0 00 11 01 10 00 11 01 1 定理 ? 定理 若信道的輸入和輸出分別是 N長(zhǎng)序列 X和 Y，且信道 是無(wú)記憶的，則： I(X。Yi) ? 定理 若信道的輸入和輸出分別是 N長(zhǎng)序列 X和 Y，且信源 是無(wú)記憶的，則： I(X。Yi) ? 當(dāng)信源和信道都是無(wú)記憶的，此時(shí) I(X。Yi) ? 當(dāng)信道輸入序列的每一個(gè)符號(hào)來(lái)自同一個(gè)符號(hào)集 A，信道輸出序列的每一個(gè)符號(hào)來(lái)自同一個(gè)符號(hào)集 B，則 ∑I(Xi。Y)，即 I(X。Y) ? 來(lái)自同一符號(hào)集： {00,01,10,11}，每一序列的兩個(gè)符號(hào)均來(lái)自 {0,1} 來(lái)自不同符號(hào)集： {a1,a2,b1,b2}，每一序列的第一個(gè)符號(hào)來(lái)自 {a,b}，第二個(gè)符號(hào)來(lái)自 {1,2} 信道的組合 ? 組合方式 并行：積信道 串行：級(jí)聯(lián)信道 例如： Inter 例如： GSM ? 重點(diǎn)介紹級(jí)聯(lián)信道（串聯(lián)信道） 級(jí) 聯(lián) 信 道積 信 道? 假設(shè)串聯(lián)的兩個(gè)信道為信道 I和信道 II，信道 I的傳遞概率為 p(y|x)，信道 II的傳遞概率為 p(z|xy)。Z)≤I(X。Z)≤I(Y。這是信息不增性原理。Y)=1H(p) I(X。Z)≤I(X。Y)} ? 由定理 ， I(X。Y)取最大值的 p(x)為最佳輸入分布。Y)的定義式可知， I(X。 信 道 1 的最 佳 輸 入 分 布I ( X 。 ) ( ) l o g ( ) l o g( ) ( ) ( )( | ) ( )()( ) l o g ( | ) ( ) l o g( ) ( ) ( ) ( | ) ( )X Y X YX Y X YXXp x y p x yI X Y p x y p x yp x p x p yp y x p xp x yp x y p y x p xp x p x y p x p y x p x???????? ??信息傳輸率 ? 信道的 信息傳輸率 R定義為平均互信息： R=I(X。 ? 研究信道的核心問(wèn)題是求出信道容量 C，以及達(dá)到信道容量 C的信源分布 p(x)（最佳輸入分布）。 ? 由于知道輸出之后，必然能夠確定其對(duì)應(yīng)的輸入是什么，因此信道疑義度 H(X|Y)=0。Y)=H(X)H(X|Y)=H(X) ? 因此信道容量 C=maxp(x){I(X。 ? 由于知道輸出之后，必然能夠確定其對(duì)應(yīng)的輸入是什么，因此噪聲熵 H(Y|X)=0。Y)=H(Y)H(Y|X)=H(Y) ? 因此信道容量 C=maxp(x){I(X。 ? 因此信道疑義度 H(X|Y)=0，噪聲熵 H(Y|X)=0。Y) )=H(X)H(X|Y)=H(X) =H(Y)H(Y|X)=H(Y) ? 因此信道容量 C=maxp(x){I(X。 ? 定義 信道矩陣的每一列都是其他列的不同排列，則稱(chēng)此類(lèi)信道為 輸出對(duì)稱(chēng)信道 。 0 .4 0 .60 .6 0 .40 .5 0 .5P???????????0. 7 0. 2 0. 10. 1 0. 7 0. 2P???????11113 3 6 611116 6 3 3P?????????1 / 2 1 / 3 1 / 61 / 6 1 / 2 1 / 31 / 3 1 / 6 1 / 2P?????????對(duì)稱(chēng)信道的容量 ? 定理 若一個(gè)離散對(duì)稱(chēng)信道有 r個(gè)輸入符號(hào)， s個(gè)輸出符號(hào)，則當(dāng)輸入為等概分布時(shí)，達(dá)到信道容量 C，且 C=logsH(p1’p2’… ps’) 式中， p1’p2’… ps’為信道矩陣中的任一行。 對(duì)稱(chēng)信道容量的例子 ? 例 ? 最佳輸入為： ? 信道容量為： C=logsH(p1’p2’… ps’)=log3H(1/2,1/3,1/6) 1 / 2 1 / 3 1 / 61 / 6 1 / 2 1 / 31 / 3 1 / 6 1 / 2P?????????111333XP???????1 1 1 1 1 1l o g 3 l o g l o g l o g 0 . 1 2 62 2 3 3 6 6? ? ? ? ? 信源和信道的匹配 ? 信源與信道達(dá)到匹配的含義：信源處于最佳輸入分布，使得信息傳輸率 R達(dá)到了信道容量 C。Y) ? 信源編碼的目的就是通過(guò)編碼，改變?cè)夹旁吹慕y(tǒng)計(jì)特性，使得信道剩余度盡可能小。 ? 離散無(wú)記憶信道：一維（單符號(hào)） ? 信道疑義度： H(X|Y)；噪聲熵： H(Y|X)。Y)。 ? 信道容量 ? 對(duì)稱(chēng)信道： C=logsH(p1’p2’… ps’)，最佳輸入為等
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1