信息論離散信道及其容量(參考版)
2025-05-10 22:22本頁面
【正文】 。 ? 串聯(lián)信道：數(shù)據(jù)處理定理。 ? 平均互信息： I(X。 原始信源 信道 不匹配 原始信源 信道 信源編碼 基本匹配 本章小結(jié) ? 信道： PX,PY|X。 ? 但通常情況下，讓信源處于最佳輸入分布并不容易，此時信道有剩余： 信道剩余度 =CI(X。 ? “當(dāng)輸入為等概分布時，達(dá)到信道容量 C”的含義是最佳輸入為等概分布。 ? 定義 信道矩陣的每一行（列）都是其他行（列）的不同排列，則稱此類信道為 對稱信道 。Y)} )}=maxp(x){H(X)}=logr =maxp(x){H(Y)}=logs y1y2y3x1x2x3x4無 噪 信 道y41 0 0 00 1 0 00 0 1 00 0 0 1P????????? 對稱信道 ? 定義 信道矩陣的每一行都是其他行的不同排列，則稱此類信道為 輸入對稱信道 。 ? 則 I(X。Y)}=maxp(x){H(Y)}=logs y1y2y3x1x2x3x4x5x6確 定 信 道1 0 01 0 01 0 00 1 00 0 10 0 1P????????? ???????????? 無噪信道 ? 輸出與輸入是一一對應(yīng)關(guān)系， 即信道矩陣為單位矩陣。 ? 則 I(X。Y)}=maxp(x){H(X)}=logr x1x2x3y1y2y3y4y5y6無 損 信 道1 / 3 1 / 6 1 / 2 0 0 00 0 0 1 0 00 0 0 0 1 / 4 3 / 4P??????? 確定信道 ? 一個輸出對應(yīng)多個互不相交 的輸入，即信道矩陣的每一行 只有一個“ 1”，其余元素均為 0。 ? 則 I(X。 特殊信道的信道容量 ? 無損信道： logr ? 確定信道： logs ? 無噪信道： logr =logs 無損信道 ? 一個輸入對應(yīng)多個互不 相交的輸出，即信道矩 陣的每一列只有一個非 零元素。Y) ? 其含義是：平均每個符號所能傳送的信息量。 Y )p ( x )信 道 1 的 容 量信 道 2 的最 佳 輸 入 分 布信 道 2 的 容 量? ?? ?? ?( | ) ( )( 。Y)是由信道特性 p(y|x)和信源特性 p(x)共同 決定的，但是容量 C已對所有 可能的 p(x)取最大值，因此 容量 C僅與信道特性 p(y|x)有關(guān)， 也就是說，容量 C是信道的固有 特性，與信源無關(guān)。 ? 由 I(X。Y)是 p(x)的上凸函數(shù)，稱使 I(X。Y) 011 / 2 1 / 2XP? ? ? ??? ? ? ?? ? ? ? 1211ppPPpp??????? ???2212 22( 1 ) 2 ( 1 )2 ( 1 ) ( 1 )p p p pP P Pp p p p??? ? ?????? ? ???? 例 ? 信道 I和信道 II的信道矩陣分別為 ? X,Y,Z構(gòu)成一個馬爾可夫鏈，則 1 / 31 / 31 / 31 / 21 / 22 / 31 / 31 / 32 / 31X Y Z1 / 31 / 31 / 21 / 6X Z1 / 31 / 3||111 1 0 03330 2 / 3 1 / 3110 0 1 / 3 2 / 322Y X Z YPP?? ???? ???????? ????????| | |1 1 11111 0 03 3 33330 2 / 3 1 / 31 1 1110 0 1 / 3 2 / 32 6 322Z X Y X Z YP P P??????????????? ?????????????? ?????? ?? 信道容量 ? 定義 信道容量 定義為平均互信息的最大值： C=maxp(x){I(X。Z)=1H(2p(1p)) ? 從圖中能夠看出 I(X。 信道 I p(y|x) 信道 II p(z|xy) X Y Z 例 兩個二元對稱信道串聯(lián) ? 一個馬爾可夫鏈，則串聯(lián)信道總的信道矩陣為 ? 則 I(X。Z) ? 定理 數(shù)據(jù)處理定理 ，它的含義是通過串聯(lián)信道的傳輸，只會丟失信息，不會增加信息，至多保持原來的消息量。Y) I(X。 ? 定理 若隨機(jī)變量 X,Y,Z構(gòu)成一個馬爾可夫鏈（ p(z|xy)=p(z|y)），則有 I(X。Y)=NI(X。Yi)=NI(X。Y)=∑I(Xi。Y)≥∑I(Xi。Y)≤∑I(Xi。Y)=I(XN。 ? N次擴(kuò)展信道的數(shù)學(xué)模型為 N 次 擴(kuò) 展 信 道XNYNp ( βh|αk)1 1 1 2 12 1 2 2 212NNN N N Nssr r r s? ? ?? ? ?? ? ????????????
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1