【正文】
記 憶信 道 傳 輸 的 最 大 信 息 量 都 相 同 , 于 是 得 HUST Furong WANG Information and Coding Theory 20 N次擴(kuò)展信道的信道容量 ? CN = NC 表明,對(duì)于離散無(wú)記憶 N 次擴(kuò)展信道,其信道容量等于單變量信道的信道容量的 N 倍。 ) m a x ( 。Y)的 N 倍。?? ? ????NNiiiI X Y I X Y I X Y I X YI X Y X Y NNIHUST Furong WANG Information and Coding Theory 18 N次擴(kuò)展信道 ? 這樣,對(duì)于離散無(wú)記憶信道的 N 次擴(kuò)展信道,當(dāng)信源也是無(wú)記憶時(shí),則有 I(X。 ) ( 。信 道 輸 出 隨 機(jī) 序 列其 各 個(gè) 分 量 也 取 值 于 同 一 符 號(hào) 集 Y并 具 有 同 一 種 概 率 分 布 。 )( 。此時(shí), 這相當(dāng)于 N個(gè)獨(dú)立信道并聯(lián)的情況。HUST Furong WANG Information and Coding Theory 14 定理 二 ? 若信道的輸入和輸出分別是 N長(zhǎng)序列 X和 Y,且 信源是無(wú)記憶的 ,亦即 1211(( 。 )。 ) ( ) ( / ) ( 。 ppppX Y001 1? ?? ?? ?222424NNXY????二 元 無(wú) 記 憶 對(duì) 稱 信 道 的 輸 入 和 輸 出 隨 機(jī) 變 量 和 都取 值 于 同 一 符 號(hào) 集 0,1 , 因 此 , 二 次 擴(kuò) 展 信 道 的輸 入 符 號(hào) 集 為 X = 0 0 , 0 1 , 1 0 , 1 1 , 共 有 n 個(gè) 輸 入 符 號(hào) 。 1 , 2 , ,jmijp i n????HUST Furong WANG Information and Coding Theory 5 1 2 1 21( i 1 , 2 , j( ) ( .. . / .. . ) /, 2 ,)1NNNNNj N i Nj i j j i i jk ikikjpyp b a p y y y x x x x????? ?XY/輸 入 隨 機(jī) 矢 量 的 可 能 取 值 有 n 個(gè) , 分 別 是 a , … ,n輸 出 隨 機(jī) 矢 量 的 可 能 取 值 有 m 個(gè) , 分 別 是 b , … ,m根 據(jù) 信 道 的 無(wú) 記 憶 特 性 , 有離散無(wú)記憶信道的 N次擴(kuò)展信道 ? 此離散無(wú)記憶信道的 N次擴(kuò)展信道的數(shù)學(xué)模型如下圖: N次擴(kuò)展信道 NX NY( / )jip b aHUST Furong WANG Information and Coding Theory 6 N次擴(kuò)展信道的信道矩陣 121211 12121 22 212( / ) i 1 , 2 , , 。HUST Furong WANG Information and Coding Theory 1 第 3章 信道容量 ? 信道的數(shù)學(xué)模型和分類 ? 單符號(hào)離散信道的信道容量 ? 多符號(hào)離散信道 ? 多符號(hào)離散信道的數(shù)學(xué)模型 ? 離散無(wú)記憶信道和獨(dú)立并聯(lián)信道的信道容量 ? 多用戶信道 ? 連續(xù)信道 ? 信道編碼定理 HUST Furong WANG Information and Coding Theory 2 離散無(wú)記憶 N次擴(kuò)展信道 ? 一般離散無(wú)記憶信道 的數(shù)學(xué)模型基本上與 輸入和輸出為單符號(hào)的簡(jiǎn)單離散無(wú)記憶信道 的模型相同。 ( / ) ( / )( / ) , ] .ij j i j ijip p y x P Y y X xX P y x Y? ? ? ?其 中其 概 率 空 間 為 [,1 1 11mn n mpppp?????????P11 。 1 , 2 , ,N N k kNkij j i j j j i i i j iNNpyp p b a p y y y x x x xn jm?? ? ?? ??由 于 信 道 是 無(wú) 記 憶 的 , 故 有其 中 : iHUST Furong WANG Information and Coding Theory 8 例 二元對(duì)稱信道的二次擴(kuò)展信道 ? 分析 二元無(wú)記憶對(duì)稱信道 的二次擴(kuò)展信道。 j 1 , 2 , 3 , 4ij j ippp b a?? ? ?同 樣 , 還 可 求 出 其 它例 二次擴(kuò)展信道的傳遞概率 HUST Furong WANG Information and Coding Theory 10 例 二次擴(kuò)展信道的信道矩陣 ? 從而求得二元對(duì)稱信道的二次擴(kuò)展信道的信道矩陣為: 22222222p pp pp ppp p p pppp p p ppp pp pp pP?????????HUST Furong WANG Information and Coding Theory 11 ( / )ij j ip p b a?1 00a ?2 01a ?3 10a ?4 11a ?100 b?201 b?310 b?411 b?NX NY例 二元對(duì)稱信道的二次擴(kuò)展信道 ? 二元對(duì)稱信道的二次擴(kuò)展信道如下圖所示: HUST Furong WANG Information and Coding Theory 12 N次擴(kuò)展信道的平均互信息 ,( 。 。 1 , 2 , ,kkNiNjiNiiiiii i i iiiNNj i iPYp b p yI I X YX Y X Y iIX Y I X