【正文】 111。 1 l og 1 l og 1l og l og 1 l og 11l og/ / l111。 ) / l o g l o gm jijij jip y xpyI x Y x e Cpy ?? ? ? ??　 令 　 　61 一般離散信道容量的計算步驟 ? ? ? ?? ? ? ?? ? ? ?10( 。 ? 在一些特殊情況下，常常可以利用這一定理找出所求的輸入概率分布和信道容量。 ) / l o g l o gm jijij jip y xpyI x Y x e Cpy ?? ? ? ??　 令 　 　59 定理的說明 ? 該定理只給出了達到信道容量時，最佳輸入概率分布應滿足的條件，并沒有給出輸入符號的最佳概率分布值，因而也沒有給出信道容量的數(shù)值。 或 者 說 ， 信 源 符互 信 息號 對 信 道 輸 出 端 符 號 集平 均 提 供 的 互 信 息 。式 中 稱 為 條 件 iiY X xX x Y??。當 且 僅 當 存 在 常 數(shù) 使 輸 入 分 布 滿 足對 一 切對 一 切 時 ， 達 極 大 值 。 | l o g 。 0 2 。 / 1// l o// l og l ogl og l og( 。 ) ( ) ( / )1( 。56 一般離散信道容量的計算 2 ? ? ? ? ? ?? ?? ?? ?? ?? ?? ?? ?? ? ? ? ? ? ? ? ? ? ? ?1111 1 1/ / 。 ) 10niiniiiiF I X Y p xI X Y p xFCp x p x???????? ? ??????? ??? ? ?????? ??????????引 進 一 個 新 的 函 數(shù)其 中 ， 為 拉 格 朗 日 乘 子 ， 是 待 定 常 數(shù) 。一 般 的 離 散 無 記 憶 信 道 達 到 信 道 容 量 的 輸 入 概 率 分 布 應 滿 足 的 條 件 ？55 一般離散信道容量的計算 1 ? ?? ?? ?? ?11( 。iiip x I X Yp x I X Y p x信 道 容 量 定 義 為 ： 在 信 道 固 定 的 條 件 下 ， 對 所 有 可 能 的 輸 入 概 率 分 布， 求 平 均 互 信 息 的 極 大 值 。? ? ? ?? ? ? ? ? ?。二元對稱信道的信道容量 53 第 3章 信道容量 ? 信道的數(shù)學模型和分類 ? 單符號離散信道的信道容量 ? 信道容量的定義 ? 幾種特殊離散信道的信道容量 ? 離散信道容量的一般計算方法 ? 多符號離散信道 ? 多用戶信道 ? 連續(xù)信道 ? 信道編碼定理 54 一般離散信道 ? ? ? ?? ?? ?1。 說 明 此 信 道 輸 入 端 不 能 傳 遞任 何 信 息 到 輸 出 端 。不 同 的 二 元 對 稱 信 道 （ 其 傳 遞 概 率 不 同 ）信 道 容 量 也 將 不 同 ， 如 下 圖 所 示CpXwp52 1 / 2 0()pCPx??當 時 ， 其 信 道 容 量 ， 可 見 ， 此 時 不 管 輸 入 概 率 分 布如 何 ， 都 能 達 到 信 道 容 量 。1 / 2 1 / 2 1/ 1 平 均 互 信 息 對 信 源 概 率 分 布 存 在 一 個 最 大 值 ，　 　 即 當 時 ， 。 ) ( ) ( )二 元 對 稱 信 道 的 平 均 互 信 息 為 如 圖 所 示 ，? ? ?I X Y H w p w p H p( 。達 到 C信 道 容 量 的 分 布 是 信 道 輸 入 為 等 概 分 布 。48 均勻信道的幾個特性 ? 均勻信道是對稱信道的一個特例； ? 輸入符號數(shù)與輸出符號數(shù)相等； ? 信道中總的錯誤概率為 p ，對稱地平均分配給 n – 1 個輸出符號， n 為輸入符號的個數(shù)； ? 均勻信道中不僅各行之和為 1，而且各列之和也為 1 ? 一般信道各列之和不一定等于 1 ? 二元對稱信道就是 n = 2 的均勻信道。為了保證輸入分布的非負性，可將 中的 項分成 個子集：，每個子集分別有 個元素，則45 準對稱信道 ()( ) ( )()( ) l og ( )( ) 1 , 2 , ( ) l og ( ) ( ) l og ( )= l og ( ) ( ) = ( ) l og ( )( ) ( )jkj k j kjkjjp y Mkkj j j jp y M p y Mj j k j jp y Mkkp y p yp y k smp y p y p y p yp y p y m p y p ysp y H Y???????????令第 個子集中概率的平均值為：由極值性，由于 個子矩陣都是行列排列的，當輸入等概時，各個子矩陣的輸出等概，為 ，此時 達到最大1( ) = ( ) l og ( )sk k kkH Y m p y p y?? ?，即46 例題 (準對稱信道 ) 12221114231211 / 2 1 / 4 1 / 8 1 / 81 / 4 1 / 2 1 / 8 1 / 81 / 2 1 / 4 1 / 8 1 / 81 / 4 1 / 2 1 / 8 1 / 8( ) ( / )1 1 1 3()2 2 2 4 8( ) ( / )1 1 1 1()2 2 8 8 8()i j ijii j ijikkkPPPp x p y xpyp x p y xpyC m p y????????????? ? ? ???? ? ? ?? ? ? ???? ? ? ???????? ? ? ???????????信道矩陣 將它分成可排列的子矩陣 和 則12123 3 1 1 1 1 1 1 1 1 1 12 l og 2 l og l og l og l og l og8 8 8 8 2 2 4 4 8 8 8 8l og ( ) ( ) 61 ( / )skmmp y H q q qCC q q q? ? ? ? ? ? ???? ? ? ??? ? ? ?? ? ? ???比特 信道符號 其中， 為信道矩陣中的任一行。44 準對稱信道 121 2 1 21 1 ( )( 。該準對稱信道的容量為： ? 實現(xiàn)離散準對稱無記憶信道信道容量的輸入分布為等概分布。43 定理 (準對稱信道 ) ? 如果一個 n行 m列單符號離散信道矩陣 [ P ]的行是可排列的，列不可排列。 42 例 ? ? ? ?121 / 2 1 / 3 1 / 61 / 6 1 / 2 1 / 31 / 3 1 / 6 1 / 2l o g , , l o g 1 / 2 1 / 3 1 / 61 1 1 1 1 1 l o g 3 l o g l o g l o g 0 . 1 2 6 /2 2 3 3 6 60 . 1 2 6nC m H q q q m H???????????? ? ? ?? ? ? ? ?P設 某 離 散 對 稱 信 道 的 信 道 矩 陣 為該 信 道 的 信 道 容 量 為 :， ，比 特 符 號表 明 ， 在 該 對 稱 信 道 中 ， 每 個 符 號 平 均 能 夠 傳 輸 的最 大 信 息 量 為 比 特 。 ) m a x ( ) ( , , , )( ) l o gl