【正文】 xyPYX??互信息量 I(xi 。 ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211 b1 b2 … bs a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … … ar P(b1|ar) P(b2|ar) … P(bs|ar) 信道疑義度與平均互信息 本節(jié)進一步研究離散單符號信道的數(shù)學模型下的信息傳輸問題。 ? 轉(zhuǎn)移矩陣 : 1??????? pppp1 0 1 0 1 1－ p a1=0 0=b1 1－ p a2=1 1=b2 p p 符號“ 2”表示接收到了“ 0”、“ 1”以外的特殊符號 ????????qqpp1001 0 2 1 0 1 p 0 0 1－ p 1 1 q 1－ q 2 [例 2]二元刪除信道。 Y:{0,1} 。 ? 信道中有干擾 (噪聲 )存在，可以用傳遞概率 P(bj/ai) 來描述干擾影響的大小。 在這一類信道中某一瞬間的輸出符號 不但與對應(yīng)時刻的輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸出符號有關(guān)， 這樣的信道稱為有記憶信道。即： y ＝ f (x) ??????)(0)(1)|(xfyxfyxyP(2)有干擾無記憶信道 ? 信道輸入和輸出之間的條件概率是一般的概率分布。 ? 研究信道中能夠傳送或存儲的最大信息量，即信道容量。 信道的數(shù)學模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實際信道 編碼信道 圖 數(shù)字通信系統(tǒng)的一般模型 信道的數(shù)學模型和分類 一、信道的分類 根據(jù)載荷消息的媒體不同 根據(jù)信息傳輸?shù)姆绞? 郵遞信道 電信道 光信道 聲信道 輸入和輸出信號的形式 信道的統(tǒng)計特性 信道的用戶多少 根據(jù)信息傳輸?shù)姆绞椒诸愔? 根據(jù)信道的用戶多少：兩端 (單用戶 )信道 多端 (多用戶 )信道 根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道 反饋信道 根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道 時變參數(shù)信道 根據(jù)輸入和輸出信號的特點： 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 二、離散信道的數(shù)學模型 條件概率 P(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計依賴關(guān)系。 ? 如果任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，則這種信道稱為無記憶信道。 三、單符號離散信道 ? 單符號離散信道： ?輸入符號為 X，取值于 {a1,a2, …,a r}。 ? 一般 簡單的單符號離散信道 可以用 [X, P(y/x) ,Y] 三者加以描述。 r=s=2， a1=b1=0； a2=b2=1。 [BEC， Binary Eliminated Channel] 解： X:{0， 1} Y:{0， 1， 2} 此時， r ＝ 2， s ＝ 3， 傳遞矩陣為： ? 一般離散單符號信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學模型 的形式。 一、信道疑義度 信道輸入信源 X的熵 H(X)是在接收到輸出 Y以前，關(guān)于輸入變量 X的先驗不確定性，稱為 先驗熵 。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l og)(1l og)/()()。()()。 ?它代表接收到符號集 Y后平均每個符號獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。 它可取正值，也可取負值。Y)是 I (x 。Y) = 0， 表示 在 信道 輸出端接收到輸出符號 Y后不獲得任何關(guān)于 輸 入符號 X的信息量 全損信道 。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類熵的關(guān)系 )(1l o g)()(。Y) H(XY) = H(X)+H(Y) I(X。每個圓減去I(X。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計獨立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。同樣，也不能從 X中獲得任何關(guān)于 Y的信息量。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。 （ 2）極值性 即 I(X。X) 當 X、 Y統(tǒng)計獨立時 I(X。X)=H(X)=H(Y) （ 4）凸狀性 所以， 平均互信息 I(X。 ) ( ) l o g ( ) ( | ) l o g( ) ( )( ) ( ) ( | )X Y X YXP y x P y xI X Y I Y X P x y P x P y xP y P yP y P x P y x? ? ?????其中：? 平均互信息 I(X。 ? 平均互信息 I(X。 離散無記憶信道的擴展 信道 離散無記憶信道 ( DMC， Discrete Memoryless Channel) ，其 傳遞概率滿足 ： 仍可用 [X， P( y / x )， Y] 概率空間來描述。()。 ???Niii xyPP1)/()/( xy???Niii YXIYXI1)。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔?，使得前面?zhèn)魉偷姆柕幕バ畔⒃黾?。Y) = H(X) – H(X|Y) (比特 /符號 ) 離散信道的信道容量 ? 信道中每秒平均傳輸?shù)男畔⒘?信息 傳輸速率 Rt Rt ＝ R/t = I(X。({m a x)( YXIC XP? （比特 /符號） tCCt?(Bit/s) Ct仍稱為 信道容量 若平均傳輸一個符號需要 t 秒鐘，則信道在單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 4] 信道容量的計算 )(1)。Y)最大。Y)=H(X)H(Y) ?????????????????1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項后驗概率為??????baPbaPbaPbaPbaPbaPs y m b o lb i trXHC xP /l o g)(m a x)( ??無噪有損信道 滿足： I(X。 一般 s≠r。 ...11...11: : :...11ppprrpppP rrppprr????????????? ???????????