【正文】 后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量。 直觀(guān)分析 ：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。( 直觀(guān)分析 ：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少 若信道的輸入隨機(jī)序列為 X= (X1X2…X N)，通過(guò)信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…Y N)。 ???Niii xyPP1)/()/( xy???Niii YXIYXI1)。 假若信道是無(wú)記憶的 ，即信道傳遞概率滿(mǎn)足： 則有： 式中 Xi Yi是對(duì)應(yīng)第 i 位的隨機(jī)變量。()。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴(kuò)展信道的輸入符號(hào)集為 A＝ {00， 01， 10， 11}， 共有22＝ 4個(gè)符號(hào) ， 輸出符號(hào)集為 B＝ {00， 01， 10， 11}。 離散無(wú)記憶信道的擴(kuò)展 信道 離散無(wú)記憶信道 ( DMC， Discrete Memoryless Channel) ，其 傳遞概率滿(mǎn)足 ： 仍可用 [X， P( y / x )， Y] 概率空間來(lái)描述。 ? 當(dāng) 信源固定 后，選擇不同的信道來(lái)傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。 ? 平均互信息 I(X。 ? （ 1） 對(duì)固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。 ) ( ) l o g ( ) ( | ) l o g( ) ( )( ) ( ) ( | )X Y X YXP y x P y xI X Y I Y X P x y P x P y xP y P yP y P x P y x? ? ?????其中：? 平均互信息 I(X。Y) = f [P(x), P(y|x)] ,( | ) ( | )( 。X)=H(X)=H(Y) （ 4）凸?fàn)钚? 所以， 平均互信息 I(X。X)=0 當(dāng)信道無(wú)干擾時(shí) I(X。X) 當(dāng) X、 Y統(tǒng)計(jì)獨(dú)立時(shí) I(X。 （ 3）交互性（對(duì)稱(chēng)性） 即 I(X。 （ 2）極值性 即 I(X。Y) 具有以下特性： （ 1）非負(fù)性 即 I(X。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。Y)等于零，表明了 信道兩端隨機(jī)變量的統(tǒng)計(jì)約束程度等于零 。同樣，也不能從 X中獲得任何關(guān)于 Y的信息量。Y) = H(X) H(X|Y)] ? 信道的輸入和輸出沒(méi)有 依賴(lài) 關(guān)系，信息無(wú)法傳輸，稱(chēng)為 全損信道 。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨(dú)立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計(jì)獨(dú)立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。 ? 兩種特殊信道 （ 1）、離散無(wú)干擾信道 ( 無(wú)損信道 ) ? 信道的輸入和輸出一一對(duì)應(yīng)，信息無(wú)損失地傳輸，稱(chēng)為 無(wú)損信道 。每個(gè)圓減去I(X。Y) H(XY) 圖中，左邊的圓代表隨機(jī)變量 X的熵，右邊的圓代表隨機(jī)變量 Y的熵，兩個(gè)圓重疊部分是平均互信息I(X。Y) H(XY) = H(X)+H(Y) I(X。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝平均互信息與各類(lèi)熵之間關(guān)系的集合圖 （ 維拉圖 ） 表示： H(X|Y) = H(X) I(X。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類(lèi)熵的關(guān)系 )(1l o g)()(。Y) = H(X) H(X|Y) I(X。Y) = 0， 表示 在 信道 輸出端接收到輸出符號(hào) Y后不獲得任何關(guān)于 輸 入符號(hào) X的信息量 全損信道 。Y) = 0。Y)是 I (x 。 y)0，說(shuō)明在未收到信息量 y以前對(duì)消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對(duì) x是否出現(xiàn)的不確定程度增加了。 它可取正值，也可取負(fù)值。Y) 互信息 I(x 。 ?它代表接收到符號(hào)集 Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。 Y)： I(xi 。()()。 yj) = I(xi)； 對(duì)于全損信道， I(xi 。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l og)(1l og)/()()。 后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號(hào) bj后 ， 關(guān)于輸入符號(hào)的信息測(cè)度 。 一、信道疑義度 信道輸入信源 X的熵 H(X)是在接收到輸出 Y以前，關(guān)于輸入變量 X的先驗(yàn)不確定性，稱(chēng)為 先驗(yàn)熵 。所以該矩陣又稱(chēng)為 信道矩陣 （轉(zhuǎn)移矩陣） 。 [BEC， Binary Eliminated Channel] 解： X:{0， 1} Y:{0， 1， 2} 此時(shí)， r ＝ 2， s ＝ 3， 傳遞矩陣為： ? 一般離散單符號(hào)信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號(hào)信道的另一種數(shù)學(xué)模型 的形式。 ?（ 1p）表示是 無(wú)錯(cuò)誤傳輸 的概率。 r=s=2， a1=b1=0； a2=b2=1。當(dāng)然，也可用下圖來(lái)描述： a1 b1 a2 b2 X . . Y . . ar bs P(bj/ai) [例 1] 二元對(duì)稱(chēng)信道， [BSC， Binary Symmetrical Channel] 解： 此時(shí)， X:{0,1} 。 ? 一般 簡(jiǎn)單的單符號(hào)離散信道 可以用 [X, P(y/x) ,Y] 三者加以描述。 ?條件概率： P(y/x)＝ P(y=bj/x=ai)＝ P(bj/ai) 這一組條件概率稱(chēng)為 信道的傳遞概率 或 轉(zhuǎn)移概率 ，可以用來(lái) 描述信道干擾 影響的大小。 三、單符號(hào)離散信道 ? 單符號(hào)離散信道： ?輸入符號(hào)為 X，取值于 {a1,a2, …,a r}。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。 ? 如果任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴(lài)于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱(chēng)為無(wú)記