【正文】 x2121)(sy mb o lb i tpppHspppHYHCssxP??????YX xypxypxpXYH )|( 1l o g)|()()|( ＝)/()( xXYHxpX??＝???Y xypxypxXYH )|( 1l o g)|()|()]39。, . . . ,39。,39。Y)=H(Y)H(Y/X) )/()39。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項(xiàng)是固定 X＝ x 時(shí)對(duì) Y求和，即對(duì)信道矩陣的行求和。 這類信道中總的錯(cuò)誤概率為 p ，對(duì)稱地平均分配給 r1個(gè)輸出符號(hào)。 一般 s≠r。 即接收到符號(hào) Y后不能完全消除對(duì) X的不確定性 ()m a x ( ) l o g ( / )PyC H Y s b i t s y m b o l?? 所謂對(duì)稱信道，是指 信道矩陣 P中每一行都是由同一集合{p1’， p2’， … ， ps’}中的諸元素不同排列組成，且每一列也都是由 {q1’， q2’， … ， qr’} 中的諸元素不同排列組成 。Y)=H(X)H(Y) ?????????????????1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項(xiàng)后驗(yàn)概率為??????baPbaPbaPbaPbaPbaPs y m b o lb i trXHC xP /l o g)(m a x)( ??無噪有損信道 滿足： I(X。Y)=H(X)=H(Y) ??????????100010001)3,2,1,(10)/()/( ???????? jijijibaPabPjiij)/(l o gl o g)(m a x)(m a x )()( s y m b o lb i tsrYHXHC yPxP ????有噪無損信道： 接收到符號(hào) Y后，對(duì)X符號(hào)是完全確定的。Y)最大。 ) m a x [ ( ) ( ) ]1 ( )C I X Y H p p H pHp??? ? ? ???二元對(duì)稱信道， I(X。({m a x)( YXIC XP? （比特 /符號(hào)） tCCt?(Bit/s) Ct仍稱為 信道容量 若平均傳輸一個(gè)符號(hào)需要 t 秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 4] 信道容量的計(jì)算 )(1)。Y)是輸入隨機(jī)變量的 ∩型凸函數(shù) ，所以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。Y) = H(X) – H(X|Y) (比特 /符號(hào) ) 離散信道的信道容量 ? 信道中每秒平均傳輸?shù)男畔⒘?信息 傳輸速率 Rt Rt ＝ R/t = I(X。Y)就是接收到符號(hào) Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。( 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少 若信道的輸入隨機(jī)序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…Y N)。 ???Niii xyPP1)/()/( xy???Niii YXIYXI1)。 假若信道是無記憶的 ，即信道傳遞概率滿足： 則有： 式中 Xi Yi是對(duì)應(yīng)第 i 位的隨機(jī)變量。()。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴(kuò)展信道的輸入符號(hào)集為 A＝ {00， 01， 10， 11}， 共有22＝ 4個(gè)符號(hào) ， 輸出符號(hào)集為 B＝ {00， 01， 10， 11}。 離散無記憶信道的擴(kuò)展 信道 離散無記憶信道 ( DMC， Discrete Memoryless Channel) ，其 傳遞概率滿足 ： 仍可用 [X， P( y / x )， Y] 概率空間來描述。 ? 當(dāng) 信源固定 后，選擇不同的信道來傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。 ? 平均互信息 I(X。 ? （ 1） 對(duì)固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。 ) ( ) l o g ( ) ( | ) l o g( ) ( )( ) ( ) ( | )X Y X YXP y x P y xI X Y I Y X P x y P x P y xP y P yP y P x P y x? ? ?????其中：? 平均互信息 I(X。Y) = f [P(x), P(y|x)] ,( | ) ( | )( 。X)=H(X)=H(Y) （ 4）凸?fàn)钚? 所以， 平均互信息 I(X。X)=0 當(dāng)信道無干擾時(shí) I(X。X) 當(dāng) X、 Y統(tǒng)計(jì)獨(dú)立時(shí) I(X。 （ 3）交互性（對(duì)稱性） 即 I(X。 （ 2）極值性 即 I(X。Y) 具有以下特性： （ 1）非負(fù)性 即 I(X。Y) = 0 H(X|Y)=H(Y|X)=0 I(X。Y)等于零，表明了 信道兩端隨機(jī)變量的統(tǒng)計(jì)約束程度等于零 。同樣，也不能從 X中獲得任何關(guān)于 Y的信息量。Y) = H(X) H(X|Y)] ? 信道的輸入和輸出沒有 依賴 關(guān)系，信息無法傳輸，稱為 全損信道 。Y) = H(X) = H(Y) ????????)(0)(1)|(xfyjixfyjixypij ????????)(0)(1)|(xfyjixfyjiyxpji（ 2）、輸入輸出獨(dú)立信道 ( 全損信道 ) ? 信道輸入端 X與輸出端 Y完全統(tǒng)計(jì)獨(dú)立 ? H(X|Y) = H(X) , H(Y|X) = H(Y) ? 所以 I(X。 ? 兩種特殊信道 （ 1）、離散無干擾信道 ( 無損信道 ) ? 信道的輸入和輸出一一對(duì)應(yīng)，信息無損失地傳輸，稱為 無損信道 。每個(gè)圓減去I(X。Y) H(XY) 圖中，左邊的圓代表隨機(jī)變量 X的熵，右邊的圓代表隨機(jī)變量 Y的熵，兩個(gè)圓重疊部分是平均互信息I(X。Y) H(XY) = H(X)+H(Y) I(X。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝平均互信息與各類熵之間關(guān)系的集合圖 （ 維拉圖 ） 表示： H(X|Y) = H(X) I(X。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類熵的關(guān)系 )(1l o g)()(。Y) = H(X) H(X|Y) I(X。Y) = 0， 表示 在 信道 輸出端接收到輸出符號(hào) Y后不獲得任何關(guān)于 輸 入符號(hào) X的信息量 全損信道 。Y) = 0。Y)是 I (x 。 y)0，說明在未收到信息量 y以前對(duì)消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對(duì) x是否出現(xiàn)的不確定程度增加了。 它可取正值，也可取負(fù)值。Y) 互信息 I(x 。 ?它代表接收到符號(hào)集 Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。 Y)： I(xi 。()()。 yj) = I(xi)； 對(duì)于全損信道， I(xi 。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l og)(1l og)/()()。 后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號(hào) bj后 ， 關(guān)于輸入符號(hào)的信息測(cè)度 。 一、信道疑義度 信道輸入信源 X的熵 H(X)是在接收到輸出 Y以前，關(guān)于輸入變量 X的先驗(yàn)不確定性，稱為 先驗(yàn)熵 。所以該矩陣又稱為 信