【正文】 I ??為信道輸入 X與輸出 Y之間的 平均互信息 接收到每個輸出符號后獲得的關(guān)于 X的平均信息量 bit/sign 11( 。 ) ( ) l o g ( ) l o g( ) ( | )X X YI X Y P x P x yP x P x y????11( ) l o g ( ) l o g( ) ( | )X Y X YP x y P x yP x P x y????( | )( ) l o g()XYP x yP x yPx? ?互信息 ?思考題 設(shè) 8個等概分布的消息通過傳遞概率為 p的 BSC進行傳送。 8個消息相應(yīng)編成下述碼字： ,0 0 1 1,0 1 1 0,0 1 0 1,0 0 0 0 4321 ???? MMMM1111,1100,1010,1001 8765 ???? MMMM1）接收到第一個數(shù)字 0與 M1之間的互信息。 2）接收到第二個數(shù)字也是 0時，得到多少關(guān)于 關(guān)于 M1的附加互信息。 3）接收到第三個數(shù)字仍是 0時，又增加多少關(guān)于 M1的互信息。 4）接收到第四個數(shù)字仍是 0時，再增加多少關(guān)于 M1的互信息。 信息論與編碼基礎(chǔ) 離散信道 ?思考題 令 X,Y1,Y2為二進制隨機變量， 1）如果 I(X。 Y1) = 0 且 I(X。 Y2) = 0,可否推出 I(X。 Y1, Y2) = 0? 試舉例說明。 3）如果 I(X。 Y1) = 0 且 I(X。 Y2) = 0，是否可推出 I(Y1。 Y2) = 0? 請說明。 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 )|()()。( YXHXHYXI ????XY xPyxPxyP)()|(l og)(()( ) l o g( ) ( )XYP x yP x yP x P y? ?( | )( ) l o g()XYP y xP x yPy? ??平均互信息 接收到每個輸出 符號后獲得的關(guān) 于 X的平均信息量 信息傳輸率 R bit/sign 信息論與編碼基礎(chǔ) 離散信道 非負性 )|()()。( YXHXHYXI ?? ??XY yPxPxyPxyP)()()(l og)(利用詹森不等式 ???XY xyPyPxPxyPYXI)()()(l og)()。(( ) ( )l o g ( ) l o g 1 0()XYP x P yP x yP x y? ? ??信源 加密 信道 解密 信宿 密鑰源 全損信道 信息論與編碼基礎(chǔ) 離散信道 極值性 )()。( XHYXI ?接收者通過信道獲得的信息量不可 能超過信源本身固有的信息量。 0≤I(X。Y)≤H(X) 對稱性 )。()。( XYIYXI ?信息論與編碼基礎(chǔ) 離散信道 ()( 。 ) ( ) l o g( ) ( )XYP x yI X Y P x yP x P y? ?()( ) l o g ( 。 )( ) ( )XYP y xP y x I Y XP y P x???發(fā)出 X后獲得的關(guān) 于 Y的平均信息量 與各類熵的關(guān)系 ( | )( 。 ) ( ) l o g()XYP x yI X Y P x yPx? ?()( ) l o g( ) ( )XYP x yP x yP x P y? ?( | )( ) l o g()XYP y xP x yPy? ?( ) ( | )H X H X Y??信息論與編碼基礎(chǔ) 離散信道 損失熵 ( ) ( ) ( )H X H Y H XY? ? ?( ) ( | )H Y H Y X??噪聲熵 散布度：表示信道輸入信號由于干擾作用 在輸出端表現(xiàn)的散布范圍。 0)。( ?YXI)()()。( YHXHYXI ??H(X|Y) H(Y|X) I(X。Y) H(XY) H(X) H(Y) 信息論與編碼基礎(chǔ) 離散信道 )。( YXI的凸函數(shù)性 ??XY yPxyPxyPYXI)()|(l og)()。(??xxyPxPyP )|()()(? ??XYxxyPxPxyPxyPxPYXI)|()()|(l o g)|()()。()]|(),([ xyPxPf?信息論與編碼基礎(chǔ) 離散信道 例 1 設(shè)二元對稱信道的輸入概率空間為 ???????????????? 110)( xPX其信道特性如圖，求平均互信息。 定理 在信道轉(zhuǎn)移概率 )|( xyP 給定的條件下，平均互信息 )。( YXI 是輸入信源概率分布 )(xP 的 ? 型凸函數(shù)。 X Y 0 1 0 1 p p 1p 1p 0 1 ω I(X。Y) 1H(p) 0 1 ω H(ω) 1 信源熵 信息論與編碼基礎(chǔ) 離散信道 定理 在輸入信源概率分布 )|( xyP給定的條件下，平均互信息 )。( YXI 是信道轉(zhuǎn)移概率分布 的 ? 型凸函數(shù)。 )(xP例 1（續(xù)） ( 。 ) ( ) ( )I X Y H p p H p??? ? ?當(dāng) p = 0時 ( 。 ) ( ) ( 0) ( )I X Y H H H??? ? ?當(dāng) p = 1時 ( 。 ) ( ) ( 1 ) ( )I X Y H H H??? ? ?當(dāng) p = 1/2時 ( 。 ) ( 1 / 2) ( 1 / 2) 0I X Y H H???0 1 p I(X。Y) H(ω) 信息論與編碼基礎(chǔ) 離散信道 思考題 假定馬爾科夫鏈 (非平穩(wěn) )起始于 n個狀態(tài)中的一個，然后 第二步受到限制，只能轉(zhuǎn)移到 k個狀態(tài)之一 (kn)，第三 步又放寬，可以轉(zhuǎn)移到 m個狀態(tài)中的一個 (mk)。于是有 1 2 3X X X??1 2 3{ 1 , 2 , .. ., }, { 1 , 2 , .. ., }, { 1 , 2 , .. ., }X n X k X m? ? ?其中 且 1 2 3 1 2 1 3 2( ) ( ) ( | ) ( | )p x x x p x p x x p x x?1）試說明 X1和 X3之間的依賴性受到 X2的瓶頸效應(yīng)影響， 即 I(X1。X3)≤logk。 2）試估計當(dāng) k = 1時 I(X1。X3)的值，并進行瓶頸效應(yīng)分析。 信息論與編碼基礎(chǔ) 離散信道 一、信道的數(shù)學(xué)模型與分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的