【正文】
響, 即 I(X1。(平均互信息 ( 。()。()。Y)代表了接收到每個(gè)輸出符號(hào)后獲 得的關(guān)于 X的平均信息量,又叫做信道的信息傳輸率。 Ct = C/t bit/s 信息論與編碼基礎(chǔ) 離散信道 簡(jiǎn)單離散信道的信道容量 信道 X12: ( , , .. ., )rX a a a?Y12: ( , , .. ., )sY b b b?( | )P y xa、無噪無損信道 ???????????100010001P1a 1b2a 2b3a 3b)3,2,1,(,1,0)|( ??????? jijijiabPij)/(l og)}({m a x)}。(m a x)。 21( ) l n ( 2 )2h X e???1( ) l o g [ 2 ( ) ]2h Y e S N???1( ) l o g ( 2 )2h n e N??有 11( 。 ① 試計(jì)算該信道傳送的最大信息率(單位時(shí)間)。 Y1, Y2) = 0? 試舉例說明。Y2) = 1 信息論與編碼基礎(chǔ) 離散信道 ?思考題 1 2 1 1 1( | ) ( | ) ( | ) .. . ( | .. . )N N N N NNNH Y X H Y X H Y Y X H Y Y Y X?? ? ? ?。 Y1) = 0 且 I(X。試計(jì)算每秒鐘傳送 30幀圖片所需信道的帶寬(信 噪功率比為 30dB)。 )P x E x PC I X Y??I(X。 ) l o g ( / )PxC I X Y s b it sig n??簡(jiǎn)單離散信道的信道容量 信息論與編碼基礎(chǔ) 離散信道 ?例 求 BEC的信道容量 0101e1p1ppp信息論與編碼基礎(chǔ) 離散信道 對(duì)稱信道的信道容量 ???????????3131616161613131P1 1 1 13 3 6 61 1 1 16 3 6 3P?????????? 12{ , , ..., }sp p p? ? ?12{ , , ..., }rq q q? ? ?( | ) ( ) ( | ) l o g ( | )XYH Y X P x P y x P y x?? ??信息論與編碼基礎(chǔ) 離散信道 對(duì)稱信道的信道容量 ???????????3131616161613131P 12{ , , ..., }sp p p? ? ?12{ , , ..., }rq q q? ? ?),. .. ,(l o g 21 spppHsC ?????12( , , . . . , )sH p p p? ? ? ??( 。 )。 如果將該編碼器看成一個(gè)信道,請(qǐng)討論該信道的轉(zhuǎn)移特性及平均互信息。()。( ???Niii NHYXI1)。 信息論與編碼基礎(chǔ) 離散信道 平均互信息 1 2 1 1 1( | ) ( | ) ( | ) .. . ( | .. . )N N N N NNNH Y X H Y X H Y Y X H Y Y Y X?? ? ? ?信息論與編碼基礎(chǔ) 離散信道 平均互信息 b)性質(zhì) ????NiiiNN YXHYXH1)|()|()僅當(dāng) ???Niii yxPyxP1)|()|( ??時(shí)成立 信息論與編碼基礎(chǔ) 離散信道 定理 對(duì)于離散無記憶信道,有 ???NiiiNN YXIYXI1)。 ) ( 1 / 2) ( 1 / 2) 0I X Y H H???0 1 p I(X。( YXI 是輸入信源概率分布 )(xP 的 ? 型凸函數(shù)。 0)。( XHYXI ?接收者通過信道獲得的信息量不可 能超過信源本身固有的信息量。 3)如果 I(X。 8個(gè)消息相應(yīng)編成下述碼字: ,0 0 1 1,0 1 1 0,0 1 0 1,0 0 0 0 4321 ???? MMMM1111,1100,1010,1001 8765 ???? MMMM1)接收到第一個(gè)數(shù)字 0與 M1之間的互信息。bj) = 0 3)可正、可負(fù) 4) I(ai。信息論與編碼基礎(chǔ) 離散信道 東莞電工培訓(xùn) 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 離散信道 a、根據(jù)輸入、輸出信號(hào)的時(shí)間特性和取值特性 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 信息論與編碼基礎(chǔ) 信道的分類 數(shù)字信道 b、根據(jù)輸入集合與輸出集合的個(gè)數(shù) 單用戶信道 多用戶信道 一對(duì)多、多對(duì)一 多對(duì)多 信息論與編碼基礎(chǔ) 離散信道 c、 根據(jù)信道轉(zhuǎn)移概率的性質(zhì) 無噪信道 有噪信道 信道的分類 實(shí)際的通信信道幾乎都是有擾信道 無記憶信道 有記憶信道 實(shí)際信道一般都是有記憶的,信道中的記憶現(xiàn)象來源于物理 信道中的慣性,如電纜信道中的電感或電容、無線信道中電 波傳播的衰落現(xiàn)象等。ai) 2)事件統(tǒng)計(jì)獨(dú)立時(shí) I(ai。 ) ( ) l o g ( ) l o g( ) ( | )X X YI X Y P x P x yP x P x y????11( ) l o g ( ) l o g( ) ( | )X Y X YP x y P x yP x P x y????( | )( ) l o g()XYP x yP x yPx? ?互信息 ?思考題 設(shè) 8個(gè)等概分布的消息通過傳遞概率為 p的 BSC進(jìn)行傳送。 Y1, Y2) = 0? 試舉例說明。(( ) ( )l o g ( ) l o g 1 0()XYP x P yP x yP x y? ? ??信源 加密 信道 解密 信宿 密鑰源 全損信道 信息論與編碼基礎(chǔ) 離散信道 極值性 )()。 ) ( ) l o g()XYP x yI