電工膠布使用方法ppt課件-文庫吧資料
2025-01-21 05:05本頁面
【正文】 息論與編碼基礎(chǔ) 離散信道 平均互信息 b)性質(zhì) ????NiiiNN YXHYXH1)|()|()僅當(dāng) ???Niii yxPyxP1)|()|( ??時成立 信息論與編碼基礎(chǔ) 離散信道 定理 對于離散無記憶信道，有 ???NiiiNN YXIYXI1)。 信息論與編碼基礎(chǔ) 離散信道 一、信道的數(shù)學(xué)模型與分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 信道模型 信道 X12: ( , , .. ., )rX a a a?Y12: ( , , .. ., )sY b b b?( | )P y x?????????????rsrrssPPPPPPPPPP. . ...... . .. . .212222111211),...2,1(10riPsjij ????信道 X1212( , , . . . , ): ( , , . . . , )NirX X X XX a a a??Y1212( , , . . . , ): ( , , . . . , )NisY Y Y YY b b b??( | )P y x離散無記憶 N次擴(kuò)展信道模型 信道轉(zhuǎn)移矩陣 ???????????????NNNNNNsrrrss??????????. . ...... . .. . .2122221112111 2 1 2( .. . | .. . )NNk h h h h k k kP b b b a a a? ????Nikh ii abP1)|(其中 信息論與編碼基礎(chǔ) 離散信道 信道模型 BSC的二次擴(kuò)展信道 ??????????????22222222pppppppppppppppppppppppp信息論與編碼基礎(chǔ) 離散信道 平均互信息 a)定義 )|()()。 2）試估計當(dāng) k = 1時 I(X1。于是有 1 2 3X X X??1 2 3{ 1 , 2 , .. ., }, { 1 , 2 , .. ., }, { 1 , 2 , .. ., }X n X k X m? ? ?其中 且 1 2 3 1 2 1 3 2( ) ( ) ( | ) ( | )p x x x p x p x x p x x?1）試說明 X1和 X3之間的依賴性受到 X2的瓶頸效應(yīng)影響， 即 I(X1。 ) ( 1 / 2) ( 1 / 2) 0I X Y H H???0 1 p I(X。 ) ( ) ( 0) ( )I X Y H H H??? ? ?當(dāng) p = 1時 ( 。 )(xP例 1（續(xù)） ( 。Y) 1H(p) 0 1 ω H(ω) 1 信源熵 信息論與編碼基礎(chǔ) 離散信道 定理 在輸入信源概率分布 )|( xyP給定的條件下，平均互信息 )。( YXI 是輸入信源概率分布 )(xP 的 ? 型凸函數(shù)。()]|(),([ xyPxPf?信息論與編碼基礎(chǔ) 離散信道 例 1 設(shè)二元對稱信道的輸入概率空間為 ???????????????? 110)( xPX其信道特性如圖，求平均互信息。( YXI的凸函數(shù)性 ??XY yPxyPxyPYXI)()|(l og)()。( YHXHYXI ??H(X|Y) H(Y|X) I(X。 0)。 )( ) ( )XYP y xP y x I Y XP y P x???發(fā)出 X后獲得的關(guān) 于 Y的平均信息量 與各類熵的關(guān)系 ( | )( 。( XYIYXI ?信息論與編碼基礎(chǔ) 離散信道 ()( 。Y)≤H(X) 對稱性 )。( XHYXI ?接收者通過信道獲得的信息量不可 能超過信源本身固有的信息量。( YXHXHYXI ?? ??XY yPxPxyPxyP)()()(l og)(利用詹森不等式 ???XY xyPyPxPxyPYXI)()()(l og)()。 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 )|()()。 Y2) = 0，是否可推出 I(Y1。 3）如果 I(X。 Y2) = 0,可否推出 I(X。 信息論與編碼基礎(chǔ) 離散信道 ?思考題 令 X,Y1,Y2為二進(jìn)制隨機(jī)變量， 1）如果 I(X。 3）接收到第三個數(shù)字仍是 0時，又增加多少關(guān)于 M1的互信息。 8個消息相應(yīng)編成下述碼字： ,0 0 1 1,0 1 1 0,0 1 0 1,0 0 0 0 4321 ???? MMMM1111,1100,1010,1001 8765 ???? MMMM1）接收到第一個數(shù)字 0與 M1之間的互信息。( YXHXHYXI ??為信道輸入 X與輸出 Y之間的 平均互信息 接收到每個輸出符號后獲得的關(guān)于 X的平均信息量 bit/sign 11( 。 （ 2） 若 （ x， y） 的聯(lián)合概率分布如表 1－ 2所示 ， 求“ 已知抽取人為男性 ” ， 對 “ 該人抽煙 ” 提供的信息量 。 隨機(jī)變量 y表示隨機(jī)抽取人是否抽煙 ， y＝ 0表示抽煙 ， y＝ 1表示不抽煙 。bj) = 0 3）可正、可負(fù) 4） I(ai。bj) = I(bj。( ji baI??自信息 條件自信息 1lo g()iPa1l o g( | )ijP a b由于條件引入獲得的信息量 ( | )( 。, . . . ,2,1( sjri ??2）轉(zhuǎn)移矩陣 ?????????????rsrrssPPPPPPPPPP. . ...... . .. . .2122221112113）轉(zhuǎn)移概率圖 ),...2,1(10riPsjij ????單符號離散信道 X Y 0 1 0 1 p p 1p 1p a0 ar b0 bs P(bj|ai) 信
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1