平均互信息ppt課件(編輯修改稿)
2025-05-26 01:32 本頁面
【文章內(nèi)容簡介】 （ P(x|y)P(y)=P(y|x)P(x)）集 X相對于集 Y的條件熵 ： 聯(lián)合自信息： 聯(lián)合熵 ： 互信息 ：互信息表征了信息傳遞的能力。 平均互信息 ： 特定 y 出現(xiàn)所給出的關(guān)于集 X的平均互信息： 特定 x 出現(xiàn)所給出的關(guān)于集 Y的平均互信息： 集 X 和集 Y 之間的平均互信息為： 上式表示：互信息表示 Y 中含有的 X 的平均信息量，而這一信息量等于原信息源 X 的平均信息量，減去 Y 出現(xiàn)后 X 還有的平均信息量，也就是 Y 未能傳遞的 X 的平均信息量。 后一項也就是由于信道的干擾造成的信息量的丟失。 條件互信息： 平均條件互信息：例題：YXa1=0pp1p1=b2a2=10=b11p( 例 3 . 3 ) 四個等概分布的消息 M1， M2， M3， M4， 被送入一個二元無記憶對稱信道進(jìn)行傳輸。通過編碼使 M1＝00， M2＝ 01， M3＝ 10， M4＝ 11， 試問：輸入是 M1和輸出符號是 0的互信息是多少？如果第二個符號也是 0 ，這時帶來多少附加信息？根據(jù)信道特性，輸出第一個符號為 0的概率為 輸入 M1和第一個輸出符號 0的聯(lián)合概率為 若輸出為 00： 因為信道是無記憶的 3－ 2 平均互信息的性質(zhì)（ 1）、非負(fù)性但 非平均 互信息可能為負(fù)值 ?；バ畔⒘浚?log（ 后驗概率）－ log（ 先驗概率）。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1