信息論期末總結(jié)(編輯修改稿)
2025-07-21 05:23 本頁面
【文章內(nèi)容簡介】 l 互信息有兩方面的含義：216。 表示事件 出現(xiàn)前后關(guān)于事件 的不確定性減少的量；216。 事件 出現(xiàn)以后信宿獲得的關(guān)于事件 的信息量。l 觀察者站在輸出端 I(xi。yj)=logp(xi|yj)–logp(xi)=I (xi) – I(xi|yj)v 觀察者站在輸入端 I(yj。 xi)=logp(yj | xi)–logp(yj)=I (yj) – I(yj | xi) l 當后驗概率大于先驗概率時，互信息為正。當后驗概率小于先驗概率時，互信息為負。當后驗概率與先驗概率相等時，互信息為零。任何兩個事件之間的互信息不可能大于其中任一事件的自信息l 例6：居住某地區(qū)的女孩中有25%是大學生，在女大學生中有75%。假如我們得知“”的消息，問獲得多少信息量？l 例7：已知信源發(fā)出 和 兩種消息，且 。此消息在二進制對稱信道上傳輸，信道傳輸特性為l 求互信息量 和 。 l 自信息是一個隨機變量：自信息是指信源發(fā)出的某一消息所含有的信息量。不同的消息，它們所含有的信息量也就不同。l 平均自信息（信息熵/信源熵/香農(nóng)熵/無條件熵/熵函數(shù)/熵） 例2：一信源有6種輸出符號，概率分別為P(A)=， P(B)=，P(C)=，P(D)=P(E)=，P(F)=。 1)計算H(X)。 2)求符號序列A
公司管理相關(guān)推薦
鄂ICP備17016276號-1