第二章信息量和熵-展示頁
2025-08-10 13:01本頁面
【正文】 X Y x y rP X x P Y y q w? ? ? ??????????非平均互信息量 其中底數(shù) a是大于 1的常數(shù)。 j=1~J}（ 因此就給定了兩個離散型隨機變量 {X, xk, qk, k=1~K}和 {Y, yj, wj, j=1~J}） 。()。()|。j=1,2,…, J}, 概率為 p(xkyj) p(xkyj)= p(xk|yj)ω (yj)= p(yj|xk)q(xk) 非平均互信息量 ? 例 輸入消息 碼字 p(xk) 收到 0 收到 01 收到 011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/4 1/4 1/4 1/4 0 0 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 1 0 0 0 0 非平均互信息量 輸入消息 碼字 p(xk) 收到 0 收到 01 收到 011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 1/6 1/3 1/6 1/3 0 0 0 0 0 0 1/3 2/3 0 0 0 0 0 0 0 1 0 0 0 0 非平均互信息量 ? 例 輸入消息 碼字 p(xk) 收到 0 收到 01 收到 011 X1 X2 000 111 1/2 1/2 1p p 1/2 1/2 1p p 1p 1p 0 0 1 1 p p 非平均互信息量 ))|(),(()。第二章 信息量和熵 信息量和熵 ? 離散變量的非平均信息量 ? 離散集的平均自信息量－熵 ? 離散集的平均互信息量 ? 連續(xù)隨機變量的互信息和熵 ? 凸函數(shù)和互信息的凸性 離散變量的非平均信息量 輸入，輸出空間定義 ? 輸入空間 X={xk,k=1,2,…,K},概率記為 q(xk) ? 輸出空間 Y={yj,j=1,2,…, J},概率記為 ω (yj) ? 聯(lián)合空間 XY={xkyj 。k=1,2,…,K。( jkkjk yxpxqfyxI ?)|。()。(213121jjjkjjkjkjkyyyxIyyxIyxIyxI???非平均互信息量 定義 (非平均互信息量 ) 給定一個二維離散型隨機變量 {(X, Y), (xk, yj), rkj, k=1~K。 事件xk∈ X與事件 yj∈ Y的互信息量定義為 ( | ) ( | )( 。常用 a=2或 a=e，當 a=2時互信息量的單位為“比特”。 yj)=loga(rkj/(qkwj))。 yj)=I(yj。 （ 2）當 rkj=qkwj時 I(xk。（當兩個事件相互獨立時，互信息量為 0）。 yj)0，當 rkjqkwj時 I(xk。（當兩個事件正相關時，互信息量為正值，當兩個事件負相關時，互信息量為負值）。(323132131321321 uupuupuuupuupuuupuuuI ??互信息的可加性 系統(tǒng) u1 u2 u3 系統(tǒng) u1 u2 u3 )|。()|。()。(kkkjkjkxqxqxqyxpyxI????i f ( | ) 1kjp x y ?定義：給定集合｛ X, q(xk)｝ ,事件 xk∈ X的自信息量定義為： 1( ) l o g l o g ( )()kk kI x q xqx? ? ?非平均自信息的性質(zhì) ? 非負性 ? 體現(xiàn)先驗不確定性大小 )()。(jjkkjkyIyxIxIyxI??條件自信息和聯(lián)合自信息 )|(l o g)|( 2121 uupuuI ??)(l o g)( jkjk yxpyxI ??)|()()|()()。( jkjkjk yxIyIxIyxI ???I(xk) I(yj) I(xk 。 ???Kk kak qqXH11l o g)(熵 注意： （ 1）事件 xk的自信息量值為 I(xk)=loga(1/qk)，因此 H(X)是隨機變量 X的各事件自信息量值的“數(shù)學期望”。
物理相關推薦
鄂ICP備17016276號-1