信息論第2章信息的度量-資料下載頁(yè)
2025-05-12 00:09本頁(yè)面
【正文】 )在XY的聯(lián)合概率空間中的統(tǒng)計(jì)平均值為隨機(jī)變量 X和Y間的平均互信息： 定義 1 1 1 11 1 1 1( | )( 。 ) ( ) ( 。 ) ( ) l og()11( ) l og ( ) l og( ) ( | )( ) ( | )n m n miji j i j i ji j i j in m n mi j i ji j i ji i jp x yI X Y p x y I x y p x ypxp x y p x yp x p x yH X H X Y? ? ? ?? ? ? ???????? ? ? ?? ? ? ? 平均互信息的性質(zhì) 非負(fù)性 : ?平均互信息是非負(fù)的 ， 說(shuō)明給定隨機(jī)變量 Y后 ，一般來(lái)說(shuō)總能消除一部分關(guān)于 X的不確定性 。 互易性 （ 對(duì)稱性 ） ： ?對(duì)稱性表示 Y從 X中獲得關(guān)于的信息量等于 X從 Y中獲得關(guān)于的信息量 。 平均互信息和各類熵的關(guān)系 : 當(dāng) X,Y統(tǒng)計(jì)獨(dú)立時(shí) ， ( 。 ) 0I X Y ?( 。 ) ( 。 )I X Y I Y X?( 。 ) ( ) ( | )( ) ( | )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( 。 ) 0I X Y ? 平均互信息的性質(zhì) 極值性： ?極值性說(shuō)明從一個(gè)事件提取關(guān)于另一個(gè)事件的信息量 ， 至多只能是另一個(gè)事件的平均自信息量那么多 ， 不會(huì)超過(guò)另一事件本身所含的信息量 。 凸函數(shù)性 : ?定理 當(dāng)條件概率分布 給定時(shí) ， 平均互信息 是輸入分布 的上凸函數(shù) 。 ?定理 對(duì)于固定的輸入分布 ， 平均互信息量 是條件概率分布 的下凸函數(shù) 。 ( 。 ) ( ) , ( 。 ) ( )I X Y H X I X Y H Y??? ?)|( ij xyp)。( YXI ? ?)( ixp? ?)( ixp)。( YXI ? ?)|(ij xyp圖中兩圓外輪廓表示聯(lián)合熵 H(XY)，圓(1)表示 H(X)，圓 (2)表示 H(Y) H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)≥H(X/Y)， H(Y)≥H(Y/X) I(X。Y)=H(X)－ H(X/Y)=H(Y)H(Y/X) =H(X)+H(Y)H(XY) H(XY)≤H(X)+H(Y) 如果 X與 Y I(X。Y)=0 H(XY)=H(X)+H(Y) H(X)=H(X/Y)， H(Y)=H(Y/X) 數(shù)據(jù)處理定理 為了證明數(shù)據(jù)處理定理 ， 引入三元隨機(jī)變量 X,Y,Z的平均條件互信息和平均聯(lián)合互信息的概念 。 定義 平均條件互信息 ?它表示隨機(jī)變量 Z給定后 ， 從隨機(jī)變量 Y所得到得關(guān)于隨機(jī)變量 X的信息量 。 定義 平均聯(lián)合互信息 ?它表示從二維隨機(jī)變量 YZ所得到得關(guān)于隨機(jī)變量 X的信息量 。 ? ? ( | )( 。 | ) ( | ) ( ) l o g ( | )x y zp x y zI X Y Z E I x y z p x y zp x z?? ???? ? ( | )( 。 ) ( 。 ) ( ) l o g ()x y zp x y zI X Y Z E I x y z p x y zpx?? ??? 數(shù)據(jù)處理定理 定理 （ 數(shù)據(jù)處理定理 ） ?如果隨機(jī)變量 X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈 ， 則有以下關(guān)系成立： 等號(hào)成立的條件是對(duì)于任意的 X,Y,Z， 有 ?數(shù)據(jù)處理定理再一次說(shuō)明 ， 在任何信息傳輸系統(tǒng)中 ， 最后獲得的信息至多是信源所提供的信息 ， 如果一旦在某一過(guò)程中丟失一些信息 ， 以后的系統(tǒng)不管如何處理 ， 如不觸及丟失信息的輸入端 ， 就不能再恢復(fù)已丟失的信息 ，這就是信息不增性原理 ， 它與熱熵不減原理正好對(duì)應(yīng) ，反映了信息的物理意義 。 ( 。 ) ( 。 ) , ( 。 ) ( 。 )I X Z I X Y I X Z I Y Z??( | ) ( | ) ( | ) ( | )p x y z p x z p z x y p z x??
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1