第二章：信息的度量-資料下載頁
2025-08-07 11:11本頁面
【正文】 H Y H Y XH X H Y H X Y????? ? ?( 。 ) 0I X Y ?,XY BUPT Press 4. 極值性： 極值性說明從一個事件提取關(guān)于另一個事件的信息量，至多只能是另一個事件的平均自信息量那么多，不會超過另一事件本身所含的信息量。 5. 凸函數(shù)性 : 定理 當條件概率分布 給定時，平均互信息 是輸入分布 的上凸函數(shù)。 定理 對于固定的輸入分布 ，平均互信息量 是條件概率分布 的下凸函數(shù)。 ( 。 ) ( ) , ( 。 ) ( )I X Y H X I X Y H Y??? ?)|( ij xyp )。( YXI? ?)( ixp? ?)( ixp )。( YXI? ?)|( ij xyp BUPT Press 數(shù)據(jù)處理定理 為了證明數(shù)據(jù)處理定理，我們需要引入三元隨機變量 的平均條件互信息和平均聯(lián)合互信息的概念。 定義 平均條件互信息 它表示隨機變量 給定后，從隨機變量 所得到得關(guān)于隨機變量 的信息量。 定義 平均聯(lián)合互信息 它表示從二維隨機變量 所得到得關(guān)于隨機變量 的信息量。 ,X Y Z? ? ( | )( 。 | ) ( | ) ( ) l o g ( | )x y zp x y zI X Y Z E I x y z p x y zp x z?? ???Z YX? ? ( | )( 。 ) ( 。 ) ( ) l o g ()x y zp x y zI X Y Z E I x y z p x y zpx?? ???XYZ BUPT Press 定理 （數(shù)據(jù)處理定理） 如果隨機變量 構(gòu)成一個馬爾可夫鏈，則有以下關(guān)系成立： 等號成立的條件是對于任意的 ，有 數(shù)據(jù)處理定理再一次說明，在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息，如果一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及丟失信息的輸入端，就不能再恢復已丟失的信息，這就是信息不增性原理，它與熱熵不減原理正好對應，反映了信息的物理意義。 ( 。 ) ( 。 ) , ( 。 ) ( 。 )I X Z I X Y I X Z I Y Z??,X Y Z,X Y Z( | ) ( | ) ( | ) ( | )p x y z p x z p z x y p z x?? BUPT Press 167。 167。 相對熵也稱鑒別信息、方向散度、交叉熵、Kullback熵、 KL數(shù)等。相對熵是兩個概率分布差異的一種度量。 設離散隨機變量 X的可能取值為 },{ 21 Kxxx ?且 X的概率分布與假設 H1和 H2有關(guān)，即在假設 H1下， X的概率分布為 ?????????????????)()()()( 2121nnxpxpxpxxxXPX??在假設 H2下， X的概率分布為 ?????????????????)()()()( 2121nnxqxqxqxxxXQX??另外，假設 H1和 H2成立的概率分別為 p(H1 )和 p(H2) BUPT Press 則根據(jù)條件概率公式和全概率公式，有 )()(l o g)|()|(l o g)()(l o g)|()(),|()()()()()()()()|()()()()()()()|(21212121222111HpHpxHpxHpxqxpHxpxqHxpxpxqHpxpHpxqHpxHpxqHpxpHpxpHpxHpkkkkkkkkkkkkkkkk????????由以上兩式可得：其中上式右邊第一項是 已 知 X取 xk時，假設 H1和 H2的對數(shù)似然比，右邊第二項是 未 知 X取 xk時，假設 H1和 H2的對數(shù)似然比，可以看出 對數(shù)似然比剛好等于隨機變量 X在取 xk前后假設 H1和 H2的對數(shù)似然比之差。 )()(lo gkkxqxp BUPT Press 定義 我們定義 為隨機變量 X在取xk時所提供的在鑒別假設 H1和 H2時傾向于 H1的信息 對數(shù)似然比 在假設 H1下的數(shù)學期望就稱為鑒別信息或相對熵。記為 )()(logkkxqxp)()(lo gkkxqxp???Xx xqxpxpqpD)()(lo g)()(相對熵是在為鑒別 H1和 H2而對隨機變量 X在 H2假設的分布下進行觀察所得到的傾向于 H1的信息量，也可以理解為：觀察者對隨機變量 X的了解由分布 q(x)p(x)時所獲得的信息量 BUPT Press 定理 D(p||q) ≥0,且等號成立的充要條件是， p(x)=q(x)對所有 x∈ X成立 證明： XxxqxpqpDxpxqxxxexpxqxpxpxqxpxqxpxpqpDXx XxXxXxXx??????????????????? ????? ????),()(0)(011)()()1,1l o g()1)()()(()()(l o g)()()(l o g)()(是且等號成立的充要條件時，等號成立當且僅當為底，則這里假定對數(shù)以 BUPT Press 時，等號成立當且僅當則等概率分布證明：取XxnxpnxHnxHnxpxpxpnxpxpqpDXxnxqXxXxXx???????????????????,/1)(l o g)(l o g)(l o g)()(l o g)(/1)(l o g)()(0),(,1)(以下利用相對熵證明熵的性質(zhì) 8（極值性）
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1