20xx聯(lián)合熵與條件熵精品范文-文庫吧資料
2025-01-12 06:49本頁面
【正文】 熵中，條件越少，熵值越大。
定理（條件熵遞減性）對于任何隨機變量X 和Y ，有
H (Y |X )≤ H (Y )
其中等號成立的充要條件是Y 與X 相互獨立。 注：鏈法則與熵的可加性是等價的。細節(jié)略。 證畢 定理（熵的鏈法則）對于隨機變量序列X 1,X 2,…和任何N ≥1
112111 ()()(|)(| ) N N N H X X H X H X X H X X X =+++L L L
簡記為
12?
() N N H X H H H =++?+ 其中H 1=H (X 1)，H 2=H ( X 2|X 1)，…，H N =H (X N |X 1X 2 …X N1)。
證明 根據(jù)定義
,(|)()log (|)0
x y H Y X p xy p y x =≥∑
由于上述加式中各加項都≤0，所以該加式=0的充要條件是各加項=0，即對于任何x 和y ，p (y |x )=1或者p (y |x )=0，亦即對于任何x ，P (Y |x )是退化分布。X 相對于Y 的條件熵H (X|Y ) 定義為條件自信息I (X|Y )的期望，即
,(|)()(|) x y
H X Y p xy I x y =∑
物理意義：H (X|Y )表示在已知Y 取值的前提下，X 取值的不確定性，亦即X 的每個取值平均所提供的與Y 無關(guān)的信息量。應(yīng)用信息不等式可得 ()(),()0()log
x y
p x p y p x p x y y ≤∑ 其中等號成立的充要條件是()()()p xy p x p y =，即X 與Y 相互獨立。
設(shè)對于XY 的聯(lián)合分布為p (xy )，X 和Y 的概率分布簡記為p (x )，p (y )。
定理（聯(lián)合熵的獨立界）2121()()()()N N H X X H X H X H X X ≤+++L L
其中等號成立的充
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1