20xx聯合熵與條件熵精品范文(編輯修改稿)
2025-01-12 06:49 本頁面
【文章內容簡介】 下，X 取值的不確定性，亦即X 的每個取值平均所提供的與Y 無關的信息量。
定理（條件熵非負性）對于任何離散型隨機變量X 與Y ，都有H(Y|X) ≥0，其中等號成立當且僅當Y 是X 的函數，即X 的取值可確定Y 的取值。
證明 根據定義
,(|)()log (|)0
x y H Y X p xy p y x =≥∑
由于上述加式中各加項都≤0，所以該加式=0的充要條件是各加項=0，即對于任何x 和y ，p (y |x )=1或者p (y |x )=0，亦即對于任何x ，P (Y |x )是退化分布。這表明當X 的取值確定時，Y 的取值隨即確定，即Y 是X 的函數。 證畢 定理（熵的鏈法則）對于隨機變量序列X 1,X 2,…和任何N ≥1
112111 ()()(|)(| ) N N N H X X H X H X X H X X X =+++L L L
簡記為
12?
() N N H X H H H =++?+ 其中H 1=H (X 1)，H 2=H ( X 2|X 1)，…，H N =H (X N |X 1X 2 …X N1)。
證明：首先根據定義直接可得
H (XY )= H (X )+H (Y|X )
應用上述等式，對N 用歸納法可證明熵的鏈法則。細節(jié)略。 證畢 意義：將多個隨機變量的聯合熵轉化為這些隨機變量的條件熵之和，可簡化計算。 注：鏈法則與熵的可加性是等價的。
思考：
下列不等式是否成立，其中各等號成立的充要條件是什么？
112123()()()H X H X X H X X X ≤≤
這個性質說明什么？請讀者嘗試命名該性質。
定理（條件熵遞減性）對于任何隨機變量X 和Y ，有
H (Y |X )≤ H (Y )
其中等號成立的充要條件是Y 與X 相互獨立。
證明一：根據鏈法則，
H (XY
范文總結相關推薦
鄂ICP備17016276號-1