【正文】 是Y 與X 相互獨立。
定理（聯(lián)合熵的獨立界）2121()()()()N N H X X H X H X H X X ≤+++L L
其中等號成立的充要條件是所有隨機變量相互獨立。聯(lián)合熵與條件熵第6講 聯(lián)合熵與條件熵
信息熵H(X)反映了隨機變量X 的取值不確定性。
當(dāng)然，聯(lián)合熵還有自己的特殊性質(zhì)。

思考：
下列不等式是否成立，其中各等號成立的充要條件是什么？
112123()()()H X H X X H X X X ≤≤
這個性質(zhì)說明什么？請讀者嘗試命名該性質(zhì)。)H X H Y H XY H Y X H X Y I X Y
2. 設(shè)一個信源有6種信號，先后輸出的信號是獨立同分布的，其概率分布為
(1/2, 1/4, 1/8, 1/16, 1/32, 1/32)
（1）該信源輸出1個符號所提供的平均信息量。資料共分享，我們負(fù)責(zé)傳遞知識。
試計算
(1)H(XY)
(2)H(X), H(Y)
(3)H(X|Y), H(Y|X)
練習(xí)已知平均100人中有2人患有某種疾病，為了查明病情，必須進行某項指標(biāo)的化驗。

證明：首先根據(jù)定義直接可得
H (XY )= H (X )+H (Y|X )

應(yīng)用上述等式，對N 用歸納法可證明熵的鏈法則。

物理意義：
（1）12()N X H X X L 是這一組隨機變量平均每一批取值
1212,{,}N N x X x X X x ===L
所傳遞的信息量。
二維隨機變量XY 的聯(lián)合概率分布記為p (xy )，即
(){}Pr ,p xy X x Y y ===
根據(jù)信息熵的定義可知，XY 的信息熵為
,1()()()()log ()
x y x y H XY p xy I xy p xy p xy =
=∑∑
定義 二維隨機變量XY 的信息熵H(XY)稱為X 與Y 的聯(lián)合熵（joint entropy ）。應(yīng)用信息不等式可得