20xx聯(lián)合熵與條件熵精品范文-wenkub.com
2025-01-12 06:49 本頁面
【正文】 資料共分享，我們負責傳遞知識。設(shè)Y 代表比賽的場數(shù)，取值范圍為4到7。
（3） 計算從天氣和氣溫狀態(tài)所獲得的關(guān)于交通狀態(tài)的信息。)H X H Y H XY H Y X H X Y I X Y
2. 設(shè)一個信源有6種信號，先后輸出的信號是獨立同分布的，其概率分布為
(1/2, 1/4, 1/8, 1/16, 1/32, 1/32)
（1）該信源輸出1個符號所提供的平均信息量。
試計算
(1)H(XY)
(2)H(X), H(Y)
(3)H(X|Y), H(Y|X)
練習(xí)已知平均100人中有2人患有某種疾病，為了查明病情，必須進行某項指標的化驗。
公式1. (|)()()H Y X H XY H X =
公式2. (|)()((|))H Y X P X H P Y X =
其中P (X )是X 的概率分布，為行向量，P (Y |X )是X 到Y(jié) 的條件概率矩陣，((|))H P Y X 是條件概率矩陣中各個行分布(|)P Y x 的熵(|)H Y x 所組成的列向量。相反，條件越多，熵值越小。
思考：
下列不等式是否成立，其中各等號成立的充要條件是什么？
112123()()()H X H X X H X X X ≤≤
這個性質(zhì)說明什么？請讀者嘗試命名該性質(zhì)。
證明：首先根據(jù)定義直接可得
H (XY )= H (X )+H (Y|X )
應(yīng)用上述等式，對N 用歸納法可證明熵的鏈法則。
定理（條件熵非負性）對于任何離散型隨機變量X 與Y ，都有H(Y|X) ≥0，其中等號成立當且僅當Y 是X 的函數(shù)，即X 的取值可確定Y 的取值。
由于
()()()(), ,y x
p x p x y p y p x y ==∑∑
我們有
()(),=log
()()
x y p x x x p y y p y p ∑左右 注意，()()p x p y 構(gòu)成一個概率分布。
當然，聯(lián)合熵還有自己的特殊性質(zhì)。
物理意
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1