20xx聯(lián)合熵與條件熵精品范文-閱讀頁
2025-01-12 06:49本頁面
【正文】 根據(jù)鏈法則，
H (XY )=H (X )+H (Y |X )
再根據(jù)聯(lián)合熵的獨(dú)立界定理，立刻可得
H (Y |X )≤ H (Y )
其中等號(hào)成立的充要條件是X 與Y 統(tǒng)計(jì)獨(dú)立。相反，條件越多，熵值越小。
證明二：應(yīng)用Jessen 不等式證明。
公式1. (|)()()H Y X H XY H X =
公式2. (|)()((|))H Y X P X H P Y X =
其中P (X )是X 的概率分布，為行向量，P (Y |X )是X 到Y(jié) 的條件概率矩陣，((|))H P Y X 是條件概率矩陣中各個(gè)行分布(|)P Y x 的熵(|)H Y x 所組成的列向量。
注：上述條件熵概念可以推廣到多個(gè)隨機(jī)變量熵，例如
H (Y|X 1X 2 …X N )
是在已知隨機(jī)向量X1,X2,…X N取值的前提下，隨機(jī)變量Y的不確定性，亦即Y的每個(gè)取值可以提供的與X1,X2,…X N取值無關(guān)的新信息量。
試計(jì)算
(1)H(XY)
(2)H(X), H(Y)
(3)H(X|Y), H(Y|X)
練習(xí)已知平均100人中有2人患有某種疾病，為了查明病情，必須進(jìn)行某項(xiàng)指標(biāo)的化驗(yàn)。若X表示一個(gè)人是否罹患這種疾病，Y表示其化驗(yàn)結(jié)果是否為陽性，試計(jì)算H(XY)。)H X H Y H XY H Y X H X Y I X Y
2. 設(shè)一個(gè)信源有6種信號(hào)，先后輸出的信號(hào)是獨(dú)立同分布的，其概率分布為
(1/2, 1/4, 1/8, 1/16, 1/32, 1/32)
（1）該信源輸出1個(gè)符號(hào)所提供的平均信息量。
3. 在一段時(shí)間內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進(jìn)行分類統(tǒng)計(jì)如下：
（1） 計(jì)算交通忙閑狀態(tài)的無條件熵。
（3） 計(jì)算從天氣和氣溫狀態(tài)所獲得的關(guān)于交通狀態(tài)的信息。設(shè)隨機(jī)變量X
代表在比賽中A 隊(duì)和B 隊(duì)較量的可能結(jié)果。設(shè)Y 代表比賽的場(chǎng)數(shù)，取值范圍為4到7。試計(jì)算H(X)，H(Y), H(Y|X)和H(X|Y)。資料共分享，我們負(fù)責(zé)
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1