20xx聯(lián)合熵與條件熵（精品范文） -預(yù)覽頁
【正文】 n 比特。
它反映了二維隨機(jī)變量XY 的取值不確定性。試計(jì)算H(XY)
我們將聯(lián)合熵概念推廣到任意多離散型隨機(jī)變量上。因此，若該信源產(chǎn)生一個(gè)長(zhǎng)度為N 的消息，則在不知道其它條件的情況下，對(duì)該消息所含信息量的最優(yōu)估計(jì)為N維信息熵12()N X H X X L 。
證明：這里僅證明()()()H Y X X H H Y ≤+，一般情形可類似證明。 證畢
2. 條件熵
條件自信息：1(|)log (|)
I y x p y x = 對(duì)于任何取值x ，|Y X x =是一個(gè)帶條件的隨機(jī)變量，其信息熵為
(|)(|)log (|)y
H Y X x p y x p y x ==∑ 再對(duì)所有x 求熵的平均值可得如下條件熵：
定義 設(shè)X ,Y 是兩個(gè)離散型隨機(jī)變量，聯(lián)合分布為p (xy )。這表明當(dāng)X 的取值確定時(shí)，Y 的取值隨即確定，即Y 是X 的函數(shù)。 證畢 意義：將多個(gè)隨機(jī)變量的聯(lián)合熵轉(zhuǎn)化為這些隨機(jī)變量的條件熵之和，可簡(jiǎn)化計(jì)算。
證明一：根據(jù)鏈法則，
H (XY )=H (X )+H (Y |X )
再根據(jù)聯(lián)合熵的獨(dú)立界定理，立刻可得
H (Y |X )≤ H (Y )
其中等號(hào)成立的充要條件是X 與Y 統(tǒng)計(jì)獨(dú)立。
證明二：應(yīng)用Jessen 不等式證明。
注：上述條件熵概念可以推廣到多個(gè)隨機(jī)變量熵，例如
H (Y|X 1X 2 …X N )
是在已知隨機(jī)向量X1,X2,…X N取值的前提下，隨機(jī)變量Y的不確定性，亦即Y的每個(gè)取值可以提供的與X1,X2,…X N取值無關(guān)的新信息量。若X表示一個(gè)人是否罹患這種疾病，Y表示其化驗(yàn)結(jié)果是否為陽性，試計(jì)算H(XY)。
3. 在一段時(shí)間內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進(jìn)行分類統(tǒng)計(jì)如下：
（1） 計(jì)算交通忙閑狀態(tài)的無條件熵。設(shè)隨機(jī)變量X
代表在比賽中A 隊(duì)和B 隊(duì)較量的可能結(jié)果。試計(jì)算H(X)，H(Y), H(Y|X)和H(
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1