20xx聯(lián)合熵與條件熵（精品范文） -預覽頁
【正文】 n 比特。
它反映了二維隨機變量XY 的取值不確定性。試計算H(XY)
我們將聯(lián)合熵概念推廣到任意多離散型隨機變量上。因此，若該信源產(chǎn)生一個長度為N 的消息，則在不知道其它條件的情況下，對該消息所含信息量的最優(yōu)估計為N維信息熵12()N X H X X L 。
證明：這里僅證明()()()H Y X X H H Y ≤+，一般情形可類似證明。 證畢
2. 條件熵
條件自信息：1(|)log (|)
I y x p y x = 對于任何取值x ，|Y X x =是一個帶條件的隨機變量，其信息熵為
(|)(|)log (|)y
H Y X x p y x p y x ==∑ 再對所有x 求熵的平均值可得如下條件熵：
定義 設X ,Y 是兩個離散型隨機變量，聯(lián)合分布為p (xy )。這表明當X 的取值確定時，Y 的取值隨即確定，即Y 是X 的函數(shù)。 證畢 意義：將多個隨機變量的聯(lián)合熵轉化為這些隨機變量的條件熵之和，可簡化計算。
證明一：根據(jù)鏈法則，
H (XY )=H (X )+H (Y |X )
再根據(jù)聯(lián)合熵的獨立界定理，立刻可得
H (Y |X )≤ H (Y )
其中等號成立的充要條件是X 與Y 統(tǒng)計獨立。
證明二：應用Jessen 不等式證明。
注：上述條件熵概念可以推廣到多個隨機變量熵，例如
H (Y|X 1X 2 …X N )
是在已知隨機向量X1,X2,…X N取值的前提下，隨機變量Y的不確定性，亦即Y的每個取值可以提供的與X1,X2,…X N取值無關的新信息量。若X表示一個人是否罹患這種疾病，Y表示其化驗結果是否為陽性，試計算H(XY)。
3. 在一段時間內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進行分類統(tǒng)計如下：
（1） 計算交通忙閑狀態(tài)的無條件熵。設隨機變量X
代表在比賽中A 隊和B 隊較量的可能結果。試計算H(X)，H(Y), H(Y|X)和H(
范文總結相關推薦
鄂ICP備17016276號-1