20xx聯(lián)合熵與條件熵精品范文-免費閱讀
【正文】 試計算H(X)，H(Y), H(Y|X)和H(X|Y)。
3. 在一段時間內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進行分類統(tǒng)計如下：
（1） 計算交通忙閑狀態(tài)的無條件熵。
注：上述條件熵概念可以推廣到多個隨機變量熵，例如
H (Y|X 1X 2 …X N )
是在已知隨機向量X1,X2,…X N取值的前提下，隨機變量Y的不確定性，亦即Y的每個取值可以提供的與X1,X2,…X N取值無關(guān)的新信息量。
證明一：根據(jù)鏈法則，
H (XY )=H (X )+H (Y |X )
再根據(jù)聯(lián)合熵的獨立界定理，立刻可得
H (Y |X )≤ H (Y )
其中等號成立的充要條件是X 與Y 統(tǒng)計獨立。這表明當X 的取值確定時，Y 的取值隨即確定，即Y 是X 的函數(shù)。
證明：這里僅證明()()()H Y X X H H Y ≤+，一般情形可類似證明。試計算H(XY)
我們將聯(lián)合熵概念推廣到任意多離散型隨機變量上。當X 是常量時，其信息熵最小，等于0；當X 有n 個取值時，當且僅當這些取值的機會均等時，信息熵H(X)最大，等于log n 比特。我們把它理解為X 和Y 取值的總的不確定性。
聯(lián)合熵的性質(zhì)：
聯(lián)合熵熵函數(shù)的一種特殊形式，所以熵函數(shù)的任何數(shù)學性質(zhì)都適用于聯(lián)合熵，包括：非負性、可加性、嚴格上凸性和最大離散熵原理，等等。X 相對于Y 的條件熵H (X|Y ) 定義為條件自信息I (X|Y )的期望，即
,(|)()(|) x y
H X Y p xy I x y =∑
物理意義：H (X|Y )表示在已知Y 取值的前提下，X 取值的不確定性，亦即X 的每個取值平均所提供的與Y 無關(guān)的信息量。 注：鏈法則與熵的可加性是等價的。 證畢
3. 計算公式
令X ，Y 為離散的隨機變量。
作業(yè)5
（三）
設(shè)X 和Y 的聯(lián)合
分布(,)u x y 由下表給出：
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1