20xx聯(lián)合熵與條件熵精品范文-免費(fèi)閱讀
【正文】 試計(jì)算H(X)，H(Y), H(Y|X)和H(X|Y)。
3. 在一段時(shí)間內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進(jìn)行分類統(tǒng)計(jì)如下：
（1） 計(jì)算交通忙閑狀態(tài)的無(wú)條件熵。
注：上述條件熵概念可以推廣到多個(gè)隨機(jī)變量熵，例如
H (Y|X 1X 2 …X N )
是在已知隨機(jī)向量X1,X2,…X N取值的前提下，隨機(jī)變量Y的不確定性，亦即Y的每個(gè)取值可以提供的與X1,X2,…X N取值無(wú)關(guān)的新信息量。
證明一：根據(jù)鏈法則，
H (XY )=H (X )+H (Y |X )
再根據(jù)聯(lián)合熵的獨(dú)立界定理，立刻可得
H (Y |X )≤ H (Y )
其中等號(hào)成立的充要條件是X 與Y 統(tǒng)計(jì)獨(dú)立。這表明當(dāng)X 的取值確定時(shí)，Y 的取值隨即確定，即Y 是X 的函數(shù)。
證明：這里僅證明()()()H Y X X H H Y ≤+，一般情形可類似證明。試計(jì)算H(XY)
我們將聯(lián)合熵概念推廣到任意多離散型隨機(jī)變量上。當(dāng)X 是常量時(shí)，其信息熵最小，等于0；當(dāng)X 有n 個(gè)取值時(shí)，當(dāng)且僅當(dāng)這些取值的機(jī)會(huì)均等時(shí)，信息熵H(X)最大，等于log n 比特。我們把它理解為X 和Y 取值的總的不確定性。
聯(lián)合熵的性質(zhì)：
聯(lián)合熵熵函數(shù)的一種特殊形式，所以熵函數(shù)的任何數(shù)學(xué)性質(zhì)都適用于聯(lián)合熵，包括：非負(fù)性、可加性、嚴(yán)格上凸性和最大離散熵原理，等等。X 相對(duì)于Y 的條件熵H (X|Y ) 定義為條件自信息I (X|Y )的期望，即
,(|)()(|) x y
H X Y p xy I x y =∑
物理意義：H (X|Y )表示在已知Y 取值的前提下，X 取值的不確定性，亦即X 的每個(gè)取值平均所提供的與Y 無(wú)關(guān)的信息量。 注：鏈法則與熵的可加性是等價(jià)的。 證畢
3. 計(jì)算公式
令X ，Y 為離散的隨機(jī)變量。
作業(yè)5
（三）
設(shè)X 和Y 的聯(lián)合
分布(,)u x y 由下表給出：
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1