20xx聯(lián)合熵與條件熵（精品范文） -文庫吧
2025-01-12 06:49 本頁面
【正文】 該信源產(chǎn)生一個(gè)長度為N 的消息，則在不知道其它條件的情況下，對(duì)該消息所含信息量的最優(yōu)估計(jì)為N維信息熵12()N X H X X L 。
聯(lián)合熵的性質(zhì)：
聯(lián)合熵熵函數(shù)的一種特殊形式，所以熵函數(shù)的任何數(shù)學(xué)性質(zhì)都適用于聯(lián)合熵，包括：非負(fù)性、可加性、嚴(yán)格上凸性和最大離散熵原理，等等。
當(dāng)然，聯(lián)合熵還有自己的特殊性質(zhì)。
定理（聯(lián)合熵的獨(dú)立界）2121()()()()N N H X X H X H X H X X ≤+++L L
其中等號(hào)成立的充要條件是所有隨機(jī)變量相互獨(dú)立。
證明：這里僅證明()()()H Y X X H H Y ≤+，一般情形可類似證明。
設(shè)對(duì)于XY 的聯(lián)合分布為p (xy )，X 和Y 的概率分布簡記為p (x )，p (y )。
由于
()()()(), ,y x
p x p x y p y p x y ==∑∑
我們有
()(),=log
()()
x y p x x x p y y p y p ∑左右 注意，()()p x p y 構(gòu)成一個(gè)概率分布。應(yīng)用信息不等式可得 ()(),()0()log
x y
p x p y p x p x y y ≤∑ 其中等號(hào)成立的充要條件是()()()p xy p x p y =，即X 與Y 相互獨(dú)立。 證畢
2. 條件熵
條件自信息：1(|)log (|)
I y x p y x = 對(duì)于任何取值x ，|Y X x =是一個(gè)帶條件的隨機(jī)變量，其信息熵為
(|)(|)log (|)y
H Y X x p y x p y x ==∑ 再對(duì)所有x 求熵的平均值可得如下條件熵：
定義 設(shè)X ,Y 是兩個(gè)離散型隨機(jī)變量，聯(lián)合分布為p (xy )。X 相對(duì)于Y 的條件熵H (X|Y ) 定義為條件自信息I (X|Y )的期望，即
,(|)()(|) x y
H X Y p xy I x y =∑
物理意義：H (X|Y )表示在已知Y 取值的前提
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1