20xx聯(lián)合熵與條件熵精品范文(已改無(wú)錯(cuò)字)
2025-01-12 06 本頁(yè)面
【正文】 )=H (X )+H (Y |X )
再根據(jù)聯(lián)合熵的獨(dú)立界定理，立刻可得
H (Y |X )≤ H (Y )
其中等號(hào)成立的充要條件是X 與Y 統(tǒng)計(jì)獨(dú)立。 證畢 在條件熵中，條件越少，熵值越大。相反，條件越多，熵值越小。這可理解為，我們知道的越多，則事物的不確定性越小。
證明二：應(yīng)用Jessen 不等式證明。 證畢
3. 計(jì)算公式
令X ，Y 為離散的隨機(jī)變量。
公式1. (|)()()H Y X H XY H X =
公式2. (|)()((|))H Y X P X H P Y X =
其中P (X )是X 的概率分布，為行向量，P (Y |X )是X 到Y(jié) 的條件概率矩陣，((|))H P Y X 是條件概率矩陣中各個(gè)行分布(|)P Y x 的熵(|)H Y x 所組成的列向量。
證明：
,(|)()log (|)
()(|)log (|)
()(|)log (|)
()(|)
()((|))
x y
x y
x y x
H Y X p xy p y x p x p y x p y x p x p y x p y x p x H Y x P X H P Y X =====∑∑∑∑∑
證畢 例 設(shè)()(,)P X =且
(|) Y X ??
=????
則
(|)()((|))
(,)()
(,)(,)(,)(,)
H Y X P X H P Y X H H H H =??
=??????=????
=
記號(hào)：以后對(duì)于任何N ，我們將N 維隨機(jī)向量X 1,X 2,…X N 簡(jiǎn)記為X N 。
注：上述條件熵概念可以推廣到多個(gè)隨機(jī)變量熵，例如
H (Y|X 1X 2 …X N )
是在已知隨機(jī)向量X1,X2,…X N取值的前提下，隨機(jī)變量Y的不確定性，亦即Y的每個(gè)取值可以提供的與X1,
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1