20xx聯(lián)合熵與條件熵精品范文(完整版)
【正文】 ++L L
其中等號成立的充要條件是所有隨機(jī)變量相互獨(dú)立。
證明 根據(jù)定義
,(|)()log (|)0
x y H Y X p xy p y x =≥∑
由于上述加式中各加項(xiàng)都≤0，所以該加式=0的充要條件是各加項(xiàng)=0，即對于任何x 和y ，p (y |x )=1或者p (y |x )=0，亦即對于任何x ，P (Y |x )是退化分布。
定理（條件熵遞減性）對于任何隨機(jī)變量X 和Y ，有
H (Y |X )≤ H (Y )
其中等號成立的充要條件是Y 與X 相互獨(dú)立。
證明：
,(|)()log (|)
()(|)log (|)
()(|)log (|)
()(|)
()((|))
x y
x y
x y x
H Y X p xy p y x p x p y x p y x p x p y x p y x p x H Y x P X H P Y X =====∑∑∑∑∑
證畢 例 設(shè)()(,)P X =且
(|) Y X ??
=????
則
(|)()((|))
(,)()
(,)(,)(,)(,)
H Y X P X H P Y X H H H H =??
=??????=????
=
記號：以后對于任何N ，我們將N 維隨機(jī)向量X 1,X 2,…X N 簡記為X N 。
（2）該信源輸出100個符號所提供的平均信息量。假設(shè)A 隊和B 隊是同等水平的，且每場比賽相互獨(dú)立。
晴
陰
暖 8天 忙
冷 27天
暖 16天 晴陰 暖 15天 閑 冷 4天 暖 12天
冷 12天 冷 8天此資料由網(wǎng)絡(luò)收集而來，如有侵權(quán)請告知上傳者立即刪除。
（2） 計算天氣和氣溫狀態(tài)下的條件熵。
練習(xí)設(shè)p(xy)如下表所示。 證畢 在條件熵中，條件越少，熵值越大。 證畢 定
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1