20xx聯(lián)合熵與條件熵精品范文(專業(yè)版)
【正文】 設(shè)隨機(jī)變量X
代表在比賽中A 隊(duì)和B 隊(duì)較量的可能結(jié)果。
證明二：應(yīng)用Jessen 不等式證明。 證畢
2. 條件熵
條件自信息：1(|)log (|)
I y x p y x = 對(duì)于任何取值x ，|Y X x =是一個(gè)帶條件的隨機(jī)變量，其信息熵為
(|)(|)log (|)y
H Y X x p y x p y x ==∑ 再對(duì)所有x 求熵的平均值可得如下條件熵：
定義 設(shè)X ,Y 是兩個(gè)離散型隨機(jī)變量，聯(lián)合分布為p (xy )。
它反映了二維隨機(jī)變量XY 的取值不確定性。
定義 一組隨機(jī)變量12,N X X X L 的聯(lián)合熵定義為 121212,12()()() N N N N x x x H X X p x x x I x X x x =
∑L L L L
注：為了簡(jiǎn)化記號(hào)，我們有時(shí)把12N X X X L 記為X N ，把12N x x x L 記為x N 。 證畢 定理（熵的鏈法則）對(duì)于隨機(jī)變量序列X 1,X 2,…和任何N ≥1
112111 ()()(|)(| ) N N N H X X H X H X X H X X X =+++L L L
簡(jiǎn)記為
12?
() N N H X H H H =++?+ 其中H 1=H (X 1)，H 2=H ( X 2|X 1)，…，H N =H (X N |X 1X 2 …X N1)。
練習(xí)設(shè)p(xy)如下表所示。
晴
陰
暖 8天 忙
冷 27天
暖 16天 晴陰 暖 15天 閑 冷 4天 暖 12天
冷 12天 冷 8天此資料由網(wǎng)絡(luò)收集而來(lái)，如有侵權(quán)請(qǐng)告知上傳者立即刪除。
（2）該信源輸出100個(gè)符號(hào)所提供的平均信息量。
定理（條件熵遞減性）對(duì)于任何隨機(jī)變量X 和Y ，有
H (Y |X )≤ H (Y )
其中等號(hào)成立的充要條件
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1