20xx聯(lián)合熵與條件熵精品范文(存儲(chǔ)版)
【正文】
.
試計(jì)算(),(),(),(|),(|),(。X 的可能取值為AAAA ，BABABAB 和BBBAAAA ，其中A,B 分別表示A 隊(duì)和B 對(duì)獲勝。
4. 世界職業(yè)棒球錦標(biāo)賽為7場(chǎng)賽制，只要其中一隊(duì)贏得4場(chǎng)，比賽就結(jié)束。這種化驗(yàn)的結(jié)果對(duì)于有病的人總是陽(yáng)性的，對(duì)于健康的人來(lái)說(shuō)有一半可能為陽(yáng)性、一半可能為陰性。這可理解為，我們知道的越多，則事物的不確定性越小。細(xì)節(jié)略。應(yīng)用信息不等式可得 ()(),()0()log
x y
p x p y p x p x y y ≤∑ 其中等號(hào)成立的充要條件是()()()p xy p x p y =，即X 與Y 相互獨(dú)立。
（2）若N維隨機(jī)變量12N X X X L 表示某信源產(chǎn)生的任意一條長(zhǎng)度為N 的消息，則12()N X H X X L 是平均每條長(zhǎng)度為N 的消息的信息量。
二維隨機(jī)變量XY 的聯(lián)合概率分布記為p (xy )，即
(){}Pr ,p xy X x Y y ===
根據(jù)信息熵的定義可知，XY 的信息熵為
,1()()()()log ()
x y x y H XY p xy I xy p xy p xy =
=∑∑
定義 二維隨機(jī)變量XY 的信息熵H(XY)稱為X 與Y 的聯(lián)合熵（joint entropy ）。
1. 聯(lián)合熵
設(shè)X ，Y 是兩個(gè)隨機(jī)變量， 則(X,Y)是二維隨機(jī)變量，簡(jiǎn)寫(xiě)為XY 。
物理意義：
（1）12()N X H X X L 是這一組隨機(jī)變量平均每一批取值
1212,{,}N N x X x X X x ===L
所傳遞的信息量。
由于
()()()(), ,y x
p x p x y p y p x y ==∑∑
我們有
()(),=log
()()
x y p x x x p y y p y p ∑左右 注意，()()p x p y 構(gòu)成一個(gè)概率分布。
證明：首先根據(jù)定義直接可得
H (
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1