20xx聯(lián)合熵與條件熵精品范文(更新版)
【正文】 理（熵的鏈法則）對(duì)于隨機(jī)變量序列X 1,X 2,…和任何N ≥1
112111 ()()(|)(| ) N N N H X X H X H X X H X X X =+++L L L
簡(jiǎn)記為
12?
() N N H X H H H =++?+ 其中H 1=H (X 1)，H 2=H ( X 2|X 1)，…，H N =H (X N |X 1X 2 …X N1)。
設(shè)對(duì)于XY 的聯(lián)合分布為p (xy )，X 和Y 的概率分布簡(jiǎn)記為p (x )，p (y )。
定義 一組隨機(jī)變量12,N X X X L 的聯(lián)合熵定義為 121212,12()()() N N N N x x x H X X p x x x I x X x x =
∑L L L L
注：為了簡(jiǎn)化記號(hào)，我們有時(shí)把12N X X X L 記為X N ，把12N x x x L 記為x N 。我們拓展信息熵H(X)的概念，考慮兩個(gè)隨機(jī)變量X 和Y 的聯(lián)合熵H(XY)和條件熵H(Y|X)。
它反映了二維隨機(jī)變量XY 的取值不確定性。因此，若該信源產(chǎn)生一個(gè)長(zhǎng)度為N 的消息，則在不知道其它條件的情況下，對(duì)該消息所含信息量的最優(yōu)估計(jì)為N維信息熵12()N X H X X L 。 證畢
2. 條件熵
條件自信息：1(|)log (|)
I y x p y x = 對(duì)于任何取值x ，|Y X x =是一個(gè)帶條件的隨機(jī)變量，其信息熵為
(|)(|)log (|)y
H Y X x p y x p y x ==∑ 再對(duì)所有x 求熵的平均值可得如下條件熵：
定義 設(shè)X ,Y 是兩個(gè)離散型隨機(jī)變量，聯(lián)合分布為p (xy )。 證畢 意義：將多個(gè)隨機(jī)變量的聯(lián)合熵轉(zhuǎn)化為這些隨機(jī)變量的條件熵之和，可簡(jiǎn)化計(jì)算。
證明二：應(yīng)用Jessen 不等式證明。若X表示一個(gè)人是否罹患這種疾病，Y表示其化驗(yàn)結(jié)果是否為陽(yáng)性，試計(jì)算H(XY)。設(shè)隨機(jī)變量X
代表在比賽中A 隊(duì)和B 隊(duì)較量的
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1