20xx聯(lián)合熵與條件熵精品范文-wenkub
2025-01-12 06 本頁(yè)面
【正文】 義：
（1）12()N X H X X L 是這一組隨機(jī)變量平均每一批取值
1212,{,}N N x X x X X x ===L
所傳遞的信息量。
練習(xí)：
假設(shè)有甲乙兩只箱子，每個(gè)箱子里都存放著100個(gè)球。
1. 聯(lián)合熵
設(shè)X ，Y 是兩個(gè)隨機(jī)變量， 則(X,Y)是二維隨機(jī)變量，簡(jiǎn)寫為XY 。聯(lián)合熵與條件熵第6講 聯(lián)合熵與條件熵
信息熵H(X)反映了隨機(jī)變量X 的取值不確定性。
二維隨機(jī)變量XY 的聯(lián)合概率分布記為p (xy )，即
(){}Pr ,p xy X x Y y ===
根據(jù)信息熵的定義可知，XY 的信息熵為
,1()()()()log ()
x y x y H XY p xy I xy p xy p xy =
=∑∑
定義 二維隨機(jī)變量XY 的信息熵H(XY)稱為X 與Y 的聯(lián)合熵（joint entropy ）。甲里面有紅藍(lán)色球各50個(gè)，乙里面紅、藍(lán)色的球分別為99個(gè)和1個(gè)。
（2）若N維隨機(jī)變量12N X X X L 表示某信源產(chǎn)生的任意一條長(zhǎng)度為N 的消息，則12()N X H X X L 是平均每條長(zhǎng)度為N 的消息的信息量。
定理（聯(lián)合熵的獨(dú)立界）2121()()()()N N H X X H X H X H X X ≤+++L L
其中等號(hào)成立的充要條件是所有隨機(jī)變量相互獨(dú)立。應(yīng)用信息不等式可得 ()(),()0()log
x y
p x p y p x p x y y ≤∑ 其中等號(hào)成立的充要條件是()()()p xy p x p y =，即X 與Y 相互獨(dú)立。
證明 根據(jù)定義
,(|)()log (|)0
x y H Y X p xy p y x =≥∑
由于上述加式中各加項(xiàng)都≤0，所以該加式=0的充要條件是各加項(xiàng)=0，即對(duì)于任何x 和y ，p (y |x )=1或者p (y |x )=0，亦即對(duì)于任何x ，P (Y |x )是退化分布。細(xì)節(jié)略。
定理（條件熵遞減
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1