20xx聯(lián)合熵與條件熵精品范文(已修改)
2025-01-12 06:49 本頁面
【正文】 聯(lián)合熵與條件熵第6講 聯(lián)合熵與條件熵
信息熵H(X)反映了隨機(jī)變量X 的取值不確定性。當(dāng)X 是常量時，其信息熵最小，等于0；當(dāng)X 有n 個取值時，當(dāng)且僅當(dāng)這些取值的機(jī)會均等時，信息熵H(X)最大，等于log n 比特。我們拓展信息熵H(X)的概念，考慮兩個隨機(jī)變量X 和Y 的聯(lián)合熵H(XY)和條件熵H(Y|X)。
1. 聯(lián)合熵
設(shè)X ，Y 是兩個隨機(jī)變量， 則(X,Y)是二維隨機(jī)變量，簡寫為XY 。
二維隨機(jī)變量XY 的聯(lián)合概率分布記為p (xy )，即
(){}Pr ,p xy X x Y y ===
根據(jù)信息熵的定義可知，XY 的信息熵為
,1()()()()log ()
x y x y H XY p xy I xy p xy p xy =
=∑∑
定義 二維隨機(jī)變量XY 的信息熵H(XY)稱為X 與Y 的聯(lián)合熵（joint entropy ）。
它反映了二維隨機(jī)變量XY 的取值不確定性。我們把它理解為X 和Y 取值的總的不確定性。
練習(xí)：
假設(shè)有甲乙兩只箱子，每個箱子里都存放著100個球。甲里面有紅藍(lán)色球各50個，乙里面紅、藍(lán)色的球分別為99個和1個。試計算H(XY)
我們將聯(lián)合熵概念推廣到任意多離散型隨機(jī)變量上。
定義 一組隨機(jī)變量12,N X X X L 的聯(lián)合熵定義為 121212,12()()() N N N N x x x H X X p x x x I x X x x =
∑L L L L
注：為了簡化記號，我們有時把12N X X X L 記為X N ，把12N x x x L 記為x N 。
物理意義：
（1）12()N X H X X L 是這一組隨機(jī)變量平均每一批取值
1212,{,}N N x X x X X x ===L
所傳遞的信息量。
（2）若N維隨機(jī)變量12N X X X L 表示某信源產(chǎn)生的任意一條長度為N 的消息，則12()N X H X X L 是平均每條長度為N 的消息的信息量。因此，若
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1