20xx聯(lián)合熵與條件熵精品范文-展示頁
2025-01-12 06:49本頁面
【正文】 要條件是所有隨機(jī)變量相互獨(dú)立。
聯(lián)合熵的性質(zhì)：
聯(lián)合熵熵函數(shù)的一種特殊形式，所以熵函數(shù)的任何數(shù)學(xué)性質(zhì)都適用于聯(lián)合熵，包括：非負(fù)性、可加性、嚴(yán)格上凸性和最大離散熵原理，等等。
（2）若N維隨機(jī)變量12N X X X L 表示某信源產(chǎn)生的任意一條長度為N 的消息，則12()N X H X X L 是平均每條長度為N 的消息的信息量。
定義 一組隨機(jī)變量12,N X X X L 的聯(lián)合熵定義為 121212,12()()() N N N N x x x H X X p x x x I x X x x =
∑L L L L
注：為了簡化記號，我們有時把12N X X X L 記為X N ，把12N x x x L 記為x N 。甲里面有紅藍(lán)色球各50個，乙里面紅、藍(lán)色的球分別為99個和1個。我們把它理解為X 和Y 取值的總的不確定性。
二維隨機(jī)變量XY 的聯(lián)合概率分布記為p (xy )，即
(){}Pr ,p xy X x Y y ===
根據(jù)信息熵的定義可知，XY 的信息熵為
,1()()()()log ()
x y x y H XY p xy I xy p xy p xy =
=∑∑
定義 二維隨機(jī)變量XY 的信息熵H(XY)稱為X 與Y 的聯(lián)合熵（joint entropy ）。我們拓展信息熵H(X)的概念，考慮兩個隨機(jī)變量X 和Y 的聯(lián)合熵H(XY)和條件熵H(Y|X)。聯(lián)合熵與條件熵第6講 聯(lián)合熵與條件熵
信息熵H(X)反映了隨機(jī)變量X 的取值不確定性。當(dāng)X 是常量時，其信息熵最小，等于0；當(dāng)X 有n 個取值時，當(dāng)且僅當(dāng)這些取值的機(jī)會均等時，信息熵H(X)最大，等于log n 比特。
1. 聯(lián)合熵
設(shè)X ，Y 是兩個隨機(jī)變量， 則(X,Y)是二維隨機(jī)變量，簡寫為XY 。
它反映了二維隨機(jī)變量XY 的取值不確定性。
練習(xí)：
假設(shè)有甲乙兩只箱子，每個箱子里都存放著100個球。試計算H(XY)
我們將聯(lián)合熵概念推廣到任意多離散型隨機(jī)變量上。
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1