20xx聯合熵與條件熵精品范文(存儲版)
【正文】
.
試計算(),(),(),(|),(|),(。X 的可能取值為AAAA ，BABABAB 和BBBAAAA ，其中A,B 分別表示A 隊和B 對獲勝。
4. 世界職業(yè)棒球錦標賽為7場賽制，只要其中一隊贏得4場，比賽就結束。這種化驗的結果對于有病的人總是陽性的，對于健康的人來說有一半可能為陽性、一半可能為陰性。這可理解為，我們知道的越多，則事物的不確定性越小。細節(jié)略。應用信息不等式可得 ()(),()0()log
x y
p x p y p x p x y y ≤∑ 其中等號成立的充要條件是()()()p xy p x p y =，即X 與Y 相互獨立。
（2）若N維隨機變量12N X X X L 表示某信源產生的任意一條長度為N 的消息，則12()N X H X X L 是平均每條長度為N 的消息的信息量。
二維隨機變量XY 的聯合概率分布記為p (xy )，即
(){}Pr ,p xy X x Y y ===
根據信息熵的定義可知，XY 的信息熵為
,1()()()()log ()
x y x y H XY p xy I xy p xy p xy =
=∑∑
定義 二維隨機變量XY 的信息熵H(XY)稱為X 與Y 的聯合熵（joint entropy ）。
1. 聯合熵
設X ，Y 是兩個隨機變量， 則(X,Y)是二維隨機變量，簡寫為XY 。
物理意義：
（1）12()N X H X X L 是這一組隨機變量平均每一批取值
1212,{,}N N x X x X X x ===L
所傳遞的信息量。
由于
()()()(), ,y x
p x p x y p y p x y ==∑∑
我們有
()(),=log
()()
x y p x x x p y y p y p ∑左右 注意，()()p x p y 構成一個概率分布。
證明：首先根據定義直接可得
H (
范文總結相關推薦
鄂ICP備17016276號-1