第二章：信息的度量(編輯修改稿)
2024-09-03 11:11 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 39。, 39。, , 39。) , 1 , 39。 1qqq q i iiip p p p p p p p??? ? ? ???pp, ( 0 1 )????? ?( 1 ) 39。 ( ) ( 1 ) ( 39。)H H H? ? ? ?? ? ? ? ?p p p p BUPT Press 以下例子說(shuō)明信息熵的含義 例 有一布袋內(nèi)放 100個(gè)球，其中 80個(gè)球?yàn)榧t色， 20個(gè)球?yàn)榘咨?。若隨意摸取一個(gè)球，猜測(cè)是什么顏色。 這一隨機(jī)事件的概率空間為： a1– 表示摸出紅球， a2– 表示摸出白球 則 ?????????????????)(21 aaxpX比特比特 o g)(l o g)( o g)(l o g)(2211????????apaIapaI BUPT Press 若每次摸出一個(gè)球后又放回，再進(jìn)行第二次摸取，那么 n次中，紅球出現(xiàn)的次數(shù)約為 np(a1)次，白球出現(xiàn)的次數(shù)約為np(a2)次， 則摸取 n次后共獲得的信息量為 平均摸取一次所能獲得的信息量約為 )()()()( 2211 aIanpaIanp ?2( ) ( ( ) l og ( ) ( ) l og ( ) ) ( ) l og ( )1 1 2 21H x p a p a p a p a p a p aiii? ? ? ? ? ?? BUPT Press 信息熵具有以下三種物理含義 信息熵 H(x)是信源輸出后，每個(gè)消息（或符號(hào)）所提供的平均信息量 信息熵 H(x)是表示信源輸出前，信源的平均不確定性 用信息熵 H(x)來(lái)表征變量 X的隨機(jī)性 注： 信息熵是信源的平均不確定性的描述。 一般情況下獲得的信息量是兩熵之差，并不是信息熵本身。 例 一對(duì)質(zhì)地均勻色子，確定其面朝上的點(diǎn)數(shù)。當(dāng)?shù)弥c(diǎn)數(shù)和為 8時(shí)，獲得信息量為： Log36log5 )()()()(2121YHXHbbYpYaaXpX???????????????????????????????????則 BUPT Press 直觀來(lái)看，隨機(jī)變量的不確定程度并不都是一樣的。 香農(nóng) 指出，存在這樣的不確定性的度量，它是隨機(jī)變量的概率分布的函數(shù)，而且必須滿足三個(gè)公理性條件： 1. 連續(xù)性條件 ： 應(yīng)是 的連續(xù)函數(shù)； 2. 等概時(shí)為單調(diào)函數(shù) ： 應(yīng)是 的增函數(shù)； 3. 遞增性條件 ：當(dāng)隨機(jī)變量的取值不是通過(guò)一次試驗(yàn)而是若干次試驗(yàn)才最后得到時(shí)，隨機(jī)變量在各次試驗(yàn)中的不確定性應(yīng)該可加，且其和始終與通過(guò)一次試驗(yàn)取得的不確定程度相同，即： 其中 12( , , , )nf p p p, 1 , 2 , ,ip i n?(1 / , 1 / , , 1 / )f n n nn1239。 39。 39。1 2 1 1 2 1 2( , , , )[ ( ) , , , ] ( ) ( , , , )nk k n k kf p p pf p p p p p p p p f p p p?? ? ? ? ? ? ? ?39。 12/ ( )k k kp p p p p? ? ? ? BUPT Press 聯(lián)合熵與條件熵 一個(gè)隨機(jī)變量的不確定性可以用熵來(lái)表示，這一概念可以方便地推廣到多個(gè)隨機(jī)變量。 定義 二維隨機(jī)變量 的概率空間表示為 其中 滿足概率空間的非負(fù)性和完備性： XY? ?1111( ) ( ) ( )i j n mi j n mXY x y x y x yp x y p x y p x yP XY?? ????? ??????)( ji yxp110 ( ) 1 , ( ) 1nmi j i jijp x y p x y??? ? ??? BUPT Press 二維隨機(jī)變量 的 聯(lián)合熵 定義為聯(lián)合自信息的數(shù)學(xué)期望，它是二維隨機(jī)變量 的不確定性的度量。 定義 給定 時(shí)， 的 條件熵 ： 其中， 表示已知 時(shí)， 的 平均 不確定性。 XYXY1 1 1 1( ) ( ) ( ) ( ) l o g ( )n m n md e f i j i j i j i ji j i jH X Y p x y I x y p x y p x y? ? ? ?? ? ?? ? ? ?X Y( | ) ( ) ( | ) ( ) ( | ) l o g ( | )( ) l o g ( | )i i i j i j ii i ji j j iijH Y X p x H Y x p x p y x p y xp x y p y x? ? ???? ? ???( | )H Y X X Y BUPT Press 各類(lèi)熵之間的關(guān)系： 1． 聯(lián)合熵與信息熵、條件熵的關(guān)系： 這個(gè)關(guān)系可以方便地推廣到 N個(gè)隨機(jī)變量的情況： 稱為 熵函數(shù)的鏈規(guī)則 。 推論： 當(dāng)二維隨機(jī)變量 X， Y相互獨(dú)立時(shí)，聯(lián)合熵等于 X和 Y各自熵之和： 2 ． 條件熵與信息熵的關(guān)系： 3 ． 聯(lián)合熵和信息熵的關(guān)系： 當(dāng) X、 Y相互獨(dú)立時(shí)等號(hào)成立。 ( | ) ( ) ( | )H Y X H X H Y X??1 2 1 2 1 1 2 1( ) ( ) ( | ) ( | )N N NH X X X H X H X X H X X X X ?? ? ? ?( ) ( ) ( )H X Y H X H Y??( | ) ( ) , ( | ) ( )H X Y H X H Y X H Y??( ) ( ) ( )H X Y H X H Y?? BUPT Press 熵的基本性質(zhì) 信源空間 當(dāng)變量 的順序任意互換時(shí)，熵函數(shù)的值不變，即 若某些
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1