【正文】 條件熵 1211( , ) ( ) l o g ( )qqi j i jijH X X P a a P a a???? ??根據(jù)（ 信息）熵的定義 ，可得： （ 1） 聯(lián)合熵 可以表征信源輸出長(zhǎng)度為 2的平均不確定性，或所含有的信息量。 ? 平均不確定度 H(X)的定義公式與熱力學(xué) 中熵的表示形式相同，所以又把 H(X)稱為 信源 X的熵。 自信息是一個(gè)隨機(jī)變量 ， 不能用它來(lái)作為整個(gè)信源的信息測(cè)度 11( ) [ l o g ] ( ) l o g ( )()qiiiiH X E P a P apa?? ? ? ?信息熵具有以下兩種物理含義 ： 表示信源輸出前信源的平均不確定性 表示信源輸出后，每個(gè)符號(hào)所攜帶的平均信息量 熵的單位取決于對(duì)數(shù)所取的底，若以 2為底，單位為比特 /符號(hào) 回顧（ 2） 熵是 從整個(gè)集合的統(tǒng)計(jì)特性 來(lái)考慮的，它從平均意義上來(lái)表征信源的總體特征。 ② 1( ) 1kkk??? ? ??1( ) 0 . 5 l o g 0 . 5 2kkkHX ??? ? ? ??習(xí)題相關(guān) 設(shè)離散無(wú)記憶信源 其發(fā)生的消息為（ 202120220213001203210110321010021032011223210） (1)此消息的自信息是多少 ? (2)在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少 ? 0 1 2 30 1 2 3( ) 3 / 8 1 / 4 1 / 4 1 / 8X a a a aPx? ? ? ?? ? ? ??? ? ? ?? ? ? ?解： (1)因?yàn)殡x散信源是無(wú)記憶的，所以其發(fā)出的消息序列中各符號(hào)是統(tǒng)計(jì)獨(dú)立的。這個(gè)對(duì) X尚存的不確定性是由于干擾引起的。 log pi 中的和式滿足交換率； 從隨機(jī)變量的角度：熵只與隨機(jī)變量的總體統(tǒng)計(jì)特性有關(guān)。 H（ X,Y） =H（ X） + H（ Y|X） 信息熵的基本性質(zhì) 遞增性 若原信源 X 中 有一個(gè)符號(hào)分割成了 m個(gè)元素 (符號(hào) )，這 m個(gè)元素的概率之和等于原元素的概率，而其他符號(hào)的概率不變，則 新信源的熵增加 。 信息熵的基本性質(zhì) 11,qiip???證明 ： 因?yàn)閷?duì)數(shù)是 ∩型凸函數(shù)，滿足詹森不等式E[log Y] ? log E[Y]，則有： qpppppppHiqiiqi iiq l og)1l og (1l og),...,(1121 ??? ???? 二進(jìn)制信源是離散信源的一個(gè)特例。 5）若 X與 Y獨(dú)立，則 H(X|Y)= H(Y|X) . x只有 —個(gè)可能的結(jié)果 ，H(X)＝ 0 p(x)=p(x|y) H(X|Y=y)=H(X) 棋子所在的位置 :橫格和縱格共同決定 F F F T T 1 2 3 4 5 6( ) 0 .17X a a a a a aPx? ? ? ??? ? ? ?? ? ? ?該信源的熵 H(X) log6 不滿足熵的極值性？ 8 判斷題 1） H(X)0 。 ( / ) ( ) l og ( / )1 1 1 3 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 4 10 10 15 5 12 2 36 61. 95 6( / )XYH Y X P X Y P Y XB it Sy m bo l??? ? ? ? ? ????( ) ( ) l og ( )1 1 1 1 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 8 10 10 15 15 12 12 36 363. 41 7 ( / )XYH X Y P X Y P X Ybit Sy m bo ls??? ? ? ? ? ????聯(lián)合熵： 條件熵： 擴(kuò)展訓(xùn)練 1 360916161103314121)/()()/()()/()()/()()(??????????? ? CDPCPBDPBPADPAPxDPxPDPX從上述結(jié)果可得： H(X,Y)=H(X)+H(Y/X) =+=(bit/每對(duì)符號(hào) ) 當(dāng)兩個(gè)信源統(tǒng)計(jì)獨(dú)立時(shí)， H(X,Y)=H(X)+H(Y)為最大。H（ p） 函數(shù)曲線如圖所示。 ? 若當(dāng) q =2 時(shí)，因?yàn)? p1+p2 = 1, 所以將兩個(gè)符號(hào)的熵函數(shù)寫(xiě)成 H(p1)或 H(p2)。反之，當(dāng)二元信源符號(hào) 0和 1以等概率發(fā)生時(shí)，信源熵達(dá)到極大值，等于 1比特信息量。由全概率公式： 1203312115181)( ????EP3 6 07936115181)( ????FP3 6 09136110181)( ????GP擴(kuò)展訓(xùn)練 1 m a x ( ) ( ) ( ) 1 . 4 6 1 1 . 9 9 7 3 . 4 5 8 ( / y m b o l s )H X Y H X H Y B i t S? ? ? ? ?聯(lián)合熵的最大值為： m a x ( ) ( ) 3 . 4 5 8 3 . 4 1 7 0 . 0 4 1 ( / y m b o l s )H H X Y H X Y B i t S? ? ? ? ? ?由于信源相關(guān)，使聯(lián)合熵減小，其減小量為： 因此： )3 6 091l o g3 6 0913 6 079l o g3 6 0791 2 033l o g1 2 0333 6 091l o g3 6 091( ?????( ) ( ) l o g ( )YH Y P Y P Y?? ?)/(9 9 S y m b o lB i t?擴(kuò)展訓(xùn)練 1 電視屏上約有 500 600= 3 105個(gè)格點(diǎn)，按每點(diǎn)有 10個(gè)不同的灰度等級(jí)考慮，則共能組成n=103*10個(gè)不同的畫(huà)面。 3) 如果 H(X|YZ)=0,則要么 H(X|Y)=0 , 要么 H(X|Z)=0 。符號(hào)輸出的概率分別為“ ?” 和“ 1 ?‖，即信源的概率空間為： 信息熵的基本性質(zhì) 即信息熵 H(x)是 ?的函數(shù)。 ), . . ., . . ,( 211211 mnmn qqqpppH ???), . .. ,(), . .,( 21121nmnnmnnnn pqpqpqHpppppH ???n