《信息論基礎(chǔ)熵》ppt課件(文件)
【正文】 jijijijiji yxpyxpyxIyxp,)(l o g)()()(熵、聯(lián)合熵與條件熵 2) 證明 : 由 )/()()( ijiji xypxpyxp ? )/()( jij yxpy??jiji yxp,)( )( iixp?? ??jjyp )(熵、聯(lián)合熵與條件熵 H（ XY）＝ H（ Y）＋ H（ X／ Y） 所以 ?)( XYH ?? ??jijijijijiji yxpyxpyxIyxp,)(l o g)()()()/()(l o g)(,jijjiji yxpypyxp???)(lo g)( jjj ypyp??? )/(l o g)(,jijiji yxpyxp??)/()( YXHYH ??)/(l o g)()(l o g)(, ,jiji jijijji yxpyxpypyxp? ????熵、聯(lián)合熵與條件熵 [例 ] 某一二維離散信源 其發(fā)出的符號只與前一個符號有關(guān) ， 即可用聯(lián)合概率 P(xi ,xj )給出它們的關(guān)聯(lián)程度 ， 如下表所示 ?求信源的熵 H(X)、 條件熵 H(X2|X1 )和聯(lián)合熵 H(X1,X2 ) 。這個對 X尚存的不確定性是由于干擾引起的。 log pi 中的和式滿足交換率； 從隨機變量的角度：熵只與隨機變量的總體統(tǒng)計特性有關(guān)。 這種非負性合適于離散信源的熵， 對連續(xù)信源來說這一性質(zhì)并不存在。 H（ X,Y） =H（ X） + H（ Y|X） 信息熵的基本性質(zhì) 遞增性 若原信源 X 中 有一個符號分割成了 m個元素 (符號 )，這 m個元素的概率之和等于原元素的概率，而其他符號的概率不變，則 新信源的熵增加 。 它表示：對任意概率矢量 P1＝ (p1,p2, …,p q )和 P2＝ (p’1,p’2, …,p’ q)，和任意的 0＜ ?＜ 1，有： H[? P1十 (1 ? )P2 ] ＞ ? H(P1 )十 (1? )H(P2 ) 因為熵函數(shù)具有上凸性，所以熵函數(shù)具有極值，其最大值存在。 信息熵的基本性質(zhì) 11,qiip???證明 ： 因為對數(shù)是 ∩型凸函數(shù)，滿足詹森不等式E[log Y] ? log E[Y]，則有： qpppppppHiqiiqi iiq l og)1l og (1l og),...,(1121 ??? ???? 二進制信源是離散信源的一個特例。 H(X) = ?log? –(1?) log(1?) =H(?) ?????????????????? 110)( xpx信息熵的基本性質(zhì) 判斷題 1） H(X)0 。 5）若 X與 Y獨立，則 H(X|Y)= H(Y|X) . x只有 —個可能的結(jié)果 ，H(X)＝ 0 p(x)=p(x|y) H(X|Y=y)=H(X) 棋子所在的位置 :橫格和縱格共同決定 F F F T T 1 2 3 4 5 6( ) 0 .17X a a a a a aPx? ? ? ??? ? ? ?? ? ? ?該信源的熵 H(X) log6 不滿足熵的極值性？ 8 判斷題 1） H(X)0 。 5）若 X與 Y獨立，則 H(X|Y)= H(Y|X) . x只有 —個可能的結(jié)果 ，H(X)＝ 0 p(x)=p(x|y) H(X|Y=y)=H(X) 棋子所在的位置 :橫格和縱格共同決定 F F F T T 1 2 3 4 5 6( ) 0 .17X a a a a a aPx? ? ? ??? ? ? ?? ? ? ?該信源的熵 H(X) log6 不滿足熵的極值性？ 8 作業(yè) P22 ?T1 （除 I(X。 ( / ) ( ) l og ( / )1 1 1 3 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 4 10 10 15 5 12 2 36 61. 95 6( / )XYH Y X P X Y P Y XB it Sy m bo l??? ? ? ? ? ????( ) ( ) l og ( )1 1 1 1 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 8 10 10 15 15 12 12 36 363. 41 7 ( / )XYH X Y P X Y P X Ybit Sy m bo ls??? ? ? ? ? ????聯(lián)合熵： 條件熵： 擴展訓練 1 360916161103314121)/()()/()()/()()/()()(??????????? ? CDPCPBDPBPADPAPxDPxPDPX從上述結(jié)果可得： H(X,Y)=H(X)+H(Y/X) =+=(bit/每對符號 ) 當兩個信源統(tǒng)計獨立時， H(X,Y)=H(X)+H(Y)為最大。 擴展訓練 3 該信源 X輸出符號只有兩個，設(shè)為 0和1。H（ p） 函數(shù)曲線如圖所示。隨便摸出一個球，猜測是什么顏色，那么其概率空間為： ???????????????)(21 aaXPX擴展訓練 5 解： 如果被告知摸出的是紅球，那么獲得的信息量是： I (a1) ＝ － log p(a1) ＝ － = （比特） 如被告知摸出來的是白球，所獲得的信息量應(yīng)為： I (a2) ＝ － log p(a2) ＝ － = （比特） 平均摸取一次所能獲得的信息量為 ： H(X)= p(a1) I (a1) + p(a2) I (a2) =（比特 /符號） 擴展訓練 5 精彩回顧 ?信息重要性： 食指上網(wǎng)，拇指發(fā)信！ ?信息論重要性： 量化信息！ —— 消息的信息含量等于該消息的驚奇程度！ ?對數(shù)函數(shù)量化信息原由？ —— 1位的推廣。 ? 若當 q =2 時，因為 p1+p2 = 1, 所以將兩個符號的熵函數(shù)寫成 H(p1)或 H(p2)。 ?熵是故事的屬性？ 香農(nóng)信息量 +KCC=常數(shù)！ —— 是一種與讀者無關(guān)的絕對方式衡量故事所包含信息量的方法！ 精彩回顧 H(P)是概率矢量 P的函數(shù)，稱為 熵函數(shù) 。反之，當二元
教學課件相關(guān)推薦
鄂ICP備17016276號-1