信息論基礎(chǔ)熵ppt課件(參考版)
2025-05-09 02:45本頁(yè)面
【正文】 ? 若當(dāng) q =2 時(shí)，因?yàn)? p1+p2 = 1, 所以將兩個(gè)符號(hào)的熵函數(shù)寫(xiě)成 H(p1)或 H(p2)。 ?熵是故事的屬性？ 香農(nóng)信息量 +KCC=常數(shù)！ —— 是一種與讀者無(wú)關(guān)的絕對(duì)方式衡量故事所包含信息量的方法！ 精彩回顧 H(P)是概率矢量 P的函數(shù)，稱為 熵函數(shù) 。隨便摸出一個(gè)球，猜測(cè)是什么顏色，那么其概率空間為： ???????????????)(21 aaXPX擴(kuò)展訓(xùn)練 5 解： 如果被告知摸出的是紅球，那么獲得的信息量是： I (a1) ＝ － log p(a1) ＝ － = （比特） 如被告知摸出來(lái)的是白球，所獲得的信息量應(yīng)為： I (a2) ＝ － log p(a2) ＝ － = （比特） 平均摸取一次所能獲得的信息量為 ： H(X)= p(a1) I (a1) + p(a2) I (a2) =（比特 /符號(hào)） 擴(kuò)展訓(xùn)練 5 精彩回顧 ?信息重要性： 食指上網(wǎng)，拇指發(fā)信！ ?信息論重要性： 量化信息！ —— 消息的信息含量等于該消息的驚奇程度！ ?對(duì)數(shù)函數(shù)量化信息原由？ —— 1位的推廣。反之，當(dāng)二元信源符號(hào) 0和 1以等概率發(fā)生時(shí)，信源熵達(dá)到極大值，等于 1比特信息量。H（ p） 函數(shù)曲線如圖所示。即信源的概率空間為 ?????????????????qpPX 10 則二元信源熵為 H(X)= plogpqlogq = plogp(1p)log(1p )=H(p) 擴(kuò)展訓(xùn)練 4 0 1 1 p H(p) 擴(kuò)展訓(xùn)練 4 信源信息熵 H（ X） 是概率 p的函數(shù)，通常用 H（ p） 表示。 擴(kuò)展訓(xùn)練 3 該信源 X輸出符號(hào)只有兩個(gè)，設(shè)為 0和1。由全概率公式： 1203312115181)( ????EP3 6 07936115181)( ????FP3 6 09136110181)( ????GP擴(kuò)展訓(xùn)練 1 m a x ( ) ( ) ( ) 1 . 4 6 1 1 . 9 9 7 3 . 4 5 8 ( / y m b o l s )H X Y H X H Y B i t S? ? ? ? ?聯(lián)合熵的最大值為： m a x ( ) ( ) 3 . 4 5 8 3 . 4 1 7 0 . 0 4 1 ( / y m b o l s )H H X Y H X Y B i t S? ? ? ? ? ?由于信源相關(guān)，使聯(lián)合熵減小，其減小量為： 因此： )3 6 091l o g3 6 0913 6 079l o g3 6 0791 2 033l o g1 2 0333 6 091l o g3 6 091( ?????( ) ( ) l o g ( )YH Y P Y P Y?? ?)/(9 9 S y m b o lB i t?擴(kuò)展訓(xùn)練 1 電視屏上約有 500 600= 3 105個(gè)格點(diǎn)，按每點(diǎn)有 10個(gè)不同的灰度等級(jí)考慮，則共能組成n=103*10個(gè)不同的畫(huà)面。 ( / ) ( ) l og ( / )1 1 1 3 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 4 10 10 15 5 12 2 36 61. 95 6( / )XYH Y X P X Y P Y XB it Sy m bo l??? ? ? ? ? ????( ) ( ) l og ( )1 1 1 1 1 1 1 1 1 1( 4 * l og 2 * l og 2 * l og l og 3 * l og )8 8 10 10 15 15 12 12 36 363. 41 7 ( / )XYH X Y P X Y P X Ybit Sy m bo ls??? ? ? ? ? ????聯(lián)合熵： 條件熵： 擴(kuò)展訓(xùn)練 1 360916161103314121)/()()/()()/()()/()()(??????????? ? CDPCPBDPBPADPAPxDPxPDPX從上述結(jié)果可得： H(X,Y)=H(X)+H(Y/X) =+=(bit/每對(duì)符號(hào) ) 當(dāng)兩個(gè)信源統(tǒng)計(jì)獨(dú)立時(shí)， H(X,Y)=H(X)+H(Y)為最大。 有兩個(gè)同時(shí)輸出的信源 X和 Y，其中 X的信源符號(hào)為{A， B， C }， Y的信源符號(hào)為 {D， E， F， G }，已知 P(X )和 P（ Y|X） ，求聯(lián)合信源的聯(lián)合熵和條件熵。 5）若 X與 Y獨(dú)立，則 H(X|Y)= H(Y|X) . x只有 —個(gè)可能的結(jié)果 ，H(X)＝ 0 p(x)=p(x|y) H(X|Y=y)=H(X) 棋子所在的位置 :橫格和縱格共同決定 F F F T T 1 2 3 4 5 6( ) 0 .17X a a a a a aPx? ? ? ??? ? ? ?? ? ? ?該信源的熵 H(X) log6 不滿足熵的極值性？ 8 作業(yè) P22 ?T1 （除 I(X。 3) 如果 H(X|YZ)=0,則要么 H(X|Y)=0 , 要么 H(X|Z)=0 。 5）若 X與 Y獨(dú)立，則 H(X|Y)= H(Y|X) . x只有 —個(gè)可能的結(jié)果 ，H(X)＝ 0 p(x)=p(x|y) H(X|Y=y)=H(X) 棋子所在的位置 :橫格和縱格共同決定 F F F T T 1 2 3 4 5 6( ) 0 .17X a a a a a aPx? ? ? ??? ? ? ?? ? ? ?該信源的熵 H(X) log6 不滿足熵的極值性？ 8 判斷題 1） H(X)0 。 3) 如果 H(X|YZ)=0,則要么 H(X|Y)=0 , 要么 H(X|Z)=0 。 H(X) = ?log? –(1?) log(1?) =H(?) ?????????????????? 110)( xpx信息熵的基本性質(zhì) 判斷題 1） H(X)0 。符號(hào)輸出的概率分別為“
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1