信息論基礎(chǔ)熵ppt課件(存儲(chǔ)版)
【正文】 ?????? 110)( xpx信息熵的基本性質(zhì) 判斷題 1） H(X)0 。 它表示：對任意概率矢量 P1＝ (p1,p2, …,p q )和 P2＝ (p’1,p’2, …,p’ q)，和任意的 0＜ ?＜ 1，有： H[? P1十 (1 ? )P2 ] ＞ ? H(P1 )十 (1? )H(P2 ) 因?yàn)殪睾瘮?shù)具有上凸性，所以熵函數(shù)具有極值，其最大值存在。 這種非負(fù)性合適于離散信源的熵， 對連續(xù)信源來說這一性質(zhì)并不存在。 說明 : 聯(lián)合熵是 隨機(jī)序列 聯(lián)合離散符號集上的每個(gè)符號對 聯(lián)合自信息量的數(shù)學(xué)期望 聯(lián)合 熵與條件熵 12XXijaa(2)條件熵 211( | ) ( | ) l o g ( | )qi j i j ijH X X a P a a P a a?? ? ? ?則： 2 1 2 11( | ) ( ) ( | )q iiiH X X P a H X X a????11( ) ( | ) l o g ( | )qqi j i j iijP a P a a P a a???? ??11( ) l o g ( | )qqi j j iijP a a P a a???? ??聯(lián)合熵與條件熵 隨機(jī)序列 的聯(lián)合符號集上的條件自信息量的數(shù)學(xué)期望 12XX例題 已知二維隨機(jī)變量 的聯(lián)合概率分布 為 求 XY ()ijP x y( 0 , 0 ) (1 , 1 )1 / 8PP ? ( 0 , 1 ) (1 , 0 ) 3 / 8PP ??( | )H X Y解： 由 21( ) ( ) (0 ) ( 1 ) 1 / 2j i j Y YiP y P x y P P?? ? ? ??又由 | | | |() 13( | ) (0 | 0 ) ( 1 | 1 ) , ( 1 | 0 ) (0 | 1 )( ) 4 4iji j X Y X Y X Y X YjP x yP x y P P P PPy? ? ? ? ? ?所以 ( | ) ( ) l o g ( | ) 0 . 8 1 1i j i jH X Y P x y P x y? ? ??? 比 特 / 符 號新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X ? H（ X， Y）＝ H（ X）＋ H（ Y／ X） ? H（ X， Y）＝ H（ Y）＋ H（ X／ Y） 1) 證明 : )/()()( ijiji xypxpyxp ?)/()( jij yxpyp??jiji yxp,)( ()iipx? ???jjyp )(熵、聯(lián)合熵與條件熵 所以 )/()(l o g)(,ijijiji xypxpyxp???)/(lo g)(,ijjiji xypyxp?? )(log)( iii xpxp???)(lo g)(,ijiji xpyxp??? )/(l o g)(,ijjiji xypyxp??)/()( XYHXH ??□ ?)( XYH ?? ??jijijijijiji yxpyxpyxIyxp,)(l o g)()()(熵、聯(lián)合熵與條件熵 2) 證明 : 由 )/()()( ijiji xypxpyxp ? )/()( jij yxpy??jiji yxp,)( )( iixp?? ??jjyp )(熵、聯(lián)合熵與條件熵 H（ XY）＝ H（ Y）＋ H（ X／ Y） 所以 ?)( XYH ?? ??jijijijijiji yxpyxpyxIyxp,)(l o g)()()()/()(l o g)(,jijjiji yxpypyxp???)(lo g)( jjj ypyp??? )/(l o g)(,jijiji yxpyxp??)/()( YXHYH ??)/(l o g)()(l o g)(, ,jiji jijijji yxpyxpypyxp? ????熵、聯(lián)合熵與條件熵 [例 ] 某一二維離散信源 其發(fā)出的符號只與前一個(gè)符號有關(guān) ， 即可用聯(lián)合概率 P(xi ,xj )給出它們的關(guān)聯(lián)程度 ， 如下表所示 ?求信源的熵 H(X)、 條件熵 H(X2|X1 )和聯(lián)合熵 H(X1,X2 ) 。熵是在平均意義上來表征信源的 總體特性的，可以表征信源的平均不確定度。 掌握 離散信源各種熵的基本性質(zhì) 1( ) l o g()i iIa Pa?()iIa 有 兩個(gè)含義 ： 當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性； 當(dāng)事件發(fā)生后，標(biāo)是該事件所提供的信息量． 自信息量的單位取決于對數(shù)所取的底，若以 2為底，單位為 比特 ，以 e為底，單位為 奈特 ，以10為底，單位為 哈特 ,通常取比特為單位 回顧（ 1） 回顧（ 1） 1a 2a1 , 2() 1 / 4 , 3 / 4aaXpx???? ??????? ??1( ) l o g 4 2Ia ??24( ) l o g 0 . 4 1 53Ia ??例 1： 設(shè)天氣預(yù)報(bào)有兩種消息，晴天和雨天，出現(xiàn)的概率分別為 1/4和 3/4，我們分別用 來表示晴天，以 來表示雨天，則我們的信源模型如下： 對一個(gè)信源發(fā)出不同的消息所含有的信息量也不同 。 說明 作業(yè)相關(guān) 人口問題 ： 在某個(gè)地區(qū)，一對夫妻只允許生一個(gè)孩子，可是這里所有的夫妻都希望能生個(gè)男孩傳宗接代，因此這里的夫妻都會(huì)一直生到生了一個(gè)男孩為止，假定生男生女的概率相同．問： (1)這個(gè)地區(qū)男孩會(huì)多于女孩嗎？ (2)一個(gè)家庭孩子的個(gè)數(shù)用離散隨機(jī)變量 X表示，計(jì)算 X的熵 解： ① 假定一個(gè)家庭里有 k個(gè)女孩， 1個(gè)男孩，相應(yīng)的概率是 * ，因此女孩的平均數(shù)是 ，女孩的平均數(shù)與男孩的平均數(shù)相等。 ? H(X|Y)： 表示在輸出端接收到 Y的全部符號后，發(fā)送端 X尚存的平均不確定性。 說明： 從數(shù)學(xué)角度： H(P)=? pi H(X,Y)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1