信息論基礎熵ppt課件-wenkub
2023-05-21 02:45:54 本頁面
【正文】 , , ..., ,( ) ( ) ( | )q q q qi j i j ia a a a a a a aP a a P a P a a?????????聯(lián)合 熵與條件熵 1211( , ) ( ) l o g ( )qqi j i jijH X X P a a P a a???? ??根據(jù)（ 信息）熵的定義 ，可得： （ 1） 聯(lián)合熵 可以表征信源輸出長度為 2的平均不確定性，或所含有的信息量。 說明 作業(yè)相關 人口問題 ： 在某個地區(qū)，一對夫妻只允許生一個孩子，可是這里所有的夫妻都希望能生個男孩傳宗接代，因此這里的夫妻都會一直生到生了一個男孩為止，假定生男生女的概率相同．問： (1)這個地區(qū)男孩會多于女孩嗎？ (2)一個家庭孩子的個數(shù)用離散隨機變量 X表示，計算 X的熵 解： ① 假定一個家庭里有 k個女孩， 1個男孩，相應的概率是 * ，因此女孩的平均數(shù)是 ，女孩的平均數(shù)與男孩的平均數(shù)相等。 ? 平均不確定度 H(X)的定義公式與熱力學 中熵的表示形式相同，所以又把 H(X)稱為 信源 X的熵。 掌握 離散信源各種熵的基本性質(zhì) 1( ) l o g()i iIa Pa?()iIa 有 兩個含義 ： 當事件發(fā)生前，表示該事件發(fā)生的不確定性； 當事件發(fā)生后，標是該事件所提供的信息量． 自信息量的單位取決于對數(shù)所取的底，若以 2為底，單位為 比特 ，以 e為底，單位為 奈特 ，以10為底，單位為 哈特 ,通常取比特為單位 回顧（ 1） 回顧（ 1） 1a 2a1 , 2() 1 / 4 , 3 / 4aaXpx???? ??????? ??1( ) l o g 4 2Ia ??24( ) l o g 0 . 4 1 53Ia ??例 1： 設天氣預報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為 1/4和 3/4，我們分別用 來表示晴天，以 來表示雨天，則我們的信源模型如下： 對一個信源發(fā)出不同的消息所含有的信息量也不同 。 自信息是一個隨機變量 ， 不能用它來作為整個信源的信息測度 11( ) [ l o g ] ( ) l o g ( )()qiiiiH X E P a P apa?? ? ? ?信息熵具有以下兩種物理含義 ： 表示信源輸出前信源的平均不確定性 表示信源輸出后，每個符號所攜帶的平均信息量 熵的單位取決于對數(shù)所取的底，若以 2為底，單位為比特 /符號 回顧（ 2） 熵是 從整個集合的統(tǒng)計特性 來考慮的，它從平均意義上來表征信源的總體特征。熵是在平均意義上來表征信源的 總體特性的，可以表征信源的平均不確定度。 ② 1( ) 1kkk??? ? ??1( ) 0 . 5 l o g 0 . 5 2kkkHX ??? ? ? ??習題相關 設離散無記憶信源 其發(fā)生的消息為（ 202120220213001203210110321010021032011223210） (1)此消息的自信息是多少 ? (2)在此消息中平均每個符號攜帶的信息量是多少 ? 0 1 2 30 1 2 3( ) 3 / 8 1 / 4 1 / 4 1 / 8X a a a aPx? ? ? ?? ? ? ??? ? ? ?? ? ? ?解： (1)因為離散信源是無記憶的，所以其發(fā)出的消息序列中各符號是統(tǒng)計獨立的。 說明 : 聯(lián)合熵是 隨機序列 聯(lián)合離散符號集上的每個符號對 聯(lián)合自信息量的數(shù)學期望 聯(lián)合 熵與條件熵 12XXijaa(2)條件熵 211( | ) ( | ) l o g ( | )qi j i j ijH X X a P a a P a a?? ? ? ?則： 2 1 2 11( | ) ( ) ( | )q iiiH X X P a H X X a????11( ) ( | ) l o g ( | )qqi j i j iijP a P a a P a a???? ??11( ) l o g ( | )qqi j j iijP a a P a a???? ??聯(lián)合熵與條件熵 隨機序列 的聯(lián)合符號集上的條件自信息量的數(shù)學期望 12XX例題 已知二維隨機變量 的聯(lián)合概率分布 為 求 XY ()ijP x y( 0 , 0 ) (1 , 1 )1 / 8PP ? ( 0 , 1 ) (1 , 0 ) 3 / 8PP ??( | )H X Y解： 由 21( ) ( ) (0 ) ( 1 ) 1 / 2j i j Y YiP y P x y P P?? ? ? ??又由 | | | |() 13( | ) (0 | 0 ) ( 1 | 1 ) , ( 1 | 0 ) (0 | 1 )( ) 4 4iji j X Y X Y X Y X YjP x yP x y P P P PPy? ? ? ? ? ?所以 ( | ) ( ) l o g ( | ) 0 . 8 1 1i j i jH X Y P x y P x y? ? ??? 比 特 / 符 號新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X ? H（ X， Y）＝ H（ X）＋ H（ Y／ X） ? H（ X， Y）＝ H（ Y）＋ H（ X／ Y） 1) 證明 : )/()()( ijiji xypxpyxp ?)/()( jij yxpyp??jiji yxp,)( ()iipx? ???jjyp )(熵、聯(lián)合熵與條件熵 所以 )/()(l o g)(,ijijiji xypxpyxp???)/(lo g)(,ijjiji xypyxp?? )(log)( iii xpxp???)(lo g)(,ijiji xpyxp??? )/(l o g)(,ijjiji xypyxp??)/()( XYHXH ??□ ?)( XYH ?? ??ji
教學課件相關推薦
鄂ICP備17016276號-1