【正文】 所以 ( | ) ( ) l o g ( | ) 0 . 8 1 1i j i jH X Y P x y P x y? ? ??? 比 特 / 符 號新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X ? H（ X， Y）＝ H（ X）＋ H（ Y／ X） ? H（ X， Y）＝ H（ Y）＋ H（ X／ Y） 1) 證明 : )/()()( ijiji xypxpyxp ?)/()( jij yxpyp??jiji yxp,)( ()iipx? ???jjyp )(熵、聯(lián)合熵與條件熵 所以 )/()(l o g)(,ijijiji xypxpyxp???)/(lo g)(,ijjiji xypyxp?? )(log)( iii xpxp???)(lo g)(,ijiji xpyxp??? )/(l o g)(,ijjiji xypyxp??)/()( XYHXH ??□ ?)( XYH ?? ??jijijijijiji yxpyxpyxIyxp,)(l o g)()()(熵、聯(lián)合熵與條件熵 2) 證明 : 由 )/()()( ijiji xypxpyxp ? )/()( jij yxpy??jiji yxp,)( )( iixp?? ??jjyp )(熵、聯(lián)合熵與條件熵 H（ XY）＝ H（ Y）＋ H（ X／ Y） 所以 ?)( XYH ?? ??jijijijijiji yxpyxpyxIyxp,)(l o g)()()()/()(l o g)(,jijjiji yxpypyxp???)(lo g)( jjj ypyp??? )/(l o g)(,jijiji yxpyxp??)/()( YXHYH ??)/(l o g)()(l o g)(, ,jiji jijijji yxpyxpypyxp? ????熵、聯(lián)合熵與條件熵 [例 ] 某一二維離散信源 其發(fā)出的符號只與前一個符號有關(guān) ， 即可用聯(lián)合概率 P(xi ,xj )給出它們的關(guān)聯(lián)程度 ， 如下表所示 ?求信源的熵 H(X)、 條件熵 H(X2|X1 )和聯(lián)合熵 H(X1,X2 ) 。并假設(shè)組與組之間是統(tǒng)計獨立的，互不相關(guān)的。 ② 1( ) 1kkk??? ? ??1( ) 0 . 5 l o g 0 . 5 2kkkHX ??? ? ? ??習(xí)題相關(guān) 設(shè)離散無記憶信源 其發(fā)生的消息為（ 202120220213001203210110321010021032011223210） (1)此消息的自信息是多少 ? (2)在此消息中平均每個符號攜帶的信息量是多少 ? 0 1 2 30 1 2 3( ) 3 / 8 1 / 4 1 / 4 1 / 8X a a a aPx? ? ? ?? ? ? ??? ? ? ?? ? ? ?解： (1)因為離散信源是無記憶的，所以其發(fā)出的消息序列中各符號是統(tǒng)計獨立的。 ? 某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是一個確定值，一般寫成 H(X) , X是指隨機變量的整體（包括概率分布）。熵是在平均意義上來表征信源的 總體特性的，可以表征信源的平均不確定度。所以自信息量不能作為信源 總體的信息量 。 自信息是一個隨機變量 ， 不能用它來作為整個信源的信息測度 11( ) [ l o g ] ( ) l o g ( )()qiiiiH X E P a P apa?? ? ? ?信息熵具有以下兩種物理含義 ： 表示信源輸出前信源的平均不確定性 表示信源輸出后，每個符號所攜帶的平均信息量 熵的單位取決于對數(shù)所取的底，若以 2為底，單位為比特 /符號 回顧（ 2） 熵是 從整個集合的統(tǒng)計特性 來考慮的，它從平均意義上來表征信源的總體特征。熵、聯(lián)合熵、條件熵 目標 理解 各種熵的概念 。 掌握 離散信源各種熵的基本性質(zhì) 1( ) l o g()i iIa Pa?()iIa 有 兩個含義 ： 當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性； 當(dāng)事件發(fā)生后，標是該事件所提供的信息量． 自信息量的單位取決于對數(shù)所取的底，若以 2為底，單位為 比特 ，以 e為底，單位為 奈特 ，以10為底，單位為 哈特 ,通常取比特為單位 回顧（ 1） 回顧（ 1） 1a 2a1 , 2() 1 / 4 , 3 / 4aaXpx???? ??????? ??1( ) l o g 4 2Ia ??24( ) l o g 0 . 4 1 53Ia ??例 1： 設(shè)天氣預(yù)報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為 1/4和 3/4，我們分別用 來表示晴天，以 來表示雨天，則我們的信源模型如下： 對一個信源發(fā)出不同的消息所含有的信息量也不同 。 說明 ? 自信息量 I(x1 )和 I(x2 )只是表征信源中各 個符號的不確定度，一個信源總是包含著 多個符號消息，各個符號消息又按概率空 間的先驗概率分布，因而各個符號的自信 息量就不同。 ? 平均不確定度 H(X)的定義公式與熱力學(xué) 中熵的表示形式相同，所以又把 H(X)稱為 信源 X的熵。 說明 ? 信息量則只有當(dāng)信源輸出符號而被接收者收到后，才有意義，這就是給予接收者的信息度量，這值本身也可以是隨機量，也可以與接收者的情況有關(guān)。 說明 作業(yè)相關(guān) 人口問題 ： 在某個地區(qū)，一對夫妻只允許生一個孩子，可是這里所有的夫妻都希望能生個男孩傳宗接代，因此這里的夫妻都會一直生到生了一個男孩為止，假定生男生女的概率相同．問： (1)這個地區(qū)男孩會多于女孩嗎？ (2)一個家庭孩子的個數(shù)用離散隨機變量 X表示，計算 X的熵 解： ① 假定一個家庭里有 k個女孩， 1個男孩，相應(yīng)的概率是 * ，因此女孩的平均數(shù)是 ，女孩的平均數(shù)與男孩的平均數(shù)相等。因此，此消息的自信息就等于消息中各個符號的自信息之和 !根據(jù)題意，可得 123431( 0) l og 1. 41 5 ( 1 ) l og 28411( 2) l og 2 ( 3 ) l og 348