《信息論基礎(chǔ)熵》ppt課件-文庫吧
2025-04-21 02:45 本頁面
【正文】 12XX1212()XXP x x??????1 1 1 2 1, , ..., ,( ) ( ) ( | )q q q qi j i j ia a a a a a a aP a a P a P a a?????????聯(lián)合 熵與條件熵 1211( , ) ( ) l o g ( )qqi j i jijH X X P a a P a a???? ??根據(jù)（ 信息）熵的定義 ，可得： （ 1） 聯(lián)合熵 可以表征信源輸出長度為 2的平均不確定性，或所含有的信息量。 說明 : 聯(lián)合熵是 隨機序列 聯(lián)合離散符號集上的每個符號對 聯(lián)合自信息量的數(shù)學(xué)期望 聯(lián)合 熵與條件熵 12XXijaa(2)條件熵 211( | ) ( | ) l o g ( | )qi j i j ijH X X a P a a P a a?? ? ? ?則： 2 1 2 11( | ) ( ) ( | )q iiiH X X P a H X X a????11( ) ( | ) l o g ( | )qqi j i j iijP a P a a P a a???? ??11( ) l o g ( | )qqi j j iijP a a P a a???? ??聯(lián)合熵與條件熵 隨機序列 的聯(lián)合符號集上的條件自信息量的數(shù)學(xué)期望 12XX例題 已知二維隨機變量 的聯(lián)合概率分布 為 求 XY ()ijP x y( 0 , 0 ) (1 , 1 )1 / 8PP ? ( 0 , 1 ) (1 , 0 ) 3 / 8PP ??( | )H X Y解： 由 21( ) ( ) (0 ) ( 1 ) 1 / 2j i j Y YiP y P x y P P?? ? ? ??又由 | | | |() 13( | ) (0 | 0 ) ( 1 | 1 ) , ( 1 | 0 ) (0 | 1 )( ) 4 4iji j X Y X Y X Y X YjP x yP x y P P P PPy? ? ? ? ? ?所以 ( | ) ( ) l o g ( | ) 0 . 8 1 1i j i jH X Y P x y P x y? ? ??? 比 特 / 符 號新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X ? H（ X， Y）＝ H（ X）＋ H（ Y／ X） ? H（ X， Y）＝ H（ Y）＋ H（ X／ Y） 1) 證明 : )/()()( ijiji xypxpyxp ?)/()( jij yxpyp??jiji yxp,)( ()iipx? ???jjyp )(熵、聯(lián)合熵與條件熵 所以 )/()(l o g)(,ijijiji xypxpyxp???)/(lo g)(,ijjiji xypyxp?? )(log)( iii xpxp???)(lo g)(,ijiji xpyxp??? )/(l o g)(,ijjiji xypyxp??)/()( XYHXH ??□ ?)( XYH ?? ??jijijijijiji yxpyxpyxIyxp,)(l o g)()()(熵、聯(lián)合熵與條件熵 2) 證明 : 由 )/()()( ijiji xypxpyxp ? )/()( jij yxpy??jiji yxp,)( )( iixp?? ??jjyp )(熵、聯(lián)合熵與條件熵 H（ XY）＝ H（ Y）＋ H（ X／ Y） 所以 ?)( XYH ?? ??jijijijijiji yxpyxpyxIyxp,)(l o g)()()()/()(l o g)(,jijjiji yxpypyxp???)(lo g)( jjj ypyp??? )/(l o g)(,jijiji yxpyxp??)/()( YXHYH ??)/(l o g)()(l o g)(, ,jiji jijijji yxpyxpypyxp? ????熵、聯(lián)合熵與條件熵 [例 ] 某一二維離散信源 其發(fā)出的符號只與前一個符號有關(guān) ， 即可用聯(lián)合概率 P(xi ,xj )給出它們的關(guān)聯(lián)程度 ， 如下表所示 ?求信源的熵 H(X)、 條件熵 H(X2|X1 )和聯(lián)合熵 H(X1,X2 ) 。 1,41943611210)(31???????????????? ??iipxpXP(xi ,xj ) xj xi 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 0 1 21 1 4 1()3 6 9 4Xpx??????????? ?? 解 ：根據(jù)概率關(guān)系可計算得條件概率 P（ xj|xi） ,計算 結(jié)果列表如下： ()( | )()ijji iP x xP x xPx?xj xi 0 1 2 0 9/11 1/8 0 1 2/11 3/4 2/9 2 0 1/8 7/9 P(xixj ) xj xi 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 得： )/()(l og)()(31Sym b olB i taPaPXH iii ??? ??)/()/(l o g)()/(313112 S ym b o lB i taaPaaPXXH iji jji ??? ? ?? ?)/()(l o g)()(313121 S ym b o l sB i taaPaaPXXH jii jji ??? ? ?? ? ? H(X)： 表示信源中每個符號的平均信息量（ 信源熵 ）。 ? H(Y)： 表示信宿中每個符號的平均信息量（ 信宿熵 ）。 ? H(X|Y)： 表示在輸出端接收到 Y的全部符號后，發(fā)送端 X尚存的平均不確定性。這個對 X尚存的不確定性是由于干擾
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1