信息論基礎(chǔ)熵ppt課件-在線瀏覽
2025-06-23 02:45本頁面
【正文】 I a I aI a I a? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?比 特 比 特比 特 比 特此消息中共有 14個“ 0”符號， 13個“ 1”符號， 12個“ 2”符號， 6個“ 3”符號，則得到消息的自信息是 1 2 3 41 4 ( 0 ) 1 3 ( 1 ) 1 2 ( 2 ) 6 ( 3 ) 8 7 . 8 1I I a I a I a I a? ? ? ? ? ? ? ? ? 比 特 0 1 2 30 1 2 3( ) 3 / 8 1 / 4 1 / 4 1 / 8X a a a aPx? ? ? ?? ? ? ??? ? ? ?? ? ? ?習(xí)題相關(guān) (2)此消息中共含 45個信源符號，這 45個信源符號攜帶著 87． 81比特信息量，則此消息中 平均每個符號攜帶的信息量 為 2 8 7 . 8 1 / 4 5 1 . 9 5I ?? 比 特 / 符 號（ 202120220213001203210110321010021032022223210） 注意：此值是 此消息 中平均每個符號攜帶的信息量 該離散無記憶信源 平均每個符號攜帶的信息量，即信息墑 41( ) ( ) l o g ( ) 1 . 9 1kkkH X P a P a?? ? ?? 比 特 / 符 號習(xí)題相關(guān) 新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) 新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) 信源發(fā)出序列中只有前后兩個符號間有依賴關(guān)系： 信源的概率空間 : 連續(xù)兩個信源符號出現(xiàn)的聯(lián)合概率分布為： 聯(lián)合 熵與條件熵 1212, , , ( ) 1( ) , ( ) , , ( )()qiqa a aX pap a p a p aPX???? ???????????qi=1且1( ) ( ) 1qqi j i jjP a a P a a????i=1且已知符號 出現(xiàn)后，緊跟著 出現(xiàn)的條件概率為： ia ja()( | )()ijjiiP a aP a aPa? 由二維離散信源的發(fā)出符號序列的特點可以把其分 成每兩個符號一組，每組代表新信源 中的一個 符號。 12X X X?得到一個新的離散無記憶信源 ，其聯(lián)合概率空間為： 12XX1212()XXP x x??????1 1 1 2 1, , ..., ,( ) ( ) ( | )q q q qi j i j ia a a a a a a aP a a P a P a a?????????聯(lián)合 熵與條件熵 1211( , ) ( ) l o g ( )qqi j i jijH X X P a a P a a???? ??根據(jù)（ 信息）熵的定義 ，可得： （ 1） 聯(lián)合熵 可以表征信源輸出長度為 2的平均不確定性，或所含有的信息量。 1,41943611210)(31???????????????? ??iipxpXP(xi ,xj ) xj xi 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 0 1 21 1 4 1()3 6 9 4Xpx??????????? ?? 解 ：根據(jù)概率關(guān)系可計算得條件概率 P（ xj|xi） ,計算 結(jié)果列表如下： ()( | )()ijji iP x xP x xPx?xj xi 0 1 2 0 9/11 1/8 0 1 2/11 3/4 2/9 2 0 1/8 7/9 P(xixj ) xj xi 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 得： )/()(l og)()(31Sym b olB i taPaPXH iii ??? ??)/()/(l o g)()/(313112 S ym b o lB i taaPaaPXXH iji jji ??? ? ?? ?)/()(l o g)()(313121 S ym b o l sB i taaPaaPXXH jii jji ??? ? ?? ? ? H(X)： 表示信源中每個符號的平均信息量（ 信源熵 ）。 ? H(X|Y)： 表示在輸出端接收到 Y的全部符號后，發(fā)送端 X尚存的平均不確定性。 信道疑義度 (損失熵 ， 含糊度 ) ? H(Y|X)： 表示在已知 X的全部符號后，對于輸出 Y尚存的平均不確定性。 熵的意義（對通信系統(tǒng)） 熵之間的相互關(guān)系 H(X,Y) = H(X) + H(Y|X) H(X,Y) = H(Y) + H(X|Y) H(X) = H(X|Y) H(Y) = H(Y|X) H(X,Y) = H(X) + H(Y) 熵、聯(lián)合熵與條件熵 新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X 對稱性 確定性 非負性 擴展性 可加性 強可加性 遞增性 上凸性 極值性 對稱性 ： H(P) 的取值與分量 p1, p2 , 說明： 從數(shù)學(xué)角度： H(P)=? pi 信息熵的基本性質(zhì) 一個例子： ???????????????????????????????????????6/12/13/1)( ,3/12/16/1)( ,2/16/13/1)(321321321 aaazPzaaayPyaaaxPx)/(4 5 )21,61,31()( S y m bo lB i tHXH ??)/(4 5 )31,21,61()( Sym l obB i tHYH ??)/()61,21,31()( S ym b o lB i tHZH ??)()()( ZHYHXH ??信息熵的基本性質(zhì) 確定性 ： H
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1