信息論基礎(chǔ)熵ppt課件-wenkub.com
2025-05-03 02:45 本頁面
【正文】 我們用下述表示方法： ? 用 H(x) 表示以離散隨機變量 x描述的 信源的信息熵 ； ? 用 H(P) 或 H(p1, p2 , … , pq )表示概率矢量為 P = (p1, p2 , … , pq )的 q個符號信源的信息熵 。 擴展訓練 4 有一布袋內(nèi)放 l00個球，其中 80個球是紅色的，20個球是白色的。 p取值于 [0， 1]區(qū)間。按等概率 1/103*10計算，平均每個畫面可提供的信息量為 53 1 0221( ) ( ) l o g ( ) l o g 1 0niiiH X p x p x ???? ? ? ?? =3 105 比特 /畫面 擴展訓練 2 有一篇千字文章 ， 假定每字可從萬字表中任選 ，則共有不同的千字文 N=100001000=104000 篇 仍按等概率 1/100001000計算，平均每篇千字文可提供的信息量為 H（ X）＝ logN＝ 4 103 3． 32 1． 3 104 比特／千字文 ?比較： ? ―一個電視畫面 ” 平均提供的信息量遠遠超過“ 一篇千字文 ” 提供的信息量。 X A B C P(x) 1/2 1/3 1/6 P(y|x) D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 擴展訓練 1 )61l o g6131l o g3121l o g21( ????解：信源 X的熵為： ( ) ( ) l o g ( )XH X P X P X?? ?)/( S y m b o lB i t?P(x,y) X A B C Y D 1/8 1/10 1/36 E 1/8 1/15 1/12 F 1/8 1/15 1/36 G 1/8 1/10 1/36 擴展訓練 1 信源 XY輸出每一對消息的聯(lián)合概率為： P(X,Y) = P(Y/X)P(X) ，結(jié)果如上表。 4） H(X|X)=0 。 4） H(X|X)=0 。 ?取值于 [0， 1]區(qū)間，可畫出熵函數(shù) H(?) 的曲線來，如右圖所示。 這是一個很重要的結(jié)論，稱為 最大離散熵定理 。 61613131??6161316161???616161?616161??????? 61,61,31,31H????????????????????? 21,213121,213232,31 HHH) /(91 ,2132,31 Sym bo lB i tHH ???????????????), . . ., . . ,( 211211 mnmn qqqpppH ???), . .. ,(), . .,( 21121nmnnmnnnn pqpqpqHpppppH ???熵函數(shù) H(P)是概率矢量 P＝ (p1， p2， … ， pq)的嚴格∩型凸函數(shù) (或稱上凸函數(shù) )。 H(X,Y) = H(X)+ H(Y) jijiji qpypxpyxp ?? )()()(11,11 111??? ? ???? ???nimjjimjjnii qpqp), .. ., .. .,( 1212111 mnmnm qpqpqpqpqpH), .. . ,(), .. . ,( 2121 mmnn qqqHpppH ??信息熵的基本性質(zhì) ), .. ., .. .,( 1212111 mnmnm qpqpqpqpqpH? ?? ???nimjjiji qpqp1 1lo g???????????mjjjniiniiimjj qqpppq1111l o gl o g? ? ??? ? ?????ninimjjjimjiji qqppqp1 1 11l o gl o g???????mjjjniii qqpp11lo glo g), .. . ,(), .. . ,( 2121 mmnn qqqHpppH ??證明： 信息熵的基本性質(zhì) 例如，甲信源為 它們的聯(lián)合信源是 可計算得聯(lián)合信源的聯(lián)合熵： H(Z) = H(XY) = log (nm) = log m + log n = H(X) + H(Y) ?????????????nnnaaaxpX n/1. . ./1/1. . .)(21乙信源為 ?????????????mmmbbbypY m/1.../1/1...)(21???????????????nmnmnmccczpZ nm1. ..11. ..)(21信息熵的基本性質(zhì) 強可加性 兩個互相關(guān)聯(lián)的信源 X和 Y的聯(lián)合信源的熵等于信源 X的熵加上在 X已知條件下信源 Y的條件熵。只有當隨機變量是一確知量時熵才等于零。 說明： 從數(shù)學角度： H(P)=? pi 熵的意義（對通信系統(tǒng)） 熵之間的相互關(guān)系 H(X,Y) = H(X) + H(Y|X) H(X,Y) = H(Y) + H(X|Y) H(X) = H(X|Y) H(Y) = H(Y|X) H(X,Y) = H(X) + H(Y) 熵、聯(lián)合熵與條件熵 新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X 對稱性 確定性 非負性 擴展性 可加性 強可加性 遞增性 上凸性 極值性 對稱性 ： H(P) 的取值與分量 p1, p2 , ? H(X|Y)： 表示在輸出端接收到 Y的全部符號后，發(fā)送端 X尚存的平均不確定性。 12X X X?得到一個新的離散無記憶信源 ，其聯(lián)合概率空間為： 12XX1212()XXP x x??????1 1 1 2 1
教學課件相關(guān)推薦
鄂ICP備17016276號-1