信息論基礎(chǔ)熵ppt課件-閱讀頁(yè)
2025-05-21 02:45本頁(yè)面
【正文】 (1,0)=H(1,0,0)=H(1,0,0…,0)=0 性質(zhì)說(shuō)明 ：從總體來(lái)看，信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其它符號(hào)則是幾乎不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知信源，其熵等于零。只有當(dāng)隨機(jī)變量是一確知量時(shí)熵才等于零。 以后可看到在相對(duì)熵的概念下，可能出現(xiàn)負(fù)值。 H(X,Y) = H(X)+ H(Y) jijiji qpypxpyxp ?? )()()(11,11 111??? ? ???? ???nimjjimjjnii qpqp), .. ., .. .,( 1212111 mnmnm qpqpqpqpqpH), .. . ,(), .. . ,( 2121 mmnn qqqHpppH ??信息熵的基本性質(zhì) ), .. ., .. .,( 1212111 mnmnm qpqpqpqpqpH? ?? ???nimjjiji qpqp1 1lo g???????????mjjjniiniiimjj qqpppq1111l o gl o g? ? ??? ? ?????ninimjjjimjiji qqppqp1 1 11l o gl o g???????mjjjniii qqpp11lo glo g), .. . ,(), .. . ,( 2121 mmnn qqqHpppH ??證明： 信息熵的基本性質(zhì) 例如，甲信源為 它們的聯(lián)合信源是 可計(jì)算得聯(lián)合信源的聯(lián)合熵： H(Z) = H(XY) = log (nm) = log m + log n = H(X) + H(Y) ?????????????nnnaaaxpX n/1. . ./1/1. . .)(21乙信源為 ?????????????mmmbbbypY m/1.../1/1...)(21???????????????nmnmnmccczpZ nm1. ..11. ..)(21信息熵的基本性質(zhì) 強(qiáng)可加性 兩個(gè)互相關(guān)聯(lián)的信源 X和 Y的聯(lián)合信源的熵等于信源 X的熵加上在 X已知條件下信源 Y的條件熵。 熵的增加量等于由分割而產(chǎn)生的不確定性量。 61613131??6161316161???616161?616161??????? 61,61,31,31H????????????????????? 21,213121,213232,31 HHH) /(91 ,2132,31 Sym bo lB i tHH ???????????????), . . ., . . ,( 211211 mnmn qqqpppH ???), . .. ,(), . .,( 21121nmnnmnnnn pqpqpqHpppppH ???熵函數(shù) H(P)是概率矢量 P＝ (p1， p2， … ， pq)的嚴(yán)格∩型凸函數(shù) (或稱上凸函數(shù) )。 上凸性 信息熵的基本性質(zhì) 極值性 在離散信源情況下，信源各符號(hào) 等概率分布 時(shí)，熵值達(dá)到最大。 這是一個(gè)很重要的結(jié)論，稱為 最大離散熵定理 。 該信源符號(hào)只有二個(gè)，設(shè)為“ 0‖和“ 1‖。 ?取值于 [0， 1]區(qū)間，可畫出熵函數(shù) H(?) 的曲線來(lái)，如右圖所示。 2）若 X與 Y獨(dú)立，則 H(X)=H(X|Y) 。 4） H(X|X)=0 。 2）若 X與 Y獨(dú)立，則 H(X)=H(X|Y) 。 4） H(X|X)=0 。Y)) ?T6 ?T1 H(X,Y)= H(X)= H(Y)=1 ?T6 H(X,Y|Z)=H(X|Z)+H(Y|X,Z)≥H(X|Z) 當(dāng) H(Y|X,Z)=0，即 Y是 X、 Z的函數(shù)時(shí)，原式等號(hào)成立。 X A B C P(x) 1/2 1/3 1/6 P(y|x) D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 擴(kuò)展訓(xùn)練 1 )61l o g6131l o g3121l o g21( ????解：信源 X的熵為： ( ) ( ) l o g ( )XH X P X P X?? ?)/( S y m b o lB i t?P(x,y) X A B C Y D 1/8 1/10 1/36 E 1/8 1/15 1/12 F 1/8 1/15 1/36 G 1/8 1/10 1/36 擴(kuò)展訓(xùn)練 1 信源 XY輸出每一對(duì)消息的聯(lián)合概率為： P(X,Y) = P(Y/X)P(X) ，結(jié)果如上表。 對(duì)第二個(gè)信源 Y，其熵 H(Y)的計(jì)算。按等概率 1/103*10計(jì)算，平均每個(gè)畫面可提供的信息量為 53 1 0221( ) ( ) l o g ( ) l o g 1 0niiiH X p x p x ???? ? ? ?? =3 105 比特 /畫面 擴(kuò)展訓(xùn)練 2 有一篇千字文章 ， 假定每字可從萬(wàn)字表中任選 ，則共有不同的千字文 N=100001000=104000 篇 仍按等概率 1/100001000計(jì)算，平均每篇千字文可提供的信息量為 H（ X）＝ logN＝ 4 103 3． 32 1． 3 104 比特／千字文 ?比較： ? ―一個(gè)電視畫面 ” 平均提供的信息量遠(yuǎn)遠(yuǎn)超過(guò)“ 一篇千字文 ” 提供的信息量。輸出符號(hào)發(fā)生的概率分別為 p和 q，p＋ q=1。 p取值于 [0， 1]區(qū)間。從圖中看出，如果二元信源的輸出符號(hào)是確定的，即p=1或 q=1，則該信源不提供任何信息。 擴(kuò)展訓(xùn)練 4 有一布袋內(nèi)放 l00個(gè)球，其中 80個(gè)球是紅色的，20個(gè)球是白色的。 —— 64張紙牌的對(duì)分搜索。 我們用下述表示方法： ? 用 H(x) 表示以離散隨機(jī)變量 x描述的 信源的信息熵 ； ? 用 H(P) 或 H(p1, p2 , … , pq )表示概率矢量為 P = (p1, p2 , … , pq )的 q個(gè)符號(hào)信源的信息熵 。 擴(kuò)展訓(xùn)練
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1