信息論基礎(chǔ)熵ppt課件-文庫吧資料
2025-05-12 02:45本頁面
【正文】 ?” 和“ 1 ?‖，即信源的概率空間為： 信息熵的基本性質(zhì) 即信息熵 H(x)是 ?的函數(shù)。 信息熵的基本性質(zhì) 11,qiip???證明 ： 因為對數(shù)是 ∩型凸函數(shù)，滿足詹森不等式E[log Y] ? log E[Y]，則有： qpppppppHiqiiqi iiq l og)1l og (1l og),...,(1121 ??? ???? 二進制信源是離散信源的一個特例。 qqqqHPPPH q l o g)1,. . .,1,1(), . . . ,( 21 ??性質(zhì)表明 等概率分布信源的平均不確定性為最大。 它表示：對任意概率矢量 P1＝ (p1,p2, …,p q )和 P2＝ (p’1,p’2, …,p’ q)，和任意的 0＜ ?＜ 1，有： H[? P1十 (1 ? )P2 ] ＞ ? H(P1 )十 (1? )H(P2 ) 因為熵函數(shù)具有上凸性，所以熵函數(shù)具有極值，其最大值存在。 ), . . ., . . ,( 211211 mnmn qqqpppH ???), . .. ,(), . .,( 21121nmnnmnnnn pqpqpqHpppppH ???nmjjnii pqp ?? ???? 11,1信息熵的基本性質(zhì) ), .. ., .. .,( 21211121111 nmnmnm ppppppppppH),.. .,(),.. .,( 21121 imiimniinn pppHppppH ????), . .. , . .. ,( 11211 nmnnnnmn pppppppH ????), . . . ,(. . .), . . . ,(), . . . ,(), . . . ,(21222212112111211nmnnmnmmmmimiimniipppHppppHppppHppppHp??????),. . .,( 21 nmnnmn pppHp?), . .. , . .. ,( 11211 nmnnnnmn pppppppH ????), . .. ,(), . .. ,( 2121 nmnnmnnn pppHppppH ??), . .. , . .. ,( 11211 nmnnnnmn pppppppH ???), . .. ,(), . .. ,( 2121 nmnnmnnn pppHppppH ??jniiji qpp ???1因為 而當 i≠n時 pij=0，所以 jnjn qpp ? ), . . . ,1(/ mjpqp njnj ??), .. . , .. . ,( 11211 mnmn qqpppH ???), . . . ,(), . . . ,( 2121nmnnmnnn pqpqpqHppppH ??即得： [例 ]：運用熵函數(shù)的遞增性（的推廣），計算熵函數(shù) H(1/3， 1/3， 1/6， 1/6)的數(shù)值。 H（ X,Y） =H（ X） + H（ Y|X） 信息熵的基本性質(zhì) 遞增性 若原信源 X 中 有一個符號分割成了 m個元素 (符號 )，這 m個元素的概率之和等于原元素的概率，而其他符號的概率不變，則 新信源的熵增加 。 信息熵的基本性質(zhì) 擴展性 ), . . . ,(), . . . ,(lim 212110 qqqqpppHpppH ???????),(log 211qqqiii pppHpp ?????? ??}l og)l og ()(l og{lim110????? ??????????qiqqii pppp所以，上式成立 . ),(lim 2110 ??? ?????? qq pppH因為 信源的取值數(shù)增多時，若這些取值對應(yīng)的概率很小 (接近于零 )，則信源的熵不變 信息熵的基本性質(zhì) 可加性 統(tǒng)計獨立 信源 X和 Y的 聯(lián)合信源的熵 等于信源 X和Y各自的熵之和。 這種非負性合適于離散信源的熵， 對連續(xù)信源來說這一性質(zhì)并不存在。 信息熵的基本性質(zhì) 非負性 ： H(P) ? 0 說明 ： 隨機變量 X的概率分布滿足 0＜ pi＜ 1，當取對數(shù)的底大于 1時， log(pi) ＜ 0， pilog(pi ) ＞ 0，即得到的熵為正值。 log pi 中的和式滿足交換率； 從隨機變量的角度：熵只與隨機變量的總體統(tǒng)計特性有關(guān)。 , pq的順序無關(guān)。 信道散布度 (噪聲熵 ) ? H(XY)： 表示整個信息傳輸系統(tǒng)的平均不確定性（ 聯(lián)合熵） 。這個對 X尚存的不確定性是由于干擾引起的。 ? H(Y)： 表示信宿中每個符號的平均信息量（ 信宿熵 ）。 說明 : 聯(lián)合熵是 隨機序列 聯(lián)合離散符號集上的每個符號對 聯(lián)合自信息量的數(shù)學(xué)期望 聯(lián)合 熵與條件熵 12XXijaa(2)條件熵 211( | ) ( | ) l o g ( | )qi j i j ijH X X a P a a P a a?? ? ? ?則： 2 1 2 11( | ) ( ) ( | )q iiiH X X P a H X X a????11( ) ( | ) l o g ( | )qqi j i j iijP a P a a P a a???? ??11( ) l o g ( | )qqi j j iijP a a P a a???? ??聯(lián)合熵與條件熵 隨機序列 的聯(lián)合符號集上的條件自信息量的數(shù)學(xué)期望 12XX例題 已知二維隨機變量 的聯(lián)合概率分布 為 求 XY ()ijP x y( 0 , 0 ) (1 , 1 )1 / 8PP ? ( 0 , 1 ) (1 , 0 ) 3 / 8PP ??( | )H X Y解： 由 21( ) ( ) (0 ) ( 1 ) 1 / 2j i j Y YiP y P x y P P?? ? ? ??又由 | | | |() 13( | ) (0 | 0 ) ( 1 | 1 ) , ( 1 | 0 ) (0 | 1 )( ) 4 4iji j X Y X Y X Y X YjP x yP x y P P P PPy? ? ? ? ? ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1