信息論基礎(chǔ)熵ppt課件(編輯修改稿)
2025-06-02 02:45 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 引起的。 信道疑義度 (損失熵 ， 含糊度 ) ? H(Y|X)： 表示在已知 X的全部符號(hào)后，對(duì)于輸出 Y尚存的平均不確定性。 信道散布度 (噪聲熵 ) ? H(XY)： 表示整個(gè)信息傳輸系統(tǒng)的平均不確定性（ 聯(lián)合熵） 。 熵的意義（對(duì)通信系統(tǒng)） 熵之間的相互關(guān)系 H(X,Y) = H(X) + H(Y|X) H(X,Y) = H(Y) + H(X|Y) H(X) = H(X|Y) H(Y) = H(Y|X) H(X,Y) = H(X) + H(Y) 熵、聯(lián)合熵與條件熵 新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X新授課 聯(lián)合熵與條件熵 熵、聯(lián)合熵與條件熵 信息熵的基本性質(zhì) ( , )H X Y ( | )H X Y ( | )H Y X 對(duì)稱性 確定性 非負(fù)性 擴(kuò)展性 可加性 強(qiáng)可加性 遞增性 上凸性 極值性 對(duì)稱性 ： H(P) 的取值與分量 p1, p2 , , pq的順序無(wú)關(guān)。 說(shuō)明： 從數(shù)學(xué)角度： H(P)=? pi log pi 中的和式滿足交換率； 從隨機(jī)變量的角度：熵只與隨機(jī)變量的總體統(tǒng)計(jì)特性有關(guān)。 信息熵的基本性質(zhì) 一個(gè)例子： ???????????????????????????????????????6/12/13/1)( ,3/12/16/1)( ,2/16/13/1)(321321321 aaazPzaaayPyaaaxPx)/(4 5 )21,61,31()( S y m bo lB i tHXH ??)/(4 5 )31,21,61()( Sym l obB i tHYH ??)/()61,21,31()( S ym b o lB i tHZH ??)()()( ZHYHXH ??信息熵的基本性質(zhì) 確定性 ： H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 性質(zhì)說(shuō)明 ：從總體來(lái)看，信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)幾乎必然出現(xiàn)，而其它符號(hào)則是幾乎不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知信源，其熵等于零。 信息熵的基本性質(zhì) 非負(fù)性 ： H(P) ? 0 說(shuō)明 ： 隨機(jī)變量 X的概率分布滿足 0＜ pi＜ 1，當(dāng)取對(duì)數(shù)的底大于 1時(shí)， log(pi) ＜ 0， pilog(pi ) ＞ 0，即得到的熵為正值。只有當(dāng)隨機(jī)變量是一確知量時(shí)熵才等于零。 這種非負(fù)性合適于離散信源的熵， 對(duì)連續(xù)信源來(lái)說(shuō)這一性質(zhì)并不存在。 以后可看到在相對(duì)熵的概念下，可能出現(xiàn)負(fù)值。 信息熵的基本性質(zhì) 擴(kuò)展性 ), . . . ,(), . . . ,(lim 212110 qqqqpppHpppH ???????),(log 211qqqiii pppHpp ?????? ??}l og)l og ()(l og{lim110????? ??????????qiqqii pppp所以，上式成立 . ),(lim 2110 ??? ?????? qq pppH因?yàn)? 信源的取值數(shù)增多時(shí)，若這些取值對(duì)應(yīng)的概率很小 (接近于零 )，則信源的熵不變 信息熵的基本性質(zhì) 可加性 統(tǒng)計(jì)獨(dú)立 信源 X和 Y的 聯(lián)合信源的熵 等于信源 X和Y各自的熵之和。 H(X,Y) = H(X)+ H(Y) jijiji qpypxpyxp ?? )()()(11,11 111??? ? ???? ???nimjjimjjnii qpqp), .. ., .. .,( 1212111 mnmnm qpqpqpqpqpH), .. . ,(), .. . ,( 2121 mmnn qqqHpppH ??信息熵的基本性質(zhì) ), .. ., .. .,( 1212111 mnmnm qpqpqpqpqpH? ?? ???nimjjiji qpqp1 1lo g???????????mjjjniiniiimjj qqpppq1111l o gl o g? ? ??? ? ?????ninimjjjimjiji qqppqp1 1 11l o gl o g???????mjjjniii qqpp11lo glo g), .. . ,(), .. . ,( 2121 mmnn qqqHpppH ??證明： 信息熵的基本性質(zhì) 例如，甲信源為 它們的聯(lián)合信源是 可計(jì)算得聯(lián)合信源的聯(lián)合熵： H(Z) = H(XY) = log (nm) = log m + log n = H(X) + H(Y) ?????????????nnnaaaxpX n/1. . ./1/1. . .)(21乙信源為 ?????????????mmmbbbypY m/1.../1/1...)(21???????????????nmnmnmccczpZ nm1. ..11. ..)(21信息熵的基本性質(zhì) 強(qiáng)可加性 兩個(gè)互相關(guān)聯(lián)的信源 X和 Y的聯(lián)合信源的熵等于信源 X的熵加上在 X已知條件下信源 Y的條件熵。 H（ X,Y） =H（ X） + H（ Y|X） 信息熵的基本性質(zhì) 遞增性 若原信源 X 中 有一個(gè)符號(hào)分割成了 m個(gè)元素 (符號(hào) )，這 m個(gè)元素的概率之和等于原元素的概率，而其他符號(hào)的概率不變，則 新信源的熵增加 。 熵的增加量等于由分割而產(chǎn)生的不確定性量。 ), . . ., . . ,( 211211 mnmn qqqpppH ???), . .. ,(), . .,( 21121nmnnmnnnn pqpqpqHpppppH ???nmjjnii pqp ?? ???? 11,1信息熵的基本性質(zhì) ), .. ., .. .,( 21211121111 nmnmnm ppppppppppH),.. .,(),.. .,( 2112
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1