【正文】 ,()( xpbaxpX或 ??????)(xpR滿足 或 1)( ??badxxp 1)( ??Rdxxp 離散信源的信息熵及其性質(zhì) ? 基本的離散信源可用一維隨機(jī)變量 X來描述信源的輸出，信源的數(shù)學(xué)模型可抽象為 : ?????????????)(......)()()(......)( 321321qqaPaPaPaPaaaaxPX 1)(1???qiiaP問題 ：這樣的信源能輸出多少信息 ? 每個(gè)消息的出現(xiàn)攜帶多少信息量 ? 信息的度量 ? 考慮： ? 信息的度量（信息量）和不確定性消除的程度有關(guān)，消除的不確定性＝獲得的信息量； ? 不確定性就是隨機(jī)性，可以用概率論和隨機(jī)過程來測(cè)度，概率?。?不確定性大； ? 推論： ? 概率小 － 信息量大，即信息量是概率的單調(diào)遞減函數(shù)； ? 信息量應(yīng)該具有可加性； 信息量的推導(dǎo) ? 某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)。即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和 。定義為： 一點(diǎn)說明 ? 計(jì)算自信息量時(shí)要注意有關(guān)事件發(fā)生概率的計(jì)算； ? 自信息量的 單位 取決于對(duì)數(shù)的底； ? 底為 2，單位為“ 比特 （ bit, binary unit） ”； ? 底為 e，單位為“ 奈特 （ nat, nature unit）”； ? 底為 10，單位為“ 哈特 （ hat, Hartley） ”； ? 根據(jù)換底公式得： aXXbba lo glo glo g ?? 一般計(jì)算都采用以 “ 2”為底的對(duì)數(shù)，為了書寫簡(jiǎn)潔，常把底數(shù) “ 2”略去不寫 1 nat = , 1 hat = bit； [例 ] 8個(gè)串聯(lián)的燈泡 x1， x2， … ， x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個(gè)燈泡已損壞，問每進(jìn)行一次測(cè)量可獲得多少信息量？總共需要多少次測(cè)量才能獲知和確定哪個(gè)燈泡已損壞。 )(3)(1l o g)]([121 b i txPxPI ??第一次測(cè)量 獲得的信息量 = I [P (x1)] I [P (x2)]=1(bit) 經(jīng)過二次測(cè)量后，剩 2個(gè)燈泡，等概率損壞， P (x3)＝ 1/2 一次測(cè)量后，剩 4個(gè)燈泡，等概率損壞， P (x2)＝ 1/4 )(2)(1l og)]([222 bi txPxPI ??)(1)(1l og)]([323 bi txPxPI ??二 . 信息熵 ? 對(duì)一個(gè)信源發(fā)出不同的消息所含有的信息量也不同 。 ? 定義自信息的數(shù)學(xué)期望為 平均自信息量 Hr(X)， 稱為信息熵 ： ????????????? qiiriirr apapapEXH1)(l o g)()(1l o g)(????????????? qiiiiapapapEXH1)(l o g)()(1l o g)(當(dāng)r ＝2 時(shí) ：rXHXH r lo g/)()( ?? 由于這個(gè)表達(dá)式和統(tǒng)計(jì)物理學(xué)中熱熵的表達(dá)式相似，且在概念上也有相似之處，因此借用“熵”這個(gè)詞，把 H(X)稱為信息“熵” ； ? 信息熵的 單位 由自信息量的單位決定，即取決于對(duì)數(shù)的底。隨便摸出一個(gè)球，猜測(cè)是什么顏色，那么其概率空間為： 如果被告知摸出的是紅球，那么獲得的信息量是： I (a1) ＝ － log p(a1) ＝ － = （比特） 如被告知摸出來的是白球，所獲得的信息量應(yīng)為： I (a2) ＝ － log p(a2) ＝ － = （比特） 平均摸取一次所能獲得的信息量為 ： H(X)= p(a1) I (a1) + p(a2) I (a2) =（比特 /符號(hào)） ???????????????)(21 aaXPX熵的含義 ? 熵是 從整個(gè)集合的統(tǒng)計(jì)特性 來考慮的，它從平均意義上來表征信源的總體特征。 ? 例如 ， 有兩信源 X、 Y， 其概率空間分別 ??????????????? )( 21aaxPX???????????????)(21 aayPY計(jì)算其熵， 得： H(X)=（ bit /符號(hào)） H(Y)=1（ bit / 符號(hào)） H(Y)＞ H(X)，因此信源 Y比信源 X的平均不確定性要大。又設(shè)乙地的天氣預(yù)報(bào)為：晴 (占 7／ 8)，小雨 (占 1／ 8)。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為 1而其余為 0。試求這兩極端情況所提供的平均信息量。 ?????????????8/18/14/11 / 2小雨大雨陰晴)( xPX?????????????8/18/7小雨晴)( yPY兩個(gè)信源 解：甲地天氣預(yù)報(bào)構(gòu)成的信源空間為 : 則其提供的平均信息量即信源的信息熵 : ?????????????8/18/14/11 / 2小雨大雨陰晴)( xPX)(l og)()(41iii aPaPXH ????符號(hào)）（ / o g8181l o g8141l o g4121l o g21 b i t??????乙地天氣預(yù)報(bào)的信源空間為 : ?????????????8/18/7小雨晴)( yPY)/( o g8781l o g81l o g8187l o g87)( 符號(hào)b i tYH ???????? 結(jié)論 ：甲地 天氣預(yù)報(bào) 提供的平均信息量大于乙地，因?yàn)橐业乇燃椎氐钠骄淮_定性小。 ? 極端情況 2：各種天氣等概率分布 乙地極端情況 ? 極端情況 1：晴天概率＝ 1 )/(00l o g01l o g1)( 符號(hào)b i tYH ???????????????????1 / 21 / 2陰晴)( yPY)/(121l o g)( 符號(hào)b i tYH ???? 結(jié)論 ：在極端情況 2下，甲地比乙地提供更多的信息量。 ?????????????01小雨晴)( yPY? 極端情況 2：各種天氣等概率分布 ? 信息熵是信源概率空間的一種特殊 矩函數(shù) 。 ? 我們用 概 率矢量 P來表示 概 率分布 P(x)： 三、信息熵的基本性質(zhì) 這樣，信息熵 H(X)是概率矢量 P或它的分量 p1， p2， …， pq的 q1元函數(shù) (因各分量滿足上述條件限制，所以獨(dú)立變量只有 q1元 )。 ? 用下述表示方法： ? 用 H(x) 表示以離散隨機(jī)變量 x描述的 信源的信息熵 ； ? 用 H(P) 或 H(p1, p2 , … , pq )表示概率矢量為 P = (p1, p2 , … , pq )的 q個(gè)符號(hào)信源的信息熵 。 ? 熵函數(shù) H(P)是一種特殊函數(shù)，具有以下性質(zhì)。 , pq的順序無關(guān)。 log pi 中的和式滿足交換率； 從隨機(jī)變量的角度：熵只與隨機(jī)變量的總體統(tǒng)計(jì)特性有關(guān)。 非負(fù)性 ： H(P) ? 0 ? 說明 ： ? 隨機(jī)變量 X的概率分布滿足 0＜ pi＜ 1，當(dāng)取對(duì)數(shù)的底大于 1時(shí)， log(pi) ＜ 0， pilog(pi ) ＞ 0，即得到的熵為正值。 ? 這種非負(fù)性合適于離散信源的熵，對(duì)連續(xù)信源來說這一性質(zhì)并不存在。 ? 非負(fù)性體現(xiàn)信息是非負(fù)的。 ), . . . ,(), . . . ,(lim 212110 qqqqpppHpppH ???????),(l og 211qqqiii pppHpp ?????? ??}l og)l og ()(l og{l i m110????? ??????????qiqqii pppp所以，上式成立 ),(l i m 2110 ??? ?????? qq pppH因?yàn)? 可加性 統(tǒng)計(jì)獨(dú)立 信源 X和 Y的 聯(lián)合信源的熵 等于信源 X和 Y各自的熵之和。 jijiji qpypxpyxp ?? )()()(11,11 111??? ? ???? ???nimjjimjjnii qpqp),...,...,( 1212111 mnmnm qpqpqpqpqpH), . . . ,(), . . . ,( 2121 mmnn qqqHpppH ??),...,...,( 1212111 mnmnm qpqpqpqpqpH? ?? ???nimjjiji qpqp1 1log???????????mjjjniiniiimjj qqpppq1111l o gl o g? ? ??? ? ?????ninimjjjimjiji qqppqp1 1 11l o gl o g???????mjjjniii qqpp11l o gl o g), . . . ,(), . . . ,( 2121 mmnn qqqHpppH ??證明： 例如，甲信源為 它們的聯(lián)合信源是 可計(jì)算得聯(lián)合信源的聯(lián)合熵： H(Z) = H(XY) = log (nm) = log m + log n = H(X) + H(Y) ?????????????nnnaaaxpX n/1.../1/1...)(21乙信源為 ?????????????mmmbbbypY m/1.../1/1...)(21???????????????nmnmnmccczpZ nm1...11...)(21強(qiáng)可加性 ? 兩個(gè)互相關(guān)聯(lián)的信源 X和 Y的聯(lián)合信源的熵等于信源 X的熵加上在 X已知條件下信源 Y的條件熵。 ? ?? ?? ?? ?????mjniijjimjniijijixypyxpxypxypxpXYH1 11 1)|(l o g)()|(l o g)|()()/(H（ XY） =H（ X） + H（ Y/X）的證明： ), . . . , . . . ,( 21211121111 nmnmnm ppppppppppH?? ?? ???nimjijiiji pppp1 1log???????????mji