【正文】 符號，有不同的自信息量，所以它不足以作為整個信源的總體信息測度。X 的差別知識多了一個概率接近 于零的事件，其他的概率分布相同，則這兩個信源 的熵值相同。 加權(quán)熵 加權(quán)熵的定義 香濃定義信息量和熵并沒有考慮人的主觀因素，只是信息系統(tǒng)概率的函數(shù)，是“客觀信息”。 平均互信息量 前面我們給出了互信息的定義，并 已 清楚互信息量 )。 YX號是 ， （ 2） 若干擾很大 ， Y基本上與 X無關(guān)，或說 X與 Y相互獨立， 那時就收不到任何關(guān)于 X的信息 。( YHXYI ?(4)凸函數(shù)性 : )()()(l og)()。( XYIYXI ?)/()()()。(kjkikjikikjikji zypzxpzyxpzxpzyxpzyxI ??對該式在三維空間 XYZ 上求概率加權(quán)平均值，就得到 平均條件互信息 ? ? ? ? ??i kjikjij kzyxIzyxpZYXI )()(。 ) ( 。 統(tǒng)計獨立時 X Y 0)。 各種熵之間的關(guān)系 由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式 ? ? ? ? ? ? ? ?YXHYHXYHXHXYH |)(| ????X Y當(dāng) ， 統(tǒng)計獨立時，有 ? ? ? ? )( YHXHXYH ??還可以推出 )|()()|()( XYHYHYXHXH ???共熵與信息熵的關(guān)系 )()()( YHXHXYH ??條件熵與信息熵之間的關(guān)系 )()|( YHXYH ? )()|( XHYXH ?或 離散集的平均互信息量 在前面的章節(jié)中，主要討論的是單符號信源的情況，這是最簡單的離散信源。有時稱H(X/Y)為信道疑義度，也稱損失熵。 信息熵的性質(zhì)： 非負性 : ),. . .,(), . . . ,(l i m 212110 qqqq pppHpppH ???? ???信息熵的非負性即為 0)( ?XH對稱性 : 當(dāng)信源含有 n 個離散消息時，信源熵 )(l og)()(1????niii xpxpXH，其中 ). . . . ,2,1(1)(0 nixp i ??? ， 1)(1???niixp熵的對稱性是指 )() ,. . . ,(),(2 ni xpxpxp的順序任意互換時，只是求和順序不同，熵的值不變。yjzk),等于事件 yj出現(xiàn)后所提供的有關(guān) xi的信息量 I（ xi。在三維 XYZ)()|(lo g)。 定義 聯(lián)合集 XY中， 在 事件 yj出現(xiàn)的條件下 ，隨機事件 事件 xi 發(fā)生 的條件下 概率為 )|( ji yxp則它的條件自信息量定義為條件概率對數(shù)的負值： ， )|(l o g)|( jiji yxpyxI ??例 :設(shè)在一正方形棋盤上共有 64個方格，行、列各 8個。 通過上面兩個實例可以得知，在甲袋抽出紅色球的不確定性要比乙袋抽紅色球的不確定性小。( ijjjijji xyIyIypxypyxI ???)()()()()()(l og)。xi) （ 2）當(dāng) X和 Y相互獨立時，互信息為 0 （ 3） 互信息量可為正值或負值 （ 4） 任何兩個事件之間的互信息量不可能大于之中任一事件的自信息量 ?????)()()。 定義 在 X 集上，隨機變量 的數(shù)學(xué)期望定義 為平均自信息量 )( ixI)(l o g)()](l o g[)]([)(1iqiiii xpxpxpExIEXH ???????X XX XXX集 的平均自信息又稱為集 的信息熵，簡稱為熵。即 ), . . . . . ,(), . . . . . ,(l i m 212110 nnnn pppHpppH ???? ???，它對其他概率分布 極值性： 可加性：設(shè)有兩個信源 X和 Y,它們不是相互獨立的，則二維隨機變量 （ X,Y)的熵等于 X的無條件熵加上當(dāng) X已給定時 Y的條件概率定義的熵統(tǒng)計平均值，即 )|()()( XYHXHXYH ??對任意兩個消息數(shù)相同的信源 X、 Y，有 )(l og)()]() ,.. .,(),([121 iniin ypxpxpxpxpH ????其中 1)()(11?? ????niinii ypxp。在實際中，各種事件雖然已一定的概率發(fā)生，但各種事件的發(fā)生對不同的人有不同的意義。( ji yxI 是定量地研究信息流通問題的重要基礎(chǔ)。 （ 3） 若沒有干擾， Y是 X的確知一一對應(yīng)函數(shù)，那就 能完全收到 X的信息 H(X)。(jijii jji ypxpyxpyxpYXI ? ???? ??iiijiji jiij xpxypxypxpxyp)()()(l o g)()(定理 當(dāng)信道給定，即信道轉(zhuǎn)移概率 )|( ij xyp 固定， )。()/()/()(YXHXYHYHYXIXYHXYHYH?????)。 )()()(l o g)()(l o g)。 平均互信息的性質(zhì) (1)對稱性： ( 。( YXI 是 對 的平均互信息量，簡稱平均互信，也 Y X稱交互熵。, . . . , 1,21121 ??= = = jJj jiiiIi i ppwppw lo glo g ?? ?? ??jJj jIi i ppw lo g00lo g0 ?? ?? ??jJjIi plo g00lo g0 ?? ?? ??= 0 這一性質(zhì)說明可能的事件是無意義或者是無效用的，而有意義或者有效用的時間是不可能的，這時的香濃熵為 0，但其提供的加權(quán)熵等于 0。這是傳輸失真所造成的。 信源熵 H（ X）反映了變數(shù)的隨機性 。( jkijikji yzxIyxIzyxI ??或?qū)⑸鲜竭M一步表示為 思考下式的證明 上式表明一對事件 yjzk出現(xiàn)后提供有關(guān) xi的信息量 I（ xi。( ji yxI)()(lo gijixpyxp= )|()()|(l o g)(l o g1 jiiji yxIxIbxpxp ????將事件互信息的概念推廣至多維空間。 二維聯(lián)合集 XY ， X Y當(dāng) 和 相互獨立時，有 )()()( jiji ypxpyxp ?則聯(lián)合自信息量為 )()()l o g ()(l o g)()(l o g)(l o g)( jijijijiji yIxIpxpypxpyxpyxI ????????? 條件自信息量 乙住的樓房有 5個單元，每個單元住有