信息論與編碼第二章-wenkub.com
2025-05-04 22:26 本頁面
【正文】 ()/()/()。( XYIYXI ?)/()()()。(kjkikjikikjikji zypzxpzyxpzxpzyxpzyxI ??對該式在三維空間 XYZ 上求概率加權(quán)平均值，就得到 平均條件互信息 ? ? ? ? ??i kjikjij kzyxIzyxpZYXI )()(?？梢姡瑢γ恳环N信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。因此，對于每一個固定信道，一定存在一種信源（一種分布） p(xi)， 使輸出端獲得的信息量最大。( YHXYI ?(4)凸函數(shù)性 : )()()(l og)()。 ) ( 。 (3) )()()()()( )(l og)()。 （ 1） ? ?? ?? ?? ?? ?? ???? nimj jijinimj ijinimj ijiji yxpyxpxpyxpxpyxpyxpYXI1 11 11 1 )|(1l og)()(1l og)()()|(l og)()。 YX號是 ， （ 2） 若干擾很大 ， Y基本上與 X無關(guān)，或說 X與 Y相互獨立， 那時就收不到任何關(guān)于 X的信息 。 統(tǒng)計獨立時 X Y 0)。 平均互信息量定義 定義 ? ?? ? ?? ??i i j ijijijjiji xpyxpyxpyxIyxpYXI)()|(l o g)()。 這種測度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。 平均互信息量 前面我們給出了互信息的定義，并 已 清楚互信息量 )。 各種熵之間的關(guān)系 由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式 ? ? ? ? ? ? ? ?YXHYHXYHXHXYH |)(| ????X Y當(dāng) ， 統(tǒng)計獨立時，有 ? ? ? ? )( YHXHXYH ??還可以推出 )|()()|()( XYHYHYXHXH ???共熵與信息熵的關(guān)系 )()()( YHXHXYH ??條件熵與信息熵之間的關(guān)系 )()|( YHXYH ? )()|( XHYXH ?或 離散集的平均互信息量 在前面的章節(jié)中，主要討論的是單符號信源的情況，這是最簡單的離散信源。, .. . .,( 2121 nnW pppH= ?????? ????rrwrrwrrw r1l og1...1l og11l og121rrwrrwrrw r l o g. . .l o gl o g 21 ???rr r lo g. . .21 ??????? ???= = （ 4）等重性： 若信源中每個符號的權(quán)重系數(shù)相等， nWWW ??? .....21)()( XWHXH W ?即 則 （ 5）確定性 WH ? ?nr ppp . . . ,。例如，在兩個人博弈的場合，雙方不僅要考慮各種不同博弈方案出現(xiàn)的概率，更要注意這些方案給自己帶來的厲害得失。 加權(quán)熵 加權(quán)熵的定義 香濃定義信息量和熵并沒有考慮人的主觀因素，只是信息系統(tǒng)概率的函數(shù)，是“客觀信息”。有時稱H(X/Y)為信道疑義度，也稱損失熵。 當(dāng) ， 信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對應(yīng)的關(guān)系， 中的某個元素 jy后，關(guān)于發(fā)送的符 中的某個元素 ix不再存在疑義度（不 信宿收到 X 號是否為 Y 確定性）。()1()(]39。X 的差別知識多了一個概率接近 于零的事件，其他的概率分布相同，則這兩個信源 的熵值相同。 信息熵的性質(zhì)： 非負性 : ),. . .,(), . . . ,(l i m 212110 qqqq pppHpppH ???? ???信息熵的非負性即為 0)( ?XH對稱性 : 當(dāng)信源含有 n 個離散消息時，信源熵 )(l og)()(1????niii xpxpXH，其中 ). . . . ,2,1(1)(0 nixp i ??? ， 1)(1???niixp熵的對稱性是指 )() ,. . . ,(),(2 ni xpxpxp的順序任意互換時，只是求和順序不同，熵的值不變。 )( 1xnp)( 2xnp隨機摸取 n 次 后總共所獲得的信息量為 )()()()( 2211 xIxnpxIxnp ?而平均隨機摸取一次所獲得的信息量則為 )(l og)()]()()()([)]()()()([1)( 2122112211 ii ixpxpxIxpxIxpxIxnpxIxnpnXH ????????? 熵是從整個集合的統(tǒng)計特性來考慮的，它是從平均意義上來表征集合的總體特征的。 【 例 】 一個布袋內(nèi)放 100個球，其中 80個球是紅色的， 20個球是白色的，若隨機摸取一個球，猜測其顏色，求平均摸取一次所能獲得的自信息量。 （熵） 信息函數(shù) )( ixI 只能表示信源發(fā)某一特定的具體符號 ix所提供的信息量，不同的符號，有不同的自信息量，所以它不足以作為整個信源的總體信息測度。yjzk),等于事件 yj出現(xiàn)后所提供的有關(guān) xi的信息量 I（ xi。( kjikikji zyxIzxIzyxI ??)/。yj) 條件互信息量 定義 三維 XYZ聯(lián)合集中，在給定條件 zk的情況下， xi與 yj之間的互信息量的定義為 另外，聯(lián)合集合 XYZ中還存在 xi與 yjzk之間的互信息量，其定義式 )|()|(l og)()|(l og)|()|()()|(l og)()|(l og)。yj)=I(yj。在三維 XYZ)()|(lo g)。(21212 b i tapbapbaI ???)(18141l o g)()|(l o g)。當(dāng)收到 1b后，各種天氣發(fā)生的概 率變成后驗概率了。( ji yxI)()(lo gijixpyxp互信息 有多重表達式 )()()()(l o g)。 定義 聯(lián)合集 XY中， 在 事件 yj出現(xiàn)的條件下 ，隨機事件 事件 xi 發(fā)生 的條件下 概率為 )|( ji yxp則它的條件自信息量定義為條件概率對數(shù)的負值： ， )|(l o g)|( jiji yxpyxI ??例 :設(shè)在一正方形棋盤上共有 64個方格，行、列各 8個。 )( ixI2l o g21l o g)(6l o g61l o g)(3l o g
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1