信息論與編碼第二章-wenkub.com
2025-05-04 22:26 本頁(yè)面
【正文】 ()/()/()。( XYIYXI ?)/()()()。(kjkikjikikjikji zypzxpzyxpzxpzyxpzyxI ??對(duì)該式在三維空間 XYZ 上求概率加權(quán)平均值，就得到 平均條件互信息 ? ? ? ? ??i kjikjij kzyxIzyxpZYXI )()(?？梢?jiàn)，對(duì)每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。因此，對(duì)于每一個(gè)固定信道，一定存在一種信源（一種分布） p(xi)， 使輸出端獲得的信息量最大。( YHXYI ?(4)凸函數(shù)性 : )()()(l og)()。 ) ( 。 (3) )()()()()( )(l og)()。 （ 1） ? ?? ?? ?? ?? ?? ???? nimj jijinimj ijinimj ijiji yxpyxpxpyxpxpyxpyxpYXI1 11 11 1 )|(1l og)()(1l og)()()|(l og)()。 YX號(hào)是 ， （ 2） 若干擾很大 ， Y基本上與 X無(wú)關(guān)，或說(shuō) X與 Y相互獨(dú)立， 那時(shí)就收不到任何關(guān)于 X的信息 。 統(tǒng)計(jì)獨(dú)立時(shí) X Y 0)。 平均互信息量定義 定義 ? ?? ? ?? ??i i j ijijijjiji xpyxpyxpyxIyxpYXI)()|(l o g)()。 這種測(cè)度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過(guò)一個(gè)符號(hào)流經(jīng)信道的平均信息量。 平均互信息量 前面我們給出了互信息的定義，并 已 清楚互信息量 )。 各種熵之間的關(guān)系 由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式 ? ? ? ? ? ? ? ?YXHYHXYHXHXYH |)(| ????X Y當(dāng) ， 統(tǒng)計(jì)獨(dú)立時(shí)，有 ? ? ? ? )( YHXHXYH ??還可以推出 )|()()|()( XYHYHYXHXH ???共熵與信息熵的關(guān)系 )()()( YHXHXYH ??條件熵與信息熵之間的關(guān)系 )()|( YHXYH ? )()|( XHYXH ?或 離散集的平均互信息量 在前面的章節(jié)中，主要討論的是單符號(hào)信源的情況，這是最簡(jiǎn)單的離散信源。, .. . .,( 2121 nnW pppH= ?????? ????rrwrrwrrw r1l og1...1l og11l og121rrwrrwrrw r l o g. . .l o gl o g 21 ???rr r lo g. . .21 ??????? ???= = （ 4）等重性： 若信源中每個(gè)符號(hào)的權(quán)重系數(shù)相等， nWWW ??? .....21)()( XWHXH W ?即 則 （ 5）確定性 WH ? ?nr ppp . . . ,。例如，在兩個(gè)人博弈的場(chǎng)合，雙方不僅要考慮各種不同博弈方案出現(xiàn)的概率，更要注意這些方案給自己帶來(lái)的厲害得失。 加權(quán)熵 加權(quán)熵的定義 香濃定義信息量和熵并沒(méi)有考慮人的主觀因素，只是信息系統(tǒng)概率的函數(shù)，是“客觀信息”。有時(shí)稱(chēng)H(X/Y)為信道疑義度，也稱(chēng)損失熵。 當(dāng) ， 信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對(duì)應(yīng)的關(guān)系， 中的某個(gè)元素 jy后，關(guān)于發(fā)送的符 中的某個(gè)元素 ix不再存在疑義度（不 信宿收到 X 號(hào)是否為 Y 確定性）。()1()(]39。X 的差別知識(shí)多了一個(gè)概率接近 于零的事件，其他的概率分布相同，則這兩個(gè)信源 的熵值相同。 信息熵的性質(zhì)： 非負(fù)性 : ),. . .,(), . . . ,(l i m 212110 qqqq pppHpppH ???? ???信息熵的非負(fù)性即為 0)( ?XH對(duì)稱(chēng)性 : 當(dāng)信源含有 n 個(gè)離散消息時(shí)，信源熵 )(l og)()(1????niii xpxpXH，其中 ). . . . ,2,1(1)(0 nixp i ??? ， 1)(1???niixp熵的對(duì)稱(chēng)性是指 )() ,. . . ,(),(2 ni xpxpxp的順序任意互換時(shí)，只是求和順序不同，熵的值不變。 )( 1xnp)( 2xnp隨機(jī)摸取 n 次 后總共所獲得的信息量為 )()()()( 2211 xIxnpxIxnp ?而平均隨機(jī)摸取一次所獲得的信息量則為 )(l og)()]()()()([)]()()()([1)( 2122112211 ii ixpxpxIxpxIxpxIxnpxIxnpnXH ????????? 熵是從整個(gè)集合的統(tǒng)計(jì)特性來(lái)考慮的，它是從平均意義上來(lái)表征集合的總體特征的。 【 例 】 一個(gè)布袋內(nèi)放 100個(gè)球，其中 80個(gè)球是紅色的， 20個(gè)球是白色的，若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。 （熵） 信息函數(shù) )( ixI 只能表示信源發(fā)某一特定的具體符號(hào) ix所提供的信息量，不同的符號(hào)，有不同的自信息量，所以它不足以作為整個(gè)信源的總體信息測(cè)度。yjzk),等于事件 yj出現(xiàn)后所提供的有關(guān) xi的信息量 I（ xi。( kjikikji zyxIzxIzyxI ??)/。yj) 條件互信息量 定義 三維 XYZ聯(lián)合集中，在給定條件 zk的情況下， xi與 yj之間的互信息量的定義為 另外，聯(lián)合集合 XYZ中還存在 xi與 yjzk之間的互信息量，其定義式 )|()|(l og)()|(l og)|()|()()|(l og)()|(l og)。yj)=I(yj。在三維 XYZ)()|(lo g)。(21212 b i tapbapbaI ???)(18141l o g)()|(l o g)。當(dāng)收到 1b后，各種天氣發(fā)生的概 率變成后驗(yàn)概率了。( ji yxI)()(lo gijixpyxp互信息 有多重表達(dá)式 )()()()(l o g)。 定義 聯(lián)合集 XY中， 在 事件 yj出現(xiàn)的條件下 ，隨機(jī)事件 事件 xi 發(fā)生 的條件下 概率為 )|( ji yxp則它的條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值： ， )|(l o g)|( jiji yxpyxI ??例 :設(shè)在一正方形棋盤(pán)上共有 64個(gè)方格，行、列各 8個(gè)。 )( ixI2l o g21l o g)(6l o g61l o g)(3l o g
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1