信息論與編碼第二章(文件)
【正文】 )()()()( 4123 XHXHXHXH ???總括起來，信源熵有三種物理意義： 信源熵 H（ X）表示信源輸出后，每個(gè)離散消息所提供的平均信息量。 例如，有三個(gè)不同信源的信源空間分別為： ?????????????????216131321 xxxPX?????????????????312161321 yyyPY?????????????????612131321 zzzPZ由于這三個(gè)信源的概率空間的總體結(jié)構(gòu)相同，他們的信息熵相等，即有 ）， 216131(H ），612131(H 4 5 9 312161( ?），H= = 比特 /信源符號(hào) 確定性 若信源 X 的概率空間中只要有一個(gè) )( ixp 等于 1時(shí)， 其它所有概率分量均等于零，則信源 X 的信息熵一 定等于 0。即 ), . . . . . ,(), . . . . . ,(l i m 212110 nnnn pppHpppH ???? ???，它對(duì)其他概率分布 極值性： 可加性：設(shè)有兩個(gè)信源 X和 Y,它們不是相互獨(dú)立的，則二維隨機(jī)變量 （ X,Y)的熵等于 X的無條件熵加上當(dāng) X已給定時(shí) Y的條件概率定義的熵統(tǒng)計(jì)平均值，即 )|()()( XYHXHXYH ??對(duì)任意兩個(gè)消息數(shù)相同的信源 X、 Y，有 )(l og)()]() ,.. .,(),([121 iniin ypxpxpxpxpH ????其中 1)()(11?? ????niinii ypxp。)1([ PHPHPPH ???? ?????條件熵 從通信角度來看，若將 },{21 ?? ixxxX ? 視為信源 },{ 21 ?? jyyyY ? 視為信宿接收符號(hào)， )( ji yxI 可看作信宿收到 jy 后，關(guān)于發(fā)送的符號(hào)是否為 ix仍然存在的疑義度（不確定性），那信宿收到 Y后 ，信源 X仍然存在不確定度，就用條件熵度量。 0)|( ?XYH 下面的推導(dǎo)可以說明條件熵時(shí)要用聯(lián)合概率加權(quán)的理由。稱條件熵 H(Y/X)為噪聲熵。在實(shí)際中，各種事件雖然已一定的概率發(fā)生，但各種事件的發(fā)生對(duì)不同的人有不同的意義。在信息論發(fā)展到基本成熟的今天，出于實(shí)際的需要，與信源符號(hào)的概率因素統(tǒng)籌考慮，構(gòu)建一個(gè)兼顧主觀和客觀兩大因素的綜合度量函數(shù)，“加權(quán)熵”就是在這種背景下的一種探索。,. . . , ,2121= }0l o g0l o g00l o g00l o g00l o g0{121 rjj ww ??????? ?= 0 加權(quán)熵的確定性表明，不論信源符號(hào)對(duì)收信者有多么重要，只要是確定信源，不含任何不確定性，他就不可能給收信者提供任何信息量。實(shí)際信源輸出的消息往往是時(shí)間或空間上的一系列符號(hào)，如電報(bào)系統(tǒng)發(fā)出的是一串有無脈沖的信號(hào)，可分別用“ 0”和“ 1”兩個(gè)數(shù)字來表示。( ji yxI 是定量地研究信息流通問題的重要基礎(chǔ)。同時(shí)，作為一個(gè)測(cè)度，他不能是隨機(jī)量，而是一個(gè)確定的量。()(。( ?ji yxI，從而 ? ? 0。 （ 3） 若沒有干擾， Y是 X的確知一一對(duì)應(yīng)函數(shù)，那就 能完全收到 X的信息 H(X)。()|()( YXHXH ??說明： 信道上的干擾和噪聲所造成的情況為 —— 收到隨機(jī)變量 Y后，對(duì)隨機(jī)變量 X仍然存在的 平均不確定度 H(X|Y)。(1 1XYHYHXHypxp yxpyxpYXIjijijnimji ???? ? ?? ? 其中聯(lián)合熵 H(XY)表示輸入隨機(jī)變量 X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量 Y，即收、發(fā)雙通信后，整個(gè)系統(tǒng)仍然存在的不確定度。 )I X Y I Y X?(2)非負(fù)性 : ( 。(jijii jji ypxpyxpyxpYXI ? ???? ??iiijiji jiij xpxypxypxpxyp)()()(l o g)()(定理 當(dāng)信道給定，即信道轉(zhuǎn)移概率 )|( ij xyp 固定， )。 定理 當(dāng)信源給定，即信源分布概率 )( ixp均互信息量 )。 平均條件互信息量 I(X。? ? ??i kjkikjikjij k zypzxpzyxpzyxp)()()(l o g)(式中 )(kji zyxp滿足 ? ? ? ?i kjij k zyxp 1)( 名稱 符號(hào) 關(guān) 系 圖 示 無 條 件 熵 條 件 熵 條 件 熵 聯(lián) 合 熵 交 互 熵 )/()()()。()/()/()(YXHXYHYHYXIXYHXYHYH?????)。()()()/()()/()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH??????????)()()()/()/()()/()()/()()。()()()()/(YXIYHXHXYHXYH????)。()。 )()()(l o g)()(l o g)。 定理 ，信源固定以后，用不同的信道來傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的。 平均互信息量 定理 ，信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。( XHYXI ?)()。 平均互信息的性質(zhì) (1)對(duì)稱性： ( 。由于又代表了在信道中的損失的信息，也稱它為 損失熵 。下面從三種不同角度具體闡述平均互信息量的含義。( YXI 就是在接收端收到 后所能獲得的 關(guān)于 的信息。( YXI 是 對(duì) 的平均互信息量，簡(jiǎn)稱平均互信，也 Y X稱交互熵。(ji yxI )(XYP中的統(tǒng)計(jì)平均值。(ji yxI ixjy和 的變化而變化的隨機(jī)量，可見， 互信息量還不能從整體上作為信道中信息流通的測(cè)度。 以下將研究多個(gè)符號(hào)情況下的平均符號(hào)熵的問題。, . . . , 1,21121 ??= = = jJj jiiiIi i ppwppw lo glo g ?? ?? ??jJj jIi i ppw lo g00lo g0 ?? ?? ??jJjIi plo g00lo g0 ?? ?? ??= 0 這一性質(zhì)說明可能的事件是無意義或者是無效用的，而有
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1