信息論與編碼第二章-文庫(kù)吧資料
2025-05-13 22:26本頁(yè)面
【正文】 （不 信宿收到 Y 號(hào)是否為 X 確定性）。)1([ PHPHPPH ???? ?????條件熵 從通信角度來(lái)看，若將 },{21 ?? ixxxX ? 視為信源 },{ 21 ?? jyyyY ? 視為信宿接收符號(hào)， )( ji yxI 可看作信宿收到 jy 后，關(guān)于發(fā)送的符號(hào)是否為 ix仍然存在的疑義度（不確定性），那信宿收到 Y后 ，信源 X仍然存在不確定度，就用條件熵度量。 最大熵定理： 上凸性： 在離散的情況下，集合 X中的各事件等概率發(fā)生時(shí)，熵達(dá)到最大值，即 nnnnHPPPH n l o g)1,...,1,1(), . .. ,( 21 ??),. .. . ,( 21 npppH 是概率分布 ),.. . . ,( 21 nppp的嚴(yán)格上凸函數(shù)，即 )39。即 ), . . . . . ,(), . . . . . ,(l i m 212110 nnnn pppHpppH ???? ???，它對(duì)其他概率分布 極值性： 可加性：設(shè)有兩個(gè)信源 X和 Y,它們不是相互獨(dú)立的，則二維隨機(jī)變量 （ X,Y)的熵等于 X的無(wú)條件熵加上當(dāng) X已給定時(shí) Y的條件概率定義的熵統(tǒng)計(jì)平均值，即 )|()()( XYHXHXYH ??對(duì)任意兩個(gè)消息數(shù)相同的信源 X、 Y，有 )(l og)()]() ,.. .,(),([121 iniin ypxpxpxpxpH ????其中 1)()(11?? ????niinii ypxp。X 中有 1?n個(gè)事件，信源 和 X 39。 例如，有三個(gè)不同信源的信源空間分別為： ?????????????????216131321 xxxPX?????????????????312161321 yyyPY?????????????????612131321 zzzPZ由于這三個(gè)信源的概率空間的總體結(jié)構(gòu)相同，他們的信息熵相等，即有 ）， 216131(H ），612131(H 4 5 9 312161( ?），H= = 比特 /信源符號(hào) 確定性 若信源 X 的概率空間中只要有一個(gè) )( ixp 等于 1時(shí)， 其它所有概率分量均等于零，則信源 X 的信息熵一 定等于 0。 信源熵 H（ X）反映了變數(shù)的隨機(jī)性 。 – 熵表示事件集合中事件發(fā)生后，每個(gè)事件提供的平均信息量； – 熵表示事件發(fā)生前，集合的平均不確定性； 【 例 】 （ 1）信源一： ?????????????)(1011 xxXpX H(X1) = log － log = （比特 /符號(hào)） （ 2）信源二： ?????????????)(1022 xxXpX H(X2) = log log = 1（比特 /符號(hào)） （ 3）信源三 : ?????????????)(321033 xxxxXpX H(X3) = 4 log = log4 = 2（比特 /符號(hào)） （ 4）信源四 ： ?????????????10)(1044 xxXpXH(X4) = 0 log 0 –1 log 1 = 0 計(jì)算結(jié)果說(shuō)明確定事件的熵為零 以上四個(gè)信源熵的大小關(guān)系正好是： )()()()( 4123 XHXHXHXH ???總括起來(lái)，信源熵有三種物理意義： 信源熵 H（ X）表示信源輸出后，每個(gè)離散消息所提供的平均信息量。試驗(yàn)結(jié)果是，當(dāng)被告知摸出的是紅球，則獲得的信息量是 o g)(l o g)( 11 ???? xpxI當(dāng)被告知摸出的是白球，則獲得的信息量是 g)(lo g)( 11 ???? xpxI如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取，那么如此摸取 次， n 紅球出現(xiàn)的次數(shù)為 次， 白 球出現(xiàn)的次數(shù)為 次。 分析：這一隨機(jī)事件的概率空間為 ???????????????)(21 xxXPX式中， 1x表示摸出的球?yàn)榧t球事件， 2x表示摸出的球是白球事件。 集 中事件出現(xiàn)的平均不 確定性， 中出現(xiàn)一個(gè)事 平均自信息量的單位： 對(duì)數(shù)底是 2，信息量的單位為比特（ bit）； 若取自然對(duì)數(shù) 底 ，則信息量的單位為奈特（ nat）； 若以 10為對(duì)數(shù)底，則信息量的單位為哈特（ hat）。 定義 在 X 集上，隨機(jī)變量 的數(shù)學(xué)期望定義 為平均自信息量 )( ixI)(l o g)()](l o g[)]([)(1iqiiii xpxpxpExIEXH ???????X XX XXX集 的平均自信息又稱為集 的信息熵，簡(jiǎn)稱為熵。 信息熵 顯然，用一個(gè)隨機(jī)性的量來(lái)度量信源的信息是不方便的。yj)加上在給定時(shí)間 yj的條件下再出現(xiàn)事件 zk所提供的有關(guān) xi的信息量。( jkijikji yzxIyxIzyxI ??或?qū)⑸鲜竭M(jìn)一步表示為 思考下式的證明 上式表明一對(duì)事件 yjzk出現(xiàn)后提供有關(guān) xi的信息量 I（ xi。()。()。(jikjiijijijiikjiikjikji yxpzyxpxpyxpyxpyxpxpzyxpxpzyxpzyxI ?????)/。( jkjkjk yxIyIxIyxI ???I(xk) I(yj) I(xk 。xi) （ 2）當(dāng) X和 Y相互獨(dú)立時(shí)，互信息為 0 （ 3） 互信息量可為正值或負(fù)值 （ 4） 任何兩個(gè)事件之間的互信息量不可能大于之中任一事件的自信息量 ?????)()()。(jkiji yzxIyxI ??互信息量的性質(zhì) （ 1）互信息量的互易性，即 I(xi。(ikjikji xpzyxpzyxI ?)()/()/()|(logijijikjixpyxpyxpzyxp ??)|()|(log)()/(logjikjiijiyxpzyxpxpyxp ?? )|。( ji yxI)()(lo gijixpyxp= )|()()|(l o g)(l o
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1