信息論與編碼第二章-文庫吧
2025-04-22 22:26 本頁面
【正文】 容易證明，自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系如下： )|()()|()(l o g)( ijiijiji xyIxIxypxpyxI ????)|()()|()(l o g)( jijjijji yxIyIyxpypyxI ????或 互信息量 眾所周知，在教學過程中，老師在上課前準備教授的知識為一個集合 },{21 ixxxX ??， 課后學生 掌握 老師所教的內(nèi)容為一個集合 },{21 jyyyY ??老師在課堂中采用不同的教學方法，會使學生掌握的內(nèi)容不同。這一過程可以從一次通信過程模型表示。如 下 圖所示， 定義 對兩個離散隨機事件集 X和 Y，事件 yj的出現(xiàn)能提供出關(guān)于事件 xi的信息量，定義為互信息量，即 ?)。( ji yxI)()(lo gijixpyxp互信息 有多重表達式 )()()()(l o g)。( ijjjijji xyIyIypxypyxI ???)()()()()()(l og)。( jijijijiji yxIyIxIypxpyxpyxI ????【 例 】 某地二月份天氣的概率分布統(tǒng)計如下： ???????????????????81814121)(4321 （雪）（雨）（陰）（晴） aaaaXPX某一天有人告訴你：“今天不是晴天?！卑堰@句話作為收到的消息 1b。當收到 1b后，各種天氣發(fā)生的概 率變成后驗概率了。 其中 0)|( 11 ?bap 21)|( 12 ?bap 41)|(13 ?bap 41)|(14 ?bap 試計算 1b與 各種天氣之間的互信息量。 解： )(0410l o g)()|(l o g)。(11111 b i tapbapbaI ???)(14121l o g)()|(l o g)。(21212 b i tapbapbaI ???)(18141l o g)()|(l o g)。(31313 b i tapbapbaI ???)(18141l o g)()|(l o g)。(41414 b i tapbapbaI ??? 互信息量與條件自信息區(qū)別 ： ?)。( ji yxI)()(lo gijixpyxp= )|()()|(l o g)(l o g1 jiiji yxIxIbxpxp ????將事件互信息的概念推廣至多維空間。在三維 XYZ)()|(lo g)。(ikjikji xpzyxpzyxI ?)()/()/()|(logijijikjixpyxpyxpzyxp ??)|()|(log)()/(logjikjiijiyxpzyxpxpyxp ?? )|。()。(jkiji yzxIyxI ??互信息量的性質(zhì) （ 1）互信息量的互易性，即 I(xi。yj)=I(yj。xi) （ 2）當 X和 Y相互獨立時，互信息為 0 （ 3） 互信息量可為正值或負值 （ 4） 任何兩個事件之間的互信息量不可能大于之中任一事件的自信息量 ?????)()()。(jiji yIxIyxI自信息、條件自信息和互信息 )()()()。( jkjkjk yxIyIxIyxI ???I(xk) I(yj) I(xk 。yj) 條件互信息量 定義 三維 XYZ聯(lián)合集中，在給定條件 zk的情況下， xi與 yj之間的互信息量的定義為 另外，聯(lián)合集合 XYZ中還存在 xi與 yjzk之間的互信息量，其定義式 )|()|(l og)()|(l og)|()|()()|(l og)()|(l og)。(jikjiijijijiikjiikjikji yxpzyxpxpyxpyxpyxpxpzyxpxpzyxpzyxI ?????)/。()。()。( kjikikji zyxIzxIzyxI ??)/。()。()。( jkijikji yzxIyxIzyxI ??或?qū)⑸鲜竭M一步表示為 思考下式的證明 上式表明一對事件 yjzk出現(xiàn)后提供有關(guān) xi的信息量 I（ xi。yjzk),等于事件 yj出現(xiàn)后所提供的有關(guān) xi的信息量 I（ xi。yj)加上在給定時間 yj的條件下再出現(xiàn)事件 zk所提供的有關(guān) xi的信息量。 學校統(tǒng)計某個年級某個班級的數(shù)學期末成績，那這個班級可以作為整體信源，而班級里的每個學生的數(shù)學成績就是一個隨機事件，學生個人的成績好壞只代表自己，不能說明他的班級數(shù)學成績。 信息熵 顯然，用一個隨機性的量來度量信源的信息是不方便的。 （熵） 信息函數(shù) )( ixI 只能表示信源發(fā)某一特定的具體符號 ix所提供的信息量，不同的符號，有不同的自信息量，所以它不足以作為整個信源的總體信息測度。 定義 在 X 集上，隨機變量 的數(shù)學期望定義 為平均自信息量 )( ixI)(l o g)()](l o g[)]([)(1iqiiii xpxpxpExIEXH ???????X XX XXX集 的平均自信息又稱為集 的信息熵，簡稱為熵。 的平均自信息量表示集 即為了在觀測之前，確定集 件平均所需的信息量；或者說，在觀測之后，集 中每出現(xiàn)一個事件平均給出的信息量。 集 中事件出現(xiàn)的平均不 確定性， 中出現(xiàn)一個事 平均自信息量的單位： 對數(shù)底是 2，信息量的單位為比特（ bit）； 若取自然對數(shù) 底 ，則信息量的單位為奈特（ nat）； 若以 10為對數(shù)底，則信息量的單位為哈特（ hat）。 【 例 】 一個布袋內(nèi)放 100個球，其中 80個球是紅色的， 20個球是白色的，若隨機摸取一個球，猜測其顏色，求平均摸取一次所能獲得的自信息量。 分析：這一隨機事件的概率空間為 ???????????????)(21 xxXPX式中， 1x表示摸出的球為紅球事件， 2x表示摸出的球是白球事件。 這是一個隨機事件試驗。試驗結(jié)果是，當被告知摸出的是紅球，則獲得的信息量是 o g)(l o g)( 11 ???? xpxI當被告知摸出的是白球，則獲得的信息量是 g)(lo g)( 11 ?
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1