信息論與編碼第二章(完整版)
【正文】 i yx的自信息為 ： b i tyxpyxI jiji 6641l o g)(l o g)( ?????（ 2） 在二維聯(lián)合集 XY 上 ， 元素 相對(duì) 的條件自信息 為 ： ix jyb i typyxpyxpyxIjjijiji 381641l o g)()(l o g)|(l o g)|( ??????? 容易證明，自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系如下： )|()()|()(l o g)( ijiijiji xyIxIxypxpyxI ????)|()()|()(l o g)( jijjijji yxIyIyxpypyxI ????或 互信息量 眾所周知，在教學(xué)過程中，老師在上課前準(zhǔn)備教授的知識(shí)為一個(gè)集合 },{21 ixxxX ??， 課后學(xué)生 掌握 老師所教的內(nèi)容為一個(gè)集合 },{21 jyyyY ??老師在課堂中采用不同的教學(xué)方法，會(huì)使學(xué)生掌握的內(nèi)容不同。 其中 0)|( 11 ?bap 21)|( 12 ?bap 41)|(13 ?bap 41)|(14 ?bap 試計(jì)算 1b與 各種天氣之間的互信息量。(ikjikji xpzyxpzyxI ?)()/()/()|(logijijikjixpyxpyxpzyxp ??)|()|(log)()/(logjikjiijiyxpzyxpxpyxp ?? )|。(jikjiijijijiikjiikjikji yxpzyxpxpyxpyxpyxpxpzyxpxpzyxpzyxI ?????)/。yj)加上在給定時(shí)間 yj的條件下再出現(xiàn)事件 zk所提供的有關(guān) xi的信息量。 分析：這一隨機(jī)事件的概率空間為 ???????????????)(21 xxXPX式中， 1x表示摸出的球?yàn)榧t球事件， 2x表示摸出的球是白球事件。 例如，有三個(gè)不同信源的信源空間分別為： ?????????????????216131321 xxxPX?????????????????312161321 yyyPY?????????????????612131321 zzzPZ由于這三個(gè)信源的概率空間的總體結(jié)構(gòu)相同，他們的信息熵相等，即有 ）， 216131(H ），612131(H 4 5 9 312161( ?），H= = 比特 /信源符號(hào) 確定性 若信源 X 的概率空間中只要有一個(gè) )( ixp 等于 1時(shí)， 其它所有概率分量均等于零，則信源 X 的信息熵一 定等于 0。)1([ PHPHPPH ???? ?????條件熵 從通信角度來看，若將 },{21 ?? ixxxX ? 視為信源 },{ 21 ?? jyyyY ? 視為信宿接收符號(hào)， )( ji yxI 可看作信宿收到 jy 后，關(guān)于發(fā)送的符號(hào)是否為 ix仍然存在的疑義度（不確定性），那信宿收到 Y后 ，信源 X仍然存在不確定度，就用條件熵度量。稱條件熵 H(Y/X)為噪聲熵。在信息論發(fā)展到基本成熟的今天，出于實(shí)際的需要，與信源符號(hào)的概率因素統(tǒng)籌考慮，構(gòu)建一個(gè)兼顧主觀和客觀兩大因素的綜合度量函數(shù)，“加權(quán)熵”就是在這種背景下的一種探索。實(shí)際信源輸出的消息往往是時(shí)間或空間上的一系列符號(hào)，如電報(bào)系統(tǒng)發(fā)出的是一串有無脈沖的信號(hào)，可分別用“ 0”和“ 1”兩個(gè)數(shù)字來表示。同時(shí)，作為一個(gè)測(cè)度，他不能是隨機(jī)量，而是一個(gè)確定的量。( ?ji yxI，從而 ? ? 0。()|()( YXHXH ??說明： 信道上的干擾和噪聲所造成的情況為 —— 收到隨機(jī)變量 Y后，對(duì)隨機(jī)變量 X仍然存在的 平均不確定度 H(X|Y)。 )I X Y I Y X?(2)非負(fù)性 : ( 。 定理 當(dāng)信源給定，即信源分布概率 )( ixp均互信息量 )。? ? ??i kjkikjikjij k zypzxpzyxpzyxp)()()(l o g)(式中 )(kji zyxp滿足 ? ? ? ?i kjij k zyxp 1)( 名稱 符號(hào) 關(guān) 系 圖 示 無 條 件 熵 條 件 熵 條 件 熵 聯(lián) 合 熵 交 互 熵 )/()()()。()()()/()()/()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH??????????)()()()/()/()()/()()/()()。()。 定理 ，信源固定以后，用不同的信道來傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的。( XHYXI ?)()。由于又代表了在信道中的損失的信息，也稱它為 損失熵 。( YXI 就是在接收端收到 后所能獲得的 關(guān)于 的信息。(ji yxI )(XYP中的統(tǒng)計(jì)平均值。 以下將研究多個(gè)符號(hào)情況下的平均符號(hào)熵的問題。 數(shù) 定義 離散無記憶信源 ? ?WPX 的加權(quán)熵定義為 )1lo g ()(1 iniiiW ppWXH ???加權(quán)熵的基本性質(zhì) （ 1）非負(fù)性： 因?yàn)? 10 ??ip iW ? )2,1( ni ?? 0 所以 0lo gw ?iii pp則有 0)1l o g ()(1?? ?? iniiiW ppWXH（ 2）對(duì)稱性： 有加法交換律率 ??????????WPX=??????????543215432154321wwpppppaaaaa = ??????????WPY = ??????????153241532454321bwwpppppbbbb則有 而 即有 （ 3）均勻性 ), .. . .,。 聯(lián)合熵 )(l o g)()()()( 21 11 1jin
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1