信息論與編碼第二章-全文預(yù)覽
【正文】 意義或者有效用的時(shí)間是不可能的，這時(shí)的香濃熵為 0，但其提供的加權(quán)熵等于 0。 數(shù) 定義 離散無(wú)記憶信源 ? ?WPX 的加權(quán)熵定義為 )1lo g ()(1 iniiiW ppWXH ???加權(quán)熵的基本性質(zhì) （ 1）非負(fù)性： 因?yàn)? 10 ??ip iW ? )2,1( ni ?? 0 所以 0lo gw ?iii pp則有 0)1l o g ()(1?? ?? iniiiW ppWXH（ 2）對(duì)稱(chēng)性： 有加法交換律率 ??????????WPX=??????????543215432154321wwpppppaaaaa = ??????????WPY = ??????????153241532454321bwwpppppbbbb則有 而 即有 （ 3）均勻性 ), .. . .,。在許多場(chǎng)合，通常很難忽略與個(gè)人目的有關(guān)的主觀因素。 聯(lián)合熵 )(l o g)()()()( 21 11 1jinimjjijinimjji yxpyxpyxIyxpXYH ? ?? ?? ?? ????聯(lián)合熵也叫共熵。這是傳輸失真所造成的。 即 ? ? ? ???? i j jii j jijiji yxpyxpyxIyxpYXH )|(l o g)()|()()|(說(shuō)明： 當(dāng) X,Y 統(tǒng)計(jì)獨(dú)立時(shí)，有 )()()(jiji ypxpyxp ?)()|( iji xpyxp ?則 ? ? ? ?XHxpxpxpxpypYXH iiiij iij ????? ?? ? )(l o g)()(l o g)()(|當(dāng) ? ? 0| ?YXH ， 信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對(duì)應(yīng)的關(guān)系， 中的某個(gè)元素 jy 后，關(guān)于發(fā)送的符 中的某個(gè)元素 ix不再存在疑義度（不 信宿收到 Y 號(hào)是否為 X 確定性）。 最大熵定理： 上凸性： 在離散的情況下，集合 X中的各事件等概率發(fā)生時(shí)，熵達(dá)到最大值，即 nnnnHPPPH n l o g)1,...,1,1(), . .. ,( 21 ??),. .. . ,( 21 npppH 是概率分布 ),.. . . ,( 21 nppp的嚴(yán)格上凸函數(shù)，即 )39。X 中有 1?n個(gè)事件，信源 和 X 39。 信源熵 H（ X）反映了變數(shù)的隨機(jī)性 。試驗(yàn)結(jié)果是，當(dāng)被告知摸出的是紅球，則獲得的信息量是 o g)(l o g)( 11 ???? xpxI當(dāng)被告知摸出的是白球，則獲得的信息量是 g)(lo g)( 11 ???? xpxI如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取，那么如此摸取 次， n 紅球出現(xiàn)的次數(shù)為 次， 白 球出現(xiàn)的次數(shù)為 次。 集 中事件出現(xiàn)的平均不 確定性， 中出現(xiàn)一個(gè)事 平均自信息量的單位： 對(duì)數(shù)底是 2，信息量的單位為比特（ bit）； 若取自然對(duì)數(shù) 底 ，則信息量的單位為奈特（ nat）； 若以 10為對(duì)數(shù)底，則信息量的單位為哈特（ hat）。 信息熵 顯然，用一個(gè)隨機(jī)性的量來(lái)度量信源的信息是不方便的。( jkijikji yzxIyxIzyxI ??或?qū)⑸鲜竭M(jìn)一步表示為 思考下式的證明 上式表明一對(duì)事件 yjzk出現(xiàn)后提供有關(guān) xi的信息量 I（ xi。()。( jkjkjk yxIyIxIyxI ???I(xk) I(yj) I(xk 。(jkiji yzxIyxI ??互信息量的性質(zhì) （ 1）互信息量的互易性，即 I(xi。( ji yxI)()(lo gijixpyxp= )|()()|(l o g)(l o g1 jiiji yxIxIbxpxp ????將事件互信息的概念推廣至多維空間。(11111 b i tapbapbaI ???)(14121l o g)()|(l o g)?！卑堰@句話作為收到的消息 1b。如 下 圖所示， 定義 對(duì)兩個(gè)離散隨機(jī)事件集 X和 Y，事件 yj的出現(xiàn)能提供出關(guān)于事件 xi的信息量，定義為互信息量，即 ?)。 二維聯(lián)合集 XY ， X Y當(dāng) 和 相互獨(dú)立時(shí)，有 )()()( jiji ypxpyxp ?則聯(lián)合自信息量為 )()()l o g ()(l o g)()(l o g)(l o g)( jijijijiji yIxIpxpypxpyxpyxI ????????? 條件自信息量 乙住的樓房有 5個(gè)單元，每個(gè)單元住有 12戶(hù)，甲要到該住宅區(qū)找他的朋友乙，若甲知道乙住在第 5單元， jy ix即看做為已知 條件，他要找到乙，記為事件 那 么甲找到乙得到多少信息可以用條件自信息量度量。 【 例 】 某地二月份天氣的概率分布統(tǒng)計(jì)如下： ???????????????????81814121)(4321 （雪）（雨）（陰）（晴） aaaaXPX 問(wèn)發(fā)生晴天的自信息量是多少？ 21)(1 ?apb i tapaI 1)(lo g)( 121 ???解：發(fā)生晴天的概率為 ，則晴天的自信息量為 ???????????????)(. .. .. .)()(. .. .. .)( 2121nnapapapaaaXPX)( iap【 例 】 設(shè)在甲袋中放入 n個(gè)不同阻值的電阻，如果隨機(jī)地取出一個(gè)，并對(duì)取出的電阻值進(jìn)行事先猜測(cè)，其猜測(cè)的困難程度相當(dāng)于概率空間的不確定性，概率空間為 式中 表示取出電阻值為 i的電阻的概率，那么被 告知“取出的阻值為 i的電阻”所獲得的信息量為多少？ 解： 由于甲袋里的各阻值的電阻為等概分布，則 napaI nii 2122 l o gl o g)(l o g)( ?????【例 】 若盒中有 6個(gè)電阻，阻值為 1Ω 、 2Ω 、 3Ω的分別為 2個(gè)、 1個(gè)、 3個(gè)，將從盒子中取出阻值為 iΩ的 ),3,2,1( ?ix i },{ 321 xxxX ?電阻記為事件 組成事件集 ，其概率分布 ???????????????????216131)(321 xx
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1