信息論與編碼第二章(已修改)
2025-05-19 22:26 本頁面
【正文】 第二章 信息的度量 ? ? ? Log(xy)=logx+logy Log(x/y)=logxlogy 中學(xué)數(shù)學(xué)知識 自信息和條件自信息量 自信息量 信息量 設(shè)甲袋中有 100個(gè)球，其中 50個(gè)是紅球， 50個(gè)是白球，現(xiàn)有人從袋子中隨機(jī)抽出一個(gè)球是紅色的，對于這次抽取的事件所攜帶的信息量是多少？又如乙袋中也有 100個(gè)球，其中有 25個(gè)紅球，25個(gè)白球， 25個(gè)藍(lán)球， 25個(gè)黑球。現(xiàn)又有人隨機(jī)抽取一個(gè)球，發(fā)現(xiàn)時(shí)紅球，針對這次抽取的事件當(dāng)中有具有多少信息呢？ 定義 任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負(fù)值。 通過上面兩個(gè)實(shí)例可以得知，在甲袋抽出紅色球的不確定性要比乙袋抽紅色球的不確定性小。不確定性越大，就越難猜到，對于狹義信息論而言，此事件的信息量就越大。 自信息量是發(fā)生的某一隨機(jī)事件所帶有信息的大小。 ia )( iap設(shè)事件 的概率為 那么，它的自信息量定義為 自信息量的單位 自信息量的單位取決于對數(shù)的底； 底為 2，單位為“比特（ bit） ” ； 底為 e， 單位為“奈特（ nat） ”。 底為 10，單位為“哈特（ hat） ” ； 說明： b i th a tb i ten a t3 2 o g14 3 o g122????h a tb i tn a tb i t3 0 6 9 ???三個(gè)自信息量單位之間的轉(zhuǎn)換 ?I(ai)是非負(fù)值； ?當(dāng) P(ai) =1時(shí)， I(ai)=0； ?當(dāng) P(ai) =0時(shí)， I(ai)= ∞ ； ?I(ai)是 P(ai) 的單調(diào)遞減函數(shù) ?自信息量的性質(zhì) 注： I－－ 自信息 解釋 ： 小概率事件，一當(dāng)出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量就大；幾乎不可能事件一旦出現(xiàn)，將是一條爆炸性的新聞，一鳴驚人。 大概率事件，是預(yù)料之中的，即使發(fā)生，也沒什么信息量，特別是當(dāng)必然事件發(fā)生了，它不會給人以任何信息量。 【 例 】 某地二月份天氣的概率分布統(tǒng)計(jì)如下： ???????????????????81814121)(4321 （雪）（雨）（陰）（晴） aaaaXPX 問發(fā)生晴天的自信息量是多少？ 21)(1 ?apb i tapaI 1)(lo g)( 121 ???解：發(fā)生晴天的概率為 ，則晴天的自信息量為 ???????????????)(. .. .. .)()(. .. .. .)( 2121nnapapapaaaXPX)( iap【 例 】 設(shè)在甲袋中放入 n個(gè)不同阻值的電阻，如果隨機(jī)地取出一個(gè)，并對取出的電阻值進(jìn)行事先猜測，其猜測的困難程度相當(dāng)于概率空間的不確定性，概率空間為 式中 表示取出電阻值為 i的電阻的概率，那么被 告知“取出的阻值為 i的電阻”所獲得的信息量為多少？ 解： 由于甲袋里的各阻值的電阻為等概分布，則 napaI nii 2122 l o gl o g)(l o g)( ?????【例 】 若盒中有 6個(gè)電阻，阻值為 1Ω 、 2Ω 、 3Ω的分別為 2個(gè)、 1個(gè)、 3個(gè)，將從盒子中取出阻值為 iΩ的 ),3,2,1( ?ix i },{ 321 xxxX ?電阻記為事件 組成事件集 ，其概率分布 ???????????????????216131)(321 xxxXPX計(jì)算出各種事件的自信息量。 )( ixI2l o g21l o g)(6l o g61l o g)(3l o g31l o g)(321?????????xIxIxI 計(jì)算如下： 解：自信息量 ?自信息量 I(xi) 的含義 當(dāng)事件 xi 發(fā)生以前，表示事件 xi發(fā)生的不確定性 ； 當(dāng)事件 xi 發(fā)生以后，表示事件 xi所提供的信息量 。 聯(lián)合自信息量 XY601)( ?ji yxp某住宅區(qū)的某棟商品房，有 5個(gè)單元，每個(gè)單元住有12戶，甲要到該住宅區(qū)找他的宅區(qū)找他的朋友乙，因?yàn)槊恳蛔舻牡刂沸枰獑卧柡妥籼?，因此，每一住戶的地址同時(shí)由單元號和住戶號唯一確定，甲找到乙這一事件是二維聯(lián)合集 上的等概分布 ， 他找到乙得到的信息可以用聯(lián)合自信息量表示。 XY ji yx)( ji yxI )( ji yxp定義 在二維聯(lián)合集 上元素 的聯(lián)合自信息量 定義為聯(lián)合概率 的對數(shù)的負(fù)數(shù)，即 )(lo g)( jiji yxpyxI ??當(dāng) X和 Y相互獨(dú)立時(shí)，聯(lián)合信息量應(yīng)等于它們各自信息量之和。 二維聯(lián)合集 XY ， X Y當(dāng) 和 相互獨(dú)立時(shí)，有 )()()( jiji ypxpyxp ?則聯(lián)合自信息量為 )()()l o g ()(l o g)()(l o g)(l o g)( jijijijiji yIxIpxpypxpyxpyxI ????????? 條件自信息量 乙住的樓房有 5個(gè)單元，每個(gè)單元住有 12戶，甲要到該住宅區(qū)找他的朋友乙，若甲知道乙住在第 5單元， jy ix即看做為已知 條件，他要找到乙，記為事件 那 么甲找到乙得到多少信息可以用條件自信息量度量。 定義 聯(lián)合集 XY中， 在 事件 yj出現(xiàn)的條件下 ，隨機(jī)事件 事件 xi 發(fā)生 的條件下 概率為 )|( ji yxp則它的條件自信息量定義為條件概率對數(shù)的負(fù)值： ， )|(l o g)|( jiji yxpyxI ??例 :設(shè)在一正方形棋盤上共有 64個(gè)方格，行、列各 8個(gè)。如甲將一粒棋子隨意放在棋盤某個(gè)方格內(nèi)讓乙猜測棋子所在的位置，則 （ 1）在乙看來，棋子落入某方格的不確定性為多少？ （ 2）若甲告知乙棋子落入方格的行號，這時(shí)，在乙看來棋子落入某方格的不確定性為多少？ 解：由于甲是將一粒棋子隨意地放在棋盤中某一方格內(nèi)，因此棋子在棋盤中所處位置為二維等概率分布，二維概率分布函數(shù)為 641)( ?ji yxp（ 1） 在二維聯(lián)合集 XY 上的元素為 ji yx的自信息為 ： b i tyxpyxI jiji 6641l o g)(l o g)( ?????（ 2） 在二維聯(lián)合集 XY 上 ， 元素 相對 的條件自信息 為 ： ix jyb i typyxpyxpyxIjjijiji 381641l o g)()(l o g)|(l o g)|( ???????
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1