信息論與編碼第二章-wenkub
2023-05-22 22:26:36 本頁面
【正文】 31l o g)(321?????????xIxIxI 計算如下： 解：自信息量 ?自信息量 I(xi) 的含義 當事件 xi 發(fā)生以前，表示事件 xi發(fā)生的不確定性 ； 當事件 xi 發(fā)生以后，表示事件 xi所提供的信息量 。 ia )( iap設(shè)事件 的概率為 那么，它的自信息量定義為 自信息量的單位 自信息量的單位取決于對數(shù)的底； 底為 2，單位為“比特（ bit） ” ； 底為 e， 單位為“奈特（ nat） ”。現(xiàn)又有人隨機抽取一個球，發(fā)現(xiàn)時紅球，針對這次抽取的事件當中有具有多少信息呢？ 定義 任意隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值。 通過上面兩個實例可以得知，在甲袋抽出紅色球的不確定性要比乙袋抽紅色球的不確定性小。 底為 10，單位為“哈特（ hat） ” ； 說明： b i th a tb i ten a t3 2 o g14 3 o g122????h a tb i tn a tb i t3 0 6 9 ???三個自信息量單位之間的轉(zhuǎn)換 ?I(ai)是非負值； ?當 P(ai) =1時， I(ai)=0； ?當 P(ai) =0時， I(ai)= ∞ ； ?I(ai)是 P(ai) 的單調(diào)遞減函數(shù) ?自信息量的性質(zhì) 注： I－－ 自信息 解釋 ： 小概率事件，一當出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量就大；幾乎不可能事件一旦出現(xiàn)，將是一條爆炸性的新聞，一鳴驚人。 聯(lián)合自信息量 XY601)( ?ji yxp某住宅區(qū)的某棟商品房，有 5個單元，每個單元住有12戶，甲要到該住宅區(qū)找他的宅區(qū)找他的朋友乙，因為每一住戶的地址需要單元號和住戶號，因此，每一住戶的地址同時由單元號和住戶號唯一確定，甲找到乙這一事件是二維聯(lián)合集 上的等概分布 ， 他找到乙得到的信息可以用聯(lián)合自信息量表示。如甲將一粒棋子隨意放在棋盤某個方格內(nèi)讓乙猜測棋子所在的位置，則 （ 1）在乙看來，棋子落入某方格的不確定性為多少？ （ 2）若甲告知乙棋子落入方格的行號，這時，在乙看來棋子落入某方格的不確定性為多少？ 解：由于甲是將一粒棋子隨意地放在棋盤中某一方格內(nèi)，因此棋子在棋盤中所處位置為二維等概率分布，二維概率分布函數(shù)為 641)( ?ji yxp（ 1） 在二維聯(lián)合集 XY 上的元素為 ji yx的自信息為 ： b i tyxpyxI jiji 6641l o g)(l o g)( ?????（ 2） 在二維聯(lián)合集 XY 上 ， 元素 相對 的條件自信息 為 ： ix jyb i typyxpyxpyxIjjijiji 381641l o g)()(l o g)|(l o g)|( ??????? 容易證明，自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系如下： )|()()|()(l o g)( ijiijiji xyIxIxypxpyxI ????)|()()|()(l o g)( jijjijji yxIyIyxpypyxI ????或 互信息量 眾所周知，在教學過程中，老師在上課前準備教授的知識為一個集合 },{21 ixxxX ??， 課后學生 掌握 老師所教的內(nèi)容為一個集合 },{21 jyyyY ??老師在課堂中采用不同的教學方法，會使學生掌握的內(nèi)容不同。( ijjjijji xyIyIypxypyxI ???)()()()()()(l og)。 其中 0)|( 11 ?bap 21)|( 12 ?bap 41)|(13 ?bap 41)|(14 ?bap 試計算 1b與 各種天氣之間的互信息量。(31313 b i tapbapbaI ???)(18141l o g)()|(l o g)。(ikjikji xpzyxpzyxI ?)()/()/()|(logijijikjixpyxpyxpzyxp ??)|()|(log)()/(logjikjiijiyxpzyxpxpyxp ?? )|。xi) （ 2）當 X和 Y相互獨立時，互信息為 0 （ 3） 互信息量可為正值或負值 （ 4） 任何兩個事件之間的互信息量不可能大于之中任一事件的自信息量 ?????)()()。(jikjiijijijiikjiikjikji yxpzyxpxpyxpyxpyxpxpzyxpxpzyxpzyxI ?????)/。()。yj)加上在給定時間 yj的條件下再出現(xiàn)事件 zk所提供的有關(guān) xi的信息量。 定義 在 X 集上，隨機變量 的數(shù)學期望定義 為平均自信息量 )( ixI)(l o g)()](l o g[)]([)(1iqiiii xpxpxpExIEXH ???????X XX XXX集 的平均自信息又稱為集 的信息熵，簡稱為熵。 分析：這一隨機事件的概率空間為 ???????????????)(21 xxXPX式中， 1x表示摸出的球為紅球事件， 2x表示摸出的球是白球事件。 – 熵表示事件集合中事件發(fā)生后，每個事件提供的平均信息量； – 熵表示事件發(fā)生前，集合的平均不確定性； 【 例 】 （ 1）信源一： ?????????????)(1011 xxXpX H(X1) = log － log = （比特 /符號） （ 2）信源二： ?????????????)(1022 xxXpX H(X2) = log log = 1（比特 /符號） （ 3）信源三 : ?????????????)(321033 xxxxXpX H(X3) = 4 log = log4 = 2（比特 /符號） （ 4）信源四 ： ?????????????10)(1044 xxXpXH(X4) = 0 log 0 –1 log 1 = 0 計算結(jié)果說明確定事件的熵為零 以上四個信源熵的大小關(guān)系正好是：
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1