信息論與編碼課件第二章-wenkub
2023-05-22 22:26:36 本頁(yè)面
【正文】 ? ? ?????????????)()()()(,2121nnxpxpxpxxxxpX單符號(hào)信源 X 符號(hào)序列信源 XN （ N次擴(kuò)展信源） ? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqxxxpxxxpxxxpxxxxxxxxxp??????xX? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqNxxxpxxxpxxxpxxxxxxxxxpX??????x或信源分類和描述 無記憶信源 有記憶信源 ),|( 21 mllll XXXXp ??? ?????NllNNNN121 )(),()( XXXX ??? ?X信息的特性 ? 事件（消息）的信息量大小與其不確定度（概率）有關(guān) ? 事件概率越小，信息量越大 ? 確定性事件的信息量為零，不可能事件的信息量為無窮大 ? 信息量具有可加性 離散信源符號(hào)的信息量 信息量定義 信息量單位 ? 對(duì)數(shù)的底 a = 2時(shí)，信息量單位為 比特 ( bit） ? 對(duì)數(shù)的底 a = e時(shí)，信息量單位為 奈特 ( nat） ? 對(duì)數(shù)的底 a = 3時(shí)，信息量單位為 鐵特 ( Tet） ? 對(duì)數(shù)的底 a = 10時(shí)，信息量單位為 哈特 ( Hart） ?? )(1l o g)( xpxI a )(lo g xpa 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 102468101214離散信源符號(hào)的信息量 P(x) I(X)=log2(p) 離散信源的信息熵 (Entropy) 信息熵定義 (信息量的 統(tǒng)計(jì)平均 或者說 數(shù)學(xué)期望 ) 信息熵單位 ? 對(duì)數(shù)的底 a = 2時(shí)，信息熵單位為 比特 /符號(hào) ( bit/符號(hào)） ? 對(duì)數(shù)的底 a = e時(shí)，信息熵單位為 奈特 /符號(hào) ( nat/符號(hào)） ? 對(duì)數(shù)的底 a = 3時(shí)，信息熵單位為 鐵特 /符號(hào) ( Tet/符號(hào)） ? 對(duì)數(shù)的底 a = 10時(shí)，信息熵單位為 哈特 /符號(hào) ( Hart/符號(hào)） ? ?)( xIEH(X) = )(lo g)( xpxpXx??= – 離散二元信源的信息熵 ? ?)1l o g ()1(l o g)( ppppXH ???????????????????ppxpX110)(離散信源信息熵的含義 ? H(X)表示信源的平均不確定度 —— 平均信息量 ? H(X)表示信源的隨機(jī)性 ? H(X)表示信源輸出每個(gè)符號(hào)所提供的平均信息量 ? H(X)表示信宿所能獲得的最大信息量 條件自信息量與條件熵 條件自信息量定義 條件熵定義 (條件自信息量的 統(tǒng)計(jì)平均 ) I ( x|y ) = log )|(1yxp= log p(x|y) = )|( yXH ? ?)|( yxIE X )|(l o g)|( yxpyxpXx???= = )|( YXH ? ?)|( yXHEY )|()( yXHypYy??= ? ?? ???Xx YyyxPxyPYXH )|(l o g)()|(聯(lián)合自信息量與聯(lián)合熵 聯(lián)合自信息量定義 聯(lián)合熵定義 (聯(lián)合自信息量的 統(tǒng)計(jì)平均 ) I ( xy ) = log )(1xyp= log p(xy) ? ?? ??Xx Yyxypxyp )(l o g)(= = )( XYH ? ?)( xyIE XY= ? ?? ?Xx YyxyIxyp )()(自信息量、條件信息量、聯(lián)合信息量 三者之間的關(guān)系 )|()()( xyIxIxyI ??)()|( xIyxI ?)|()()( yxIyIxyI ??)()|( yIxyI ?)()()( yIxIxyI ??當(dāng)事件 x 和事件 y 相互獨(dú)立時(shí)有 信息熵、條件熵、聯(lián)合熵 三者之間的關(guān)系 )|()()( XYHXHXYH ??)|()()( YXHYHXYH ??)()()( YHXHXYH ??)()|( XHYXH ?)()|( YHXYH ?當(dāng)集合 X 和集合 Y 相互獨(dú)立時(shí)有 例題 有兩個(gè)二元隨機(jī)變量 X和 Y， 它們的聯(lián)合概率為 并定義另一隨機(jī)變量 Z=XZ)。Z|Y) p(xy) x = 0 x = 1 y = 0 1/8 3/8 y = 1 3/8 1/8 解： (1)根據(jù) 和 的聯(lián)合概率分布，分別求得 X 、 Y 和 Z 的邊沿概率分布如下： 0 1 0 1 0 1 189。 7/8 1/8 X YXpYp pZ 和 以及 和 的聯(lián)合概率分布函數(shù)分別為： 0 1 0 1 0 1/2 0 0 1/2 0 1 3/8 1/8 1 3/8 1/8 X YZ ZYZXZ 、 和 的聯(lián)合分布函數(shù)為 X Y Z0)1,1,0()1,0,1()1,0,0()0,1,1(81)1,1,1(,83)0,0,1(83)0,1,0(,81)0,0,0(????????X Y ZX Y ZX Y ZX Y ZX Y ZX Y ZX Y ZX Y Zpppppppp? 根據(jù)上述概率分布函數(shù)，分別求得： )()81,83,83,81(),()()81,83,0,21(),()()81,83,0,21(),()()81,87()()(1)()(b i tHZYXHb i tHZYHb i tHZXHb i tHZHb i tYHXH?????????? (2)根據(jù) (1)得到的聯(lián)合概率分布和邊沿概率分布函數(shù)，求得如下條件概率分布 0 1 0 1 0 1/4 3/4 0 4/7 0 1 3/4 1/4 1 3/7 1 0 1 0 1 0 1 3/4 1/4 X XZXY ZYXp | ZXp |XZp |又因?yàn)? 因此 ZXZXZXXZ ppppp || ????0)1,0|1()1,1|0()1,0|0()0,1|1(18181)1,1|1(,432183)0,0|1(18383)0,1|0(,412181)0,0|0(||||||||????????????YZXYZXYZXYZXYZXYZXYZXYZXpppppppp所以 0)|()(4 0 )|()|()(4 0 )|()|()(8 6 )|()|()(4 0 41l o g8143l o g831l o g21)|()(8 6 o g8173l o g8374l o g21)|()(8 1 4
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1