信息論與編碼課件第二章(已修改)
2025-05-19 22:26 本頁(yè)面
【正文】 第二章 信源和信息熵 ? 離散信 源 的信息熵 ? 連續(xù)信源的信息熵 ? 信源分類(lèi)和描述 第二章 作業(yè) 教材第 59頁(yè) ~62頁(yè) ， ， (1)(2)， ， ， ， 信源分類(lèi)和描述 離散信源連續(xù)信源單符號(hào)信源符號(hào)序列信源無(wú)記憶信源有記憶信源信源分類(lèi)和描述 ????????????)()()( 2121nnxpxpxpxxx? ?)(, xpX = 1)(1???niixp離散信源 連續(xù)信源 ? ?)(, xX ? = ??????)(),(xba?1)( ?? dxxba ?信源分類(lèi)和描述 ? ? ?????????????)()()()(,2121nnxpxpxpxxxxpX單符號(hào)信源 X 符號(hào)序列信源 XN （ N次擴(kuò)展信源） ? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqxxxpxxxpxxxpxxxxxxxxxp??????xX? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqNxxxpxxxpxxxpxxxxxxxxxpX??????x或信源分類(lèi)和描述 無(wú)記憶信源 有記憶信源 ),|( 21 mllll XXXXp ??? ?????NllNNNN121 )(),()( XXXX ??? ?X信息的特性 ? 事件（消息）的信息量大小與其不確定度（概率）有關(guān) ? 事件概率越小，信息量越大 ? 確定性事件的信息量為零，不可能事件的信息量為無(wú)窮大 ? 信息量具有可加性 離散信源符號(hào)的信息量 信息量定義 信息量單位 ? 對(duì)數(shù)的底 a = 2時(shí)，信息量單位為 比特 ( bit） ? 對(duì)數(shù)的底 a = e時(shí)，信息量單位為 奈特 ( nat） ? 對(duì)數(shù)的底 a = 3時(shí)，信息量單位為 鐵特 ( Tet） ? 對(duì)數(shù)的底 a = 10時(shí)，信息量單位為 哈特 ( Hart） ?? )(1l o g)( xpxI a )(lo g xpa 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 102468101214離散信源符號(hào)的信息量 P(x) I(X)=log2(p) 離散信源的信息熵 (Entropy) 信息熵定義 (信息量的 統(tǒng)計(jì)平均 或者說(shuō) 數(shù)學(xué)期望 ) 信息熵單位 ? 對(duì)數(shù)的底 a = 2時(shí)，信息熵單位為 比特 /符號(hào) ( bit/符號(hào)） ? 對(duì)數(shù)的底 a = e時(shí)，信息熵單位為 奈特 /符號(hào) ( nat/符號(hào)） ? 對(duì)數(shù)的底 a = 3時(shí)，信息熵單位為 鐵特 /符號(hào) ( Tet/符號(hào)） ? 對(duì)數(shù)的底 a = 10時(shí)，信息熵單位為 哈特 /符號(hào) ( Hart/符號(hào)） ? ?)( xIEH(X) = )(lo g)( xpxpXx??= – 離散二元信源的信息熵 ? ?)1l o g ()1(l o g)( ppppXH ???????????????????ppxpX110)(離散信源信息熵的含義 ? H(X)表示信源的平均不確定度 —— 平均信息量 ? H(X)表示信源的隨機(jī)性 ? H(X)表示信源輸出每個(gè)符號(hào)所提供的平均信息量 ? H(X)表示信宿所能獲得的最大信息量 條件自信息量與條件熵 條件自信息量定義 條件熵定義 (條件自信息量的 統(tǒng)計(jì)平均 ) I ( x|y ) = log )|(1yxp= log p(x|y) = )|( yXH ? ?)|( yxIE X )|(l o g)|( yxpyxpXx???= = )|( YXH ? ?)|( yXHEY )|()( yXHypYy??= ? ?? ???Xx YyyxPxyPYXH )|(l o g)()|(聯(lián)合自信息量與聯(lián)合熵 聯(lián)合自信息量定義 聯(lián)合熵定義 (聯(lián)合自信息量的 統(tǒng)計(jì)平均 ) I ( xy ) = log )(1xyp= log p(xy) ? ?? ??Xx Yyxypxyp )(l o g)(= = )( XYH ? ?)( xyIE XY= ? ?? ?Xx YyxyIxyp )()(自信息量、條件信息量、聯(lián)合信息量 三者之間的關(guān)系 )|()()( xyIxIxyI ??)()|( xIyxI ?)|()()( yxIyIxyI ??)()|( yIxyI ?)()()( yIxIxyI ??當(dāng)事件 x 和事件 y 相互獨(dú)立時(shí)有 信息熵、條件熵、聯(lián)合熵 三者之間的關(guān)系 )|()()( XYHXHXYH ??)|()()( YXHYHXYH ??)()()( YHXHXYH ??)()|( XHYXH ?)()|( YHXYH ?當(dāng)集合 X 和集合 Y 相互獨(dú)立時(shí)有 例題 有兩個(gè)二元隨機(jī)變量 X和 Y， 它們的聯(lián)合概率為 并定義另一隨機(jī)變量 Z=XY（ 一般乘積 )， 試計(jì)算： (1) 熵 H(X)、 H(Y)、 H(Z)、 H(X, Z)、 H(Y, Z) 、 H(X, Y, Z) (2) 條件熵 H(X|Y)、 H(X|Z)、 H(Z|X)、 H(Z|Y)、 H(Y|Z)、 H(Y|XZ)、 H(Z|XY) (3) 互信息 I(X。Y), I(X。Z), I(Y。Z)。 I(X。Y|Z), I(Y。Z|X)和 I(X。Z|Y) p(xy) x = 0 x = 1 y = 0 1/8 3/8 y = 1 3/8 1/8 解： (1)根據(jù) 和 的聯(lián)合概率分布，分別求得 X 、 Y 和 Z 的邊沿概率分布如下： 0 1 0 1 0 1 189。 189。 189。 189。 7/8 1/8 X YXpYp pZ 和 以及 和 的聯(lián)合概率分布函數(shù)分別為： 0 1 0 1 0 1/2 0 0 1/2 0 1 3/8 1/8 1 3/8 1/8 X YZ ZYZXZ 、 和 的聯(lián)合分布函數(shù)為 X Y Z0)1,1,0()1,0,1()1,0,0()0,1,1(81)1,1,1(,83)0,0,1(83)0,1,0(,81)0,0,0(????????X Y ZX Y ZX Y ZX Y ZX Y ZX Y ZX Y ZX Y Zpppppppp? 根據(jù)上述概率分布函數(shù)，分別求得： )()81,83,83,81(),()()81,83,0,21(),()()81,83,0,21(),()()81,87()()(1)()(b i tHZYXHb i tHZYHb i tHZXHb i tHZHb i tYHXH?????????? (2)根據(jù) (1)得到的聯(lián)合概率分布和邊沿概率分布函數(shù)，求得如下條件概率分布 0 1 0 1 0 1/4 3/4 0 4/7 0 1 3/4 1/4 1 3/7 1
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1