【正文】 第二章 信源和信息熵 ? 離散信 源 的信息熵 ? 連續(xù)信源的信息熵 ? 信源分類和描述 第二章 作業(yè) 教材第 59頁 ~62頁 ， ， (1)(2)， ， ， ， 信源分類和描述 離散信源連續(xù)信源單符號信源符號序列信源無記憶信源有記憶信源信源分類和描述 ????????????)()()( 2121nnxpxpxpxxx? ?)(, xpX = 1)(1???niixp離散信源 連續(xù)信源 ? ?)(, xX ? = ??????)(),(xba?1)( ?? dxxba ?信源分類和描述 ? ? ?????????????)()()()(,2121nnxpxpxpxxxxpX單符號信源 X 符號序列信源 XN （ N次擴展信源） ? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqxxxpxxxpxxxpxxxxxxxxxp??????xX? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqNxxxpxxxpxxxpxxxxxxxxxpX??????x或信源分類和描述 無記憶信源 有記憶信源 ),|( 21 mllll XXXXp ??? ?????NllNNNN121 )(),()( XXXX ??? ?X信息的特性 ? 事件（消息）的信息量大小與其不確定度（概率）有關 ? 事件概率越小，信息量越大 ? 確定性事件的信息量為零，不可能事件的信息量為無窮大 ? 信息量具有可加性 離散信源符號的信息量 信息量定義 信息量單位 ? 對數的底 a = 2時，信息量單位為 比特 ( bit） ? 對數的底 a = e時，信息量單位為 奈特 ( nat） ? 對數的底 a = 3時，信息量單位為 鐵特 ( Tet） ? 對數的底 a = 10時，信息量單位為 哈特 ( Hart） ?? )(1l o g)( xpxI a )(lo g xpa 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 102468101214離散信源符號的信息量 P(x) I(X)=log2(p) 離散信源的信息熵 (Entropy) 信息熵定義 (信息量的 統計平均 或者說 數學期望 ) 信息熵單位 ? 對數的底 a = 2時，信息熵單位為 比特 /符號 ( bit/符號） ? 對數的底 a = e時，信息熵單位為 奈特 /符號 ( nat/符號） ? 對數的底 a = 3時，信息熵單位為 鐵特 /符號 ( Tet/符號） ? 對數的底 a = 10時，信息熵單位為 哈特 /符號 ( Hart/符號） ? ?)( xIEH(X) = )(lo g)( xpxpXx??= – 離散二元信源的信息熵 ? ?)1l o g ()1(l o g)( ppppXH ???????????????????ppxpX110)(離散信源信息熵的含義 ? H(X)表示信源的平均不確定度 —— 平均信息量 ? H(X)表示信源的隨機性 ? H(X)表示信源輸出每個符號所提供的平均信息量 ? H(X)表示信宿所能獲得的最大信息量 條件自信息量與條件熵 條件自信息量定義 條件熵定義 (條件自信息量的 統計平均 ) I ( x|y ) = log )|(1yxp= log p(x|y) = )|( yXH ? ?)|( yxIE X )|(l o g)|( yxpyxpXx???= = )|( YXH ? ?)|( yXHEY )|()( yXHypYy??= ? ?? ???Xx YyyxPxyPYXH )|(l o g)()|(聯合自信息量與聯合熵 聯合自信息量定義 聯合熵定義 (聯合自信息量的 統計平均 ) I ( xy ) = log )(1xyp= log p(xy) ? ?? ??Xx Yyxypxyp )(l o g)(= = )( XYH ? ?)( xyIE XY= ? ?? ?Xx YyxyIxyp )()(自信息量、條件信息量、聯合信息量 三者之間的關系 )|()()( xyIxIxyI ??)()|( xIyxI ?)|()()( yxIyIxyI ??)()|( yIxyI ?)()()( yIxIxyI ??當事件 x 和事件 y 相互獨立時有 信息熵、條件熵、聯合熵 三者之間的關系 )|()()( XYHXHXYH ??)|()()( YXHYHXYH ??)()()( YHXHXYH ??)()|( XHYXH ?)()|( YHXYH ?當集合 X 和集合 Y 相互獨立時有 例題 有兩個二元隨機變量 X和 Y， 它們的聯合概率為 并定義另一隨機變量 Z=XY（ 一般乘積 )， 試計算： (1) 熵 H(X)、 H(Y)、 H(Z)、 H(X, Z)、 H(Y, Z) 、 H(X, Y, Z) (2) 條件熵 H(X|Y)、 H(X|Z)、 H(Z|X)、 H(Z|Y)、 H(Y|Z)、 H(Y|XZ)、 H(Z|XY) (3) 互信息 I(X。Y), I(X。Z), I(Y。Z)。 I(X。Y|Z), I(Y。Z|X)和 I(X。Z|Y) p(xy) x = 0 x = 1 y = 0 1/8 3/8 y = 1 3/8 1/8 解： (1)根據 和 的聯合概率分布，分別求得 X 、 Y 和 Z 的邊沿概率分布如下： 0 1 0 1 0 1 189。 189。 189。 189。 7/8 1/8 X YXpYp pZ 和 以及 和 的聯合概率分布函數分別為： 0 1 0 1 0 1/2 0 0 1/2 0 1 3/8 1/8 1 3/8 1/8 X YZ ZYZXZ 、 和 的聯合分布函數為 X Y Z0)1,1,0()1,0,1()1,0,0()0,1,1(81)1,1,1(,83)0,0,1(83)0,1,0(,81)0,0,0(????????X Y ZX Y ZX Y ZX Y ZX Y ZX Y ZX Y ZX Y Zpppppppp? 根據上述概率分布函數，分別求得： )()81,83,83,81(),()()81,83,0,21(),()()81,83,0,21(),()()81,87()()(1)()(b i tHZYXHb i tHZYHb i tHZXHb i tHZHb i tYHXH?????????? (2)根據 (1)得到的聯合概率分布和邊沿概率分布函數，求得如下條件概率分布 0 1 0 1 0 1/4 3/4 0 4/7 0 1 3/4 1/4 1 3/7 1