【正文】 ????),(),(),(),(),(),()(,112111112111qqqqqqxxxpxxxpxxxpxxxxxxxxxp??????xX? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqNxxxpxxxpxxxpxxxxxxxxxpX??????x或信源分類和描述 無(wú)記憶信源 有記憶信源 ),|( 21 mllll XXXXp ??? ?????NllNNNN121 )(),()( XXXX ??? ?X信息的特性 ? 事件（消息）的信息量大小與其不確定度（概率）有關(guān) ? 事件概率越小，信息量越大 ? 確定性事件的信息量為零，不可能事件的信息量為無(wú)窮大 ? 信息量具有可加性 離散信源符號(hào)的信息量 信息量定義 信息量單位 ? 對(duì)數(shù)的底 a = 2時(shí)，信息量單位為 比特 ( bit） ? 對(duì)數(shù)的底 a = e時(shí)，信息量單位為 奈特 ( nat） ? 對(duì)數(shù)的底 a = 3時(shí)，信息量單位為 鐵特 ( Tet） ? 對(duì)數(shù)的底 a = 10時(shí)，信息量單位為 哈特 ( Hart） ?? )(1l o g)( xpxI a )(lo g xpa 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 102468101214離散信源符號(hào)的信息量 P(x) I(X)=log2(p) 離散信源的信息熵 (Entropy) 信息熵定義 (信息量的 統(tǒng)計(jì)平均 或者說(shuō) 數(shù)學(xué)期望 ) 信息熵單位 ? 對(duì)數(shù)的底 a = 2時(shí)，信息熵單位為 比特 /符號(hào) ( bit/符號(hào)） ? 對(duì)數(shù)的底 a = e時(shí)，信息熵單位為 奈特 /符號(hào) ( nat/符號(hào)） ? 對(duì)數(shù)的底 a = 3時(shí)，信息熵單位為 鐵特 /符號(hào) ( Tet/符號(hào)） ? 對(duì)數(shù)的底 a = 10時(shí)，信息熵單位為 哈特 /符號(hào) ( Hart/符號(hào)） ? ?)( xIEH(X) = )(lo g)( xpxpXx??= – 離散二元信源的信息熵 ? ?)1l o g ()1(l o g)( ppppXH ???????????????????ppxpX110)(離散信源信息熵的含義 ? H(X)表示信源的平均不確定度 —— 平均信息量 ? H(X)表示信源的隨機(jī)性 ? H(X)表示信源輸出每個(gè)符號(hào)所提供的平均信息量 ? H(X)表示信宿所能獲得的最大信息量 條件自信息量與條件熵 條件自信息量定義 條件熵定義 (條件自信息量的 統(tǒng)計(jì)平均 ) I ( x|y ) = log )|(1yxp= log p(x|y) = )|( yXH ? ?)|( yxIE X )|(l o g)|( yxpyxpXx???= = )|( YXH ? ?)|( yXHEY )|()( yXHypYy??= ? ?? ???Xx YyyxPxyPYXH )|(l o g)()|(聯(lián)合自信息量與聯(lián)合熵 聯(lián)合自信息量定義 聯(lián)合熵定義 (聯(lián)合自信息量的 統(tǒng)計(jì)平均 ) I ( xy ) = log )(1xyp= log p(xy) ? ?? ??Xx Yyxypxyp )(l o g)(= = )( XYH ? ?)( xyIE XY= ? ?? ?Xx YyxyIxyp )()(自信息量、條件信息量、聯(lián)合信息量 三者之間的關(guān)系 )|()()( xyIxIxyI ??)()|( xIyxI ?)|()()( yxIyIxyI ??)()|( yIxyI ?)()()( yIxIxyI ??當(dāng)事件 x 和事件 y 相互獨(dú)立時(shí)有 信息熵、條件熵、聯(lián)合熵 三者之間的關(guān)系 )|()()( XYHXHXYH ??)|()()( YXHYHXYH ??)()()( YHXHXYH ??)()|( XHYXH ?)()|( YHXYH ?當(dāng)集合 X 和集合 Y 相互獨(dú)立時(shí)有 例題 有兩個(gè)二元隨機(jī)變量 X和 Y， 它們的聯(lián)合概率為 并定義另一隨機(jī)變量 Z=XY（ 一般乘積 )， 試計(jì)算： (1) 熵 H(X)、 H(Y)、 H(Z)、 H(X, Z)、 H(Y, Z) 、 H(X, Y, Z) (2) 條件熵 H(X|Y)、 H(X|Z)、 H(Z|X)、 H(Z|Y)、 H(Y|Z)、 H(Y|XZ)、 H(Z|XY) (3) 互信息 I(X。Z), I(Y。 I(X。Z|X)和 I(X。 189。 189。()()|()|()|。()()。()()|()()。(b i tZYXHYXHYZXIb i tZXYHXYHXZYIb i tYZXHZXHZYXIb i tZXIZYIb i tZXHXHZXIb i tYXHXHYXI???????????????????????????熵函數(shù) H(p) 的性質(zhì) ?????niiinn pppppHH121 l o g),()( ?P信息熵 H(X) 的函數(shù)表達(dá) ——H(p) ),(),(),( 111221 ??? nnnnnnn pppHpppHpppH ???(1)對(duì)稱性 (2)非負(fù)性 (離散信源 ) 0),( 21 ?nn pppH ?(3)擴(kuò)展性 ),(),(l i m 212110 nnnn pppHpppH ?? ???? ???熵函數(shù) H(p) 的性質(zhì) 0)0,0,1()0,0,1()0,1( 32 ???? ?? nHHH(4)確定性 (5)可加性 (6)極值性 nnnnHpppH nnn l o g)1,1,1(),( 21 ?? ??),( ,2,12,22,222,121,11,211,11 21 nmnnnnnmmM nPpPpPpPpPpPpPpPpPpH ???????? ni imiiminn iiPPPHppppH1 ,2,121),(),( ??熵函數(shù) H(p) 的性質(zhì) 熵函數(shù) H(p) 的性質(zhì) (7)上凸性 ? ? )()()()( qpqp HHH ???? ????? 11小結(jié)： 信息熵 —— 信息論中的最基礎(chǔ)的基本概念 —— 對(duì)隨機(jī)變量不確定性的最好的度量 —— 用來(lái)描述信源的信息特性 互信息量的提出與定義 互信息量提出 )()|(l o g)。( yxIxIyxpxpyxI aa ??????設(shè)某班學(xué)生在一次考試中獲優(yōu)（ A）、 良（ B）、 中（ C）、 及格（ D） 和不及格（ E） 的人數(shù)相等。( yxI )(xI? )|( yxI? 22. 32 19? ? )(bit總的需要信息 剩余信息 獲得信息 條件互信息量與聯(lián)合互信息量 條件互信息量定義 聯(lián)合互信息量定義 )|()|(l o g)|。(xpyzxpyzxIa?自信息量與互信息量的 區(qū)分 （ 表達(dá)方式和含義上 ） )( xI)。( zyxI )。(xpyxpyxIa?自信息量與互信息量的 聯(lián)系 )|()()( xyIxIxyI ??)|。()。( yxIxIyxI ??)()()()。(xpyxpyxIa?)|()()( xypxpxyp ?)|()|()|。()|。()。()。Y) 的性質(zhì) 0)。()。( XHYXI ?)()。( ?yXI0)。( yxI 不具有非負(fù)性 (4)I(X。Y) 的性質(zhì) )|()()。( XYHYHYXI ??)()()()。Y) 是 p(x) 的上凸函數(shù)。Y) 是 p(y|x) 的下凸函數(shù)。Y)與信息熵的關(guān)系 I ( X 。Y)與信息熵的關(guān)系 H ( XY ) H ( X|Y ) H (Y|X ) H ( X ) H (Y ) H ( X|Y ) —— 含糊度或損失熵 H ( Y|X ) —— 散布度或噪聲熵 0)。Y)與信息熵的關(guān)系 H ( X ) = H (Y ) = I ( X 。Y)與信息熵的關(guān)系 H ( X )H ( Y )H ( Y | X )H ( X Y )I ( X 。Y) 的凸函數(shù)性 ? ? ? ?? ???Xx YyXY xpyxpxypyxIEYXI)()|(l o g)()。(? ? ? ?? ???Xx YyXY ypxypxypyxIEYXI)()|(l o g)()。(? ? ? ?? ???Xx YyXY ypxpxypxypyxIEYXI)()()(