【正文】 ...)()()()()()(1211211121121121221122112112121??????????????????????????????????????????????????????????NNNNNNNNNNNNNNNNNNXXXXNHXXXXHXXHXHXXXXHXXHXHXXXXHXXXXHXXXHXXXXHXXXHXXXH））平穩(wěn)性則 又 得 )()(1)( 12121 ????????? NNNN XXXXHXXXHNXH)]()()1[(1)]()()1[(1)]()([1)(1)(1121112112121XHXHNNXXXXHXHNNXXXXHXXXHNXXXHNXHNNNNNNNNNN??????????????????????????)()( 1 XHXH NN ???????????? ? )()()(0 11 XHXHXH NN 定理 說明： ? 隨機變量之間的依賴性在某種程度上降低了信源的不確定性，即使信源（符號）攜帶的信息量減少。 )()( 11 1 ilkljlklilkl E|uaxP,E,ua,xE|uaxP ??????? ?)()( ikilkl |EaPE|uaxP ??? 1)( ??? Aa ikk|EaP????????? i ii iE,ua|xEuPilkljl001 10)(馬爾可夫信源 定義 m 階有記憶離散信源的數(shù)學(xué)模型可由一組信源符號集和一組條件概率確定： 并滿足 則稱此信源為 m階馬爾科夫信源。非絕對值，而為相對值。(????連續(xù)信源的 I(X。()?？芍?，當由引理連續(xù)信源的最大相對熵 連續(xù)信源的最大相對熵 證畢。 任何一個信源的熵功率小于或等于其平均功率，當且僅 當信源為高斯信源時，熵功率與平均功率相等。( YXHXHYXI cc ??)()|( XHYXH cc ?)|()()( XYHXHXYH ccc ??)|。 例 :設(shè)有二維高斯概率密度函數(shù) ?????????? ??????????????????????????? 222222)())((2)()1(21e x p121)(YYYXYXXXYXXYmymymxmxxy)( xyXY?—— 連續(xù)隨機變量 X、 Y 的均值 —— 連續(xù)隨機變量 X、 Y 的方差 —— 相關(guān)系數(shù)（歸一化協(xié)方差） YXYX mymxE???)])([( ???YX ?? ,YX mm ,求 I(X。 ? Hc(X)的取值：可能不存在，可能為負值。 ? ?,q,k,k,k k aa|aaP , a, , aaX mmkkkkqmm???? 21)(: 12121211???????????? ?,q,k,k k aa|aaP mqkkkkkmmm ??? 211)( 2111211 ??? ???馬爾可夫信源的熵 對于一個馬爾可夫信源 ， 當信源處于某個狀態(tài) 時 ， 發(fā)出一個信源符號所攜帶的平均信息量 ， 即在狀態(tài) 下 ， 發(fā)一個符號的條件熵為 我們要計算的是馬爾可夫信源平均符號熵的極限熵 ， 為簡便起見 ， 我們省去了繁瑣的證明 ， 假設(shè)信源在極限情形處于平穩(wěn)分布狀態(tài) （ 本章如無特別說明 ， 例題均滿足此特性 ） ， 即信源處于某個狀態(tài)的概率是穩(wěn)定不變的 ， 這樣極限熵應(yīng)是 剩下的問題是如何求 ？ iEiE???? qkikiki |EaP|EaPEX | uH1)(l o g)()(????????qkikikJiiiJii |EaP|EaPEQEX | uHEQ111)(l o g)()()()()( iEQ馬爾可夫信源的熵 由于 是極限穩(wěn)態(tài)分布，它應(yīng)滿足 利用上兩式，解方程，即可求得 。 )(lim)( 121 ???????? NNNXXXXHXH?無記憶 平穩(wěn)離散信源的熵 )]()()([1lim)(1lim)(lim)(212121NNNNNNNNXHXHXHNXXXHNXXXHH??????????????????????X無記憶平穩(wěn)離散信源：信源輸出為平穩(wěn)獨立的隨機序列 又各分量分布相同 )()]()()([1)]()()([1lim)]()()([1lim)(21XHXHXHXHNXHXHXHNXHXHXHNHNNN???????????????????????????X無記憶 平穩(wěn)離散信源的熵 無記憶 平穩(wěn)離散信源的熵 隨機矢量的熵（聯(lián)合熵） 極限熵 )()()(1XHNXHHNll ??? ??X平均符號熵 )()(l i m XHHH NN ?? ??? X)()(1)(1XHXHNHNllN ?? ??X信源的冗余度與信息速率 對于離散平穩(wěn)信源 ? 理論上：實際的熵為 —— 即信源所能輸 出的信息量 —— 需要傳遞 的手段。()。 )]([)1()]([)]([ 21 xpIxpIxpI ??????當 p(x) 給定時， I(X。()。()。 Y ) H ( XY ) 集合 X與集合 Y 完全相關(guān) 的情況 I(X。 當 p(x) 給定時， I(X。( ?YxI)。((1)非負性 (2)互易性 (3)極值性 平均互信息量 I(X。( xyIyIxIyxI ???)()|(lo g)。( yxI)( xyI)|。()()|()()。 189。Y), I(X。 I(X。()()|()|()|。( yxIxIyxpxpyxI aa ??????設(shè)某班學(xué)生在一次考試中獲優(yōu)（ A）、 良（ B）、 中（ C）、 及格（ D） 和不及格（ E） 的人數(shù)相等。(xpyxpyxIa?自信息量與互信息量的 聯(lián)系 )|()()( xyIxIxyI ??)|。()|。()。Y) 的性質(zhì) )|()()。Y)與信息熵的關(guān)系 I ( X 。Y) 的凸函數(shù)性 ? ? ? ?? ???Xx YyXY xpyxpxypyxIEYXI)()|(l o g)()。Y) 的凸函數(shù)性 ? ? ? ??? ????Xx YyXxXY xypxpxypxypxpyxIEYXI)|()()|(l o g)|()()。(? ?)|(),()。(m a x)。()。 ? 冗余度存在可以增加抗干擾能力。連續(xù)隨機變量所包含的信息量為無限大，我們不可能全部獲取，我們關(guān)心的只是其中足以滿足我們所需要的一部分。(yxxyyxIYXXY????)()()(l o g)。(2222222222222n atdxdymymxmymymxmxxydxdyyxxyxyYXIyyxxyyyxyxxxXYYXXYXY????????????????????????????????????????????????????????????????????????????????????????????????? ?? ?????????????????連續(xù)信源的 平均互信息 計算 211ln)。( YZXIYXIYZXI ??定理 （峰值受限） 若隨機變量 X的取值被限定在區(qū)間 [a,b]，則 X的相對熵 當且僅當 X服從均勻分布時具有最大的相對熵。(xpyxpyxI