【正文】 刻 信源的狀態(tài)唯一決定，即 （即已知前一時刻信源狀態(tài)及當(dāng)前輸出符號，則當(dāng)前信源狀態(tài)是確定的，或者說取某個狀態(tài)的概率為 1，取其他狀態(tài)的概率為 0） 則此信源稱為馬爾可夫信源。 平穩(wěn)離散信源 (1)平穩(wěn)離散信源的概念 (2)平穩(wěn)離散信源的熵 (3)信源的冗余度與信息速率 ? 信源的符號序列統(tǒng)計特性與時間的起點無關(guān) 平穩(wěn)離散信源的熵 隨機(jī)矢量的熵（聯(lián)合熵） 極限熵（熵率） )()( 21 NXXXHH ??X平均符號熵 )(1)( 21 NN XXXHNH ??X)(lim XNN HH ??? ?定理 設(shè) 證明：極限的存在性 為單調(diào)有界序列。(m i n)。Y) 的凸函數(shù)性 ? ?)|(),()。(? ? ? ?? ???Xx YyXY xpyxpxypyxIEYXI)()|(l o g)()。(? ? ? ?? ???Xx YyXY ypxypxypyxIEYXI)()|(l o g)()。Y)與信息熵的關(guān)系 H ( XY ) H ( X|Y ) H (Y|X ) H ( X ) H (Y ) H ( X|Y ) —— 含糊度或損失熵 H ( Y|X ) —— 散布度或噪聲熵 0)。( XYHYHYXI ??)()()()。( XHYXI ?)()。()。()。( yxI )(xI? )|( yxI? 22. 32 19? ? )(bit總的需要信息 剩余信息 獲得信息 條件互信息量與聯(lián)合互信息量 條件互信息量定義 聯(lián)合互信息量定義 )|()|(l o g)|。()()。Z|X)和 I(X。第二章 信源和信息熵 ? 離散信 源 的信息熵 ? 連續(xù)信源的信息熵 ? 信源分類和描述 第二章 作業(yè) 教材第 59頁 ~62頁 ， ， (1)(2)， ， ， ， 信源分類和描述 離散信源連續(xù)信源單符號信源符號序列信源無記憶信源有記憶信源信源分類和描述 ????????????)()()( 2121nnxpxpxpxxx? ?)(, xpX = 1)(1???niixp離散信源 連續(xù)信源 ? ?)(, xX ? = ??????)(),(xba?1)( ?? dxxba ?信源分類和描述 ? ? ?????????????)()()()(,2121nnxpxpxpxxxxpX單符號信源 X 符號序列信源 XN （ N次擴(kuò)展信源） ? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqxxxpxxxpxxxpxxxxxxxxxp??????xX? ? ?????????????),(),(),(),(),(),()(,112111112111qqqqqqNxxxpxxxpxxxpxxxxxxxxxpX??????x或信源分類和描述 無記憶信源 有記憶信源 ),|( 21 mllll XXXXp ??? ?????NllNNNN121 )(),()( XXXX ??? ?X信息的特性 ? 事件（消息）的信息量大小與其不確定度（概率）有關(guān) ? 事件概率越小，信息量越大 ? 確定性事件的信息量為零，不可能事件的信息量為無窮大 ? 信息量具有可加性 離散信源符號的信息量 信息量定義 信息量單位 ? 對數(shù)的底 a = 2時，信息量單位為 比特 ( bit） ? 對數(shù)的底 a = e時，信息量單位為 奈特 ( nat） ? 對數(shù)的底 a = 3時，信息量單位為 鐵特 ( Tet） ? 對數(shù)的底 a = 10時，信息量單位為 哈特 ( Hart） ?? )(1l o g)( xpxI a )(lo g xpa 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 102468101214離散信源符號的信息量 P(x) I(X)=log2(p) 離散信源的信息熵 (Entropy) 信息熵定義 (信息量的 統(tǒng)計平均 或者說 數(shù)學(xué)期望 ) 信息熵單位 ? 對數(shù)的底 a = 2時，信息熵單位為 比特 /符號 ( bit/符號） ? 對數(shù)的底 a = e時，信息熵單位為 奈特 /符號 ( nat/符號） ? 對數(shù)的底 a = 3時，信息熵單位為 鐵特 /符號 ( Tet/符號） ? 對數(shù)的底 a = 10時，信息熵單位為 哈特 /符號 ( Hart/符號） ? ?)( xIEH(X) = )(lo g)( xpxpXx??= – 離散二元信源的信息熵 ? ?)1l o g ()1(l o g)( ppppXH ???????????????????ppxpX110)(離散信源信息熵的含義 ? H(X)表示信源的平均不確定度 —— 平均信息量 ? H(X)表示信源的隨機(jī)性 ? H(X)表示信源輸出每個符號所提供的平均信息量 ? H(X)表示信宿所能獲得的最大信息量 條件自信息量與條件熵 條件自信息量定義 條件熵定義 (條件自信息量的 統(tǒng)計平均 ) I ( x|y ) = log )|(1yxp= log p(x|y) = )|( yXH ? ?)|( yxIE X )|(l o g)|( yxpyxpXx???= = )|( YXH ? ?)|( yXHEY )|()( yXHypYy??= ? ?? ???Xx YyyxPxyPYXH )|(l o g)()|(聯(lián)合自信息量與聯(lián)合熵 聯(lián)合自信息量定義 聯(lián)合熵定義 (聯(lián)合自信息量的 統(tǒng)計平均 ) I ( xy ) = log )(1xyp= log p(xy) ? ?? ??Xx Yyxypxyp )(l o g)(= = )( XYH ? ?)( xyIE XY= ? ?? ?Xx YyxyIxyp )()(自信息量、條件信息量、聯(lián)合信息量 三者之間的關(guān)系 )|()()( xyIxIxyI ??)()|( xIyxI ?)|()()( yxIyIxyI ??)()|( yIxyI ?)()()( yIxIxyI ??當(dāng)事件 x 和事件 y 相互獨立時有 信息熵、條件熵、聯(lián)合熵 三者之間的關(guān)系 )|()()( XYHXHXYH ??)|()()( YXHYHXYH ??)()()( YHXHXYH ??)()|( XHYXH ?)()|( YHXYH ?當(dāng)集合 X 和集合 Y 相互獨立時有 例題 有兩個二元隨機(jī)變量 X和 Y， 它們的聯(lián)合概率為 并定義另一隨機(jī)變量 Z=XZ|Y) p(xy) x = 0 x = 1 y = 0 1/8 3/8 y = 1 3/8 1/8 解： (1)根據(jù) 和 的聯(lián)合概率分布，分別求得 X 、 Y 和 Z 的邊沿概率分布如下： 0 1 0 1 0 1 189。()。(zxpyzxpzyxIa?)()|(lo g)。( yzxIyxIyzxI ??)|()()。(? ? ? ? ?? ? ???Xx Yy ZzX Y Z xpyzxpxyzpyzxIEYZXI)()|(l og)()。( YHYXI ?0)。( XYHYHXHYXI ???當(dāng) p(y|x) 給定時， I(X。( ?YXII(X。()。()。( xypxpfYXI ?當(dāng) p(y|x) 給定時， I(X。( )|( DRYXIYXI xyp ?? R(D) —率失真函數(shù) )(lo g)( xpxI a??)()|(l og)。 則,)(1 ???XH)(lim)(lim)(121 ???????????NNNNNXXXXHXHXH,...2,1,)(1)( 21 ????? NXXXHNXH NN有記憶 平穩(wěn)離散信源的熵 《 紅樓夢 》 葬花吟 陳力 三國演義主題曲 我們有 )()()(()()((