【文章內(nèi)容簡介】 xypxypxpyxIEYXI)|()()|(l o g)|()()。()。(? ? ? ?? ???Xx YyXY xpyxpxypyxIEYXI)()|(l o g)()。()。(? ? ? ?? ???Xx YyXY ypxypxypyxIEYXI)()|(l o g)()。()。(? ? ? ?? ???Xx YyXY ypxpxypxypyxIEYXI)()()(l o g)()。()。(? ?)|(),()。( xypxpfYXI ?I(X。Y) 的凸函數(shù)性 ? ?)|(),()。( xypxpfYXI ?當(dāng) p(y|x) 給定時(shí)， I(X。Y) = f [p(x)] 是 上凸 函數(shù)。 )]([)1()]([)]([ 21 xpIxpIxpI ??????當(dāng) p(x) 給定時(shí)， I(X。Y) = f [p(y|x)] 是 下凸 函數(shù)。 CYXIYXI xp ?? )。(m a x)。( )( C — 信道容量 )]|([)1()]|([)]|([ 21 xypIxypIxypI ??????)()。(m i n)。( )|( DRYXIYXI xyp ?? R(D) —率失真函數(shù) )(lo g)( xpxI a??)()|(l og)。(xpyxpyxIa?小結(jié) 互信息量 —— 信息論中的另一個(gè)基本概念（差值） —— 對兩個(gè)隨機(jī)變量之間統(tǒng)計(jì)依存性的信息度量 —— 用來描述信道特性和信源的壓縮特性 信息熵 —— 信息論中的最基礎(chǔ)的基本概念 —— 對隨機(jī)變量不確定性的最好的度量 —— 用來描述信源的信息特性 信息不增性原理 (定理 ) 信道 Ⅰ p(y|x) 信道 Ⅱ p(z|xy) X Y Z )。()。( ZYIZXYI ?當(dāng)且僅當(dāng) p(z|xy)= p(z|y)時(shí)，等號成立。 穿越鳳凰山 游戲：動作 傳遞 信息不增性原理 (定理 ) 信道 Ⅰ p(y|x) 信道 Ⅱ p(z|y) X Y Z )。()。( YXIZXI ?當(dāng)且僅當(dāng) Y和 Z是一一對應(yīng)關(guān)系時(shí)，等號成立。 平穩(wěn)離散信源 (1)平穩(wěn)離散信源的概念 (2)平穩(wěn)離散信源的熵 (3)信源的冗余度與信息速率 ? 信源的符號序列統(tǒng)計(jì)特性與時(shí)間的起點(diǎn)無關(guān) 平穩(wěn)離散信源的熵 隨機(jī)矢量的熵（聯(lián)合熵） 極限熵（熵率） )()( 21 NXXXHH ??X平均符號熵 )(1)( 21 NN XXXHNH ??X)(lim XNN HH ??? ?定理 設(shè) 證明：極限的存在性 為單調(diào)有界序列。 則,)(1 ???XH)(lim)(lim)(121 ???????????NNNNNXXXXHXHXH,...2,1,)(1)( 21 ????? NXXXHNXH NN有記憶 平穩(wěn)離散信源的熵 《 紅樓夢 》 葬花吟 陳力 三國演義主題曲 我們有 )()()(()()((...)()()()()()(1211211121121121221122112112121??????????????????????????????????????????????????????????NNNNNNNNNNNNNNNNNNXXXXNHXXXXHXXHXHXXXXHXXHXHXXXXHXXXXHXXXHXXXXHXXXHXXXH））平穩(wěn)性則 又 得 )()(1)( 12121 ????????? NNNN XXXXHXXXHNXH)]()()1[(1)]()()1[(1)]()([1)(1)(1121112112121XHXHNNXXXXHXHNNXXXXHXXXHNXXXHNXHNNNNNNNNNN??????????????????????????)()( 1 XHXH NN ???????????? ? )()()(0 11 XHXHXH NN 定理 說明： ? 隨機(jī)變量之間的依賴性在某種程度上降低了信源的不確定性，即使信源（符號）攜帶的信息量減少。 ? 當(dāng)考慮依賴關(guān)系無限長時(shí)，平均符號熵和條件熵都是非遞增地一致趨于平穩(wěn)信源的極限熵。 )(lim)( 121 ???????? NNNXXXXHXH?無記憶 平穩(wěn)離散信源的熵 )]()()([1lim)(1lim)(lim)(212121NNNNNNNNXHXHXHNXXXHNXXXHH??????????????????????X無記憶平穩(wěn)離散信源：信源輸出為平穩(wěn)獨(dú)立的隨機(jī)序列 又各分量分布相同 )()]()()([1)]()()([1lim)]()()([1lim)(21XHXHXHXHNXHXHXHNXHXHXHNHNNN???????????????????????????X無記憶 平穩(wěn)離散信源的熵 無記憶 平穩(wěn)離散信源的熵 隨機(jī)矢量的熵（聯(lián)合熵） 極限熵 )()()(1XHNXHHNll ??? ??X平均符號熵 )()(l i m XHHH NN ?? ??? X)()(1)(1XHXHNHNllN ?? ??X信源的冗余度與信息速率 對于離散平穩(wěn)信源 ? 理論上：實(shí)際的熵為 —— 即信源所能輸 出的信息量 —— 需要傳遞 的手段。 ? 實(shí)際上：因信源的統(tǒng)計(jì)特性了解不全 —— 只能算出 作為信源信息量 —— 需要傳遞 的手段。 分析： 造成傳遞手段上有富余 —— 輸出效率不高，不經(jīng)濟(jì) )( XH ?)( XH m)( XH ?)( XH m)()()()(l o g 21 XHXHXHXHN m ?????????)()( XHXH m ?? ? 效率 ? 冗余度 ? 相對冗余度 l o g N)()()(0XHXHXH ?? ?? ?? 或NXHRXHXHRl o g)(1)()(10?? ???? 或)(l o g)()(0 XHNRXHXHR ?? ???? 或例：自然語言信源的冗余度 英文 26個(gè)字母＋間隔符號＝ 27，則 ? 信源字母攜帶的最大信息量 log27= bit/符號 ? 基于字母、間隔出現(xiàn)的概率統(tǒng)計(jì) H1＝ bit/符號 ? 基于兩個(gè)、三個(gè)字母依賴關(guān)系概率統(tǒng)計(jì) H2＝ bit/符號 H3＝ bit/符號 ? 的近似值為： = bit/符號 效率 相對冗余度 傳輸英文語言時(shí)， 71%是多余的！可以壓縮 71%的信息量。 ? 冗余度存在可以增加抗干擾能力。 )( XH ?)( XH ? ??? ????R信源的冗余度與信息速率 信源的冗余度 01HHR ???信息速率 bXHH t /)(?H∞ 實(shí)際信源熵 H0 信源平均符號熵的最大值 H(X) 信源熵 信源符號平均時(shí)長 b馬爾可夫信源 ? 很多信源輸出的符號序列中，符號之間的依賴關(guān)系是有限的，即任何時(shí)刻信源符號發(fā)生的概率只與前面已經(jīng)發(fā)出的若干個(gè)符號有關(guān)，而與更前面發(fā)出的符號無關(guān) ? 狀態(tài) ? 狀態(tài)轉(zhuǎn)移概率 馬爾可夫信源 定義 若信源輸出的符號序列和信源所處的狀態(tài)滿足下列兩個(gè)條件： （ 1）某一時(shí)刻信源符號的輸出只與此刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號無關(guān)。即 當(dāng)具有時(shí)齊性時(shí)，即有 及 （ 2）信源某 l時(shí)刻所處的狀態(tài)由當(dāng)前的輸出符號和前一時(shí)刻 信