【正文】 ? ?比 特 符 號用 的傳統(tǒng)數(shù)學(xué)方法從離散情況向連續(xù)情況作推廣 0x???????????????????????????????? ??)()()(l oglim)()(l og)()(lim]l og)([)](l og)([)(l og)()(00XHXHXHxdxxwdxxwxwXHxxxwxxwxwxxwxxwXHccxxkk kkkkkkk連續(xù)情況：離散情況：連續(xù)信源的信息熵 )(xwx0 x?1?kxkxxxw k ?)(??)( XH結(jié)論： 連續(xù)信源的熵 值無限 的含義 ? 從數(shù)學(xué)概念上：連續(xù)熵不存在。 ? ?,q,k,k,k k aa|aaP , a, , aaX mmkkkkqmm???? 21)(: 12121211???????????? ?,q,k,k k aa|aaP mqkkkkkmmm ??? 211)( 2111211 ??? ???馬爾可夫信源的熵 對于一個(gè)馬爾可夫信源 ， 當(dāng)信源處于某個(gè)狀態(tài) 時(shí) ， 發(fā)出一個(gè)信源符號所攜帶的平均信息量 ， 即在狀態(tài) 下 ， 發(fā)一個(gè)符號的條件熵為 我們要計(jì)算的是馬爾可夫信源平均符號熵的極限熵 ， 為簡便起見 ， 我們省去了繁瑣的證明 ， 假設(shè)信源在極限情形處于平穩(wěn)分布狀態(tài) （ 本章如無特別說明 ， 例題均滿足此特性 ） ， 即信源處于某個(gè)狀態(tài)的概率是穩(wěn)定不變的 ， 這樣極限熵應(yīng)是 剩下的問題是如何求 ？ iEiE???? qkikiki |EaP|EaPEX | uH1)(l o g)()(????????qkikikJiiiJii |EaP|EaPEQEX | uHEQ111)(l o g)()()()()( iEQ馬爾可夫信源的熵 由于 是極限穩(wěn)態(tài)分布，它應(yīng)滿足 利用上兩式，解方程，即可求得 。 )()( 11 1 ilkljlklilkl E|uaxP,E,ua,xE|uaxP ??????? ?)()( ikilkl |EaPE|uaxP ??? 1)( ??? Aa ikk|EaP????????? i ii iE,ua|xEuPilkljl001 10)(馬爾可夫信源 定義 m 階有記憶離散信源的數(shù)學(xué)模型可由一組信源符號集和一組條件概率確定： 并滿足 則稱此信源為 m階馬爾科夫信源。 )( XH ?)( XH ? ??? ????R信源的冗余度與信息速率 信源的冗余度 01HHR ???信息速率 bXHH t /)(?H∞ 實(shí)際信源熵 H0 信源平均符號熵的最大值 H(X) 信源熵 信源符號平均時(shí)長 b馬爾可夫信源 ? 很多信源輸出的符號序列中，符號之間的依賴關(guān)系是有限的，即任何時(shí)刻信源符號發(fā)生的概率只與前面已經(jīng)發(fā)出的若干個(gè)符號有關(guān)，而與更前面發(fā)出的符號無關(guān) ? 狀態(tài) ? 狀態(tài)轉(zhuǎn)移概率 馬爾可夫信源 定義 若信源輸出的符號序列和信源所處的狀態(tài)滿足下列兩個(gè)條件： （ 1）某一時(shí)刻信源符號的輸出只與此刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號無關(guān)。 分析： 造成傳遞手段上有富余 —— 輸出效率不高，不經(jīng)濟(jì) )( XH ?)( XH m)( XH ?)( XH m)()()()(l o g 21 XHXHXHXHN m ?????????)()( XHXH m ?? ? 效率 ? 冗余度 ? 相對冗余度 l o g N)()()(0XHXHXH ?? ?? ?? 或NXHRXHXHRl o g)(1)()(10?? ???? 或)(l o g)()(0 XHNRXHXHR ?? ???? 或例：自然語言信源的冗余度 英文 26個(gè)字母＋間隔符號＝ 27，則 ? 信源字母攜帶的最大信息量 log27= bit/符號 ? 基于字母、間隔出現(xiàn)的概率統(tǒng)計(jì) H1＝ bit/符號 ? 基于兩個(gè)、三個(gè)字母依賴關(guān)系概率統(tǒng)計(jì) H2＝ bit/符號 H3＝ bit/符號 ? 的近似值為： = bit/符號 效率 相對冗余度 傳輸英文語言時(shí)， 71%是多余的！可以壓縮 71%的信息量。 )(lim)( 121 ???????? NNNXXXXHXH?無記憶 平穩(wěn)離散信源的熵 )]()()([1lim)(1lim)(lim)(212121NNNNNNNNXHXHXHNXXXHNXXXHH??????????????????????X無記憶平穩(wěn)離散信源：信源輸出為平穩(wěn)獨(dú)立的隨機(jī)序列 又各分量分布相同 )()]()()([1)]()()([1lim)]()()([1lim)(21XHXHXHXHNXHXHXHNXHXHXHNHNNN???????????????????????????X無記憶 平穩(wěn)離散信源的熵 無記憶 平穩(wěn)離散信源的熵 隨機(jī)矢量的熵（聯(lián)合熵） 極限熵 )()()(1XHNXHHNll ??? ??X平均符號熵 )()(l i m XHHH NN ?? ??? X)()(1)(1XHXHNHNllN ?? ??X信源的冗余度與信息速率 對于離散平穩(wěn)信源 ? 理論上：實(shí)際的熵為 —— 即信源所能輸 出的信息量 —— 需要傳遞 的手段。 則,)(1 ???XH)(lim)(lim)(121 ???????????NNNNNXXXXHXHXH,...2,1,)(1)( 21 ????? NXXXHNXH NN有記憶 平穩(wěn)離散信源的熵 《 紅樓夢 》 葬花吟 陳力 三國演義主題曲 我們有 )()()(()()((...)()()()()()(1211211121121121221122112112121??????????????????????????????????????????????????????????NNNNNNNNNNNNNNNNNNXXXXNHXXXXHXXHXHXXXXHXXHXHXXXXHXXXXHXXXHXXXXHXXXHXXXH））平穩(wěn)性則 又 得 )()(1)( 12121 ????????? NNNN XXXXHXXXHNXH)]()()1[(1)]()()1[(1)]()([1)(1)(1121112112121XHXHNNXXXXHXHNNXXXXHXXXHNXXXHNXHNNNNNNNNNN??????????????????????????)()( 1 XHXH NN ???????????? ? )()()(0 11 XHXHXH NN 定理 說明： ? 隨機(jī)變量之間的依賴性在某種程度上降低了信源的不確定性，即使信源（符號）攜帶的信息量減少。( YXIZXI ?當(dāng)且僅當(dāng) Y和 Z是一一對應(yīng)關(guān)系時(shí)，等號成立。 穿越鳳凰山 游戲：動作 傳遞 信息不增性原理 (定理 ) 信道 Ⅰ p(y|x) 信道 Ⅱ p(z|y) X Y Z )。()。( )|( DRYXIYXI xyp ?? R(D) —率失真函數(shù) )(lo g)( xpxI a??)()|(l og)。( )( C — 信道容量 )]|([)1()]|([)]|([ 21 xypIxypIxypI ??????)()。 CYXIYXI xp ?? )。 )]([)1