【正文】 l o g)()。(? ?)|(),()。Y) 的凸函數(shù)性 ? ? ? ??? ????Xx YyXxXY xypxpxypxypxpyxIEYXI)|()()|(l o g)|()()。(? ? ? ?? ???Xx YyXY xpyxpxypyxIEYXI)()|(l o g)()。(? ? ? ?? ???Xx YyXY ypxypxypyxIEYXI)()|(l o g)()。(? ? ? ?? ???Xx YyXY ypxpxypxypyxIEYXI)()()(l o g)()。(? ?)|(),()。Y) 的凸函數(shù)性 ? ?)|(),()。Y) = f [p(x)] 是 上凸 函數(shù)。Y) = f [p(y|x)] 是 下凸 函數(shù)。(m a x)。(m i n)。(xpyxpyxIa?小結(jié) 互信息量 —— 信息論中的另一個基本概念（差值） —— 對兩個隨機變量之間統(tǒng)計依存性的信息度量 —— 用來描述信道特性和信源的壓縮特性 信息熵 —— 信息論中的最基礎(chǔ)的基本概念 —— 對隨機變量不確定性的最好的度量 —— 用來描述信源的信息特性 信息不增性原理 (定理 ) 信道 Ⅰ p(y|x) 信道 Ⅱ p(z|xy) X Y Z )。( ZYIZXYI ?當(dāng)且僅當(dāng) p(z|xy)= p(z|y)時，等號成立。()。 平穩(wěn)離散信源 (1)平穩(wěn)離散信源的概念 (2)平穩(wěn)離散信源的熵 (3)信源的冗余度與信息速率 ? 信源的符號序列統(tǒng)計特性與時間的起點無關(guān) 平穩(wěn)離散信源的熵 隨機矢量的熵（聯(lián)合熵） 極限熵（熵率） )()( 21 NXXXHH ??X平均符號熵 )(1)( 21 NN XXXHNH ??X)(lim XNN HH ??? ?定理 設(shè) 證明：極限的存在性 為單調(diào)有界序列。 ? 當(dāng)考慮依賴關(guān)系無限長時，平均符號熵和條件熵都是非遞增地一致趨于平穩(wěn)信源的極限熵。 ? 實際上：因信源的統(tǒng)計特性了解不全 —— 只能算出 作為信源信息量 —— 需要傳遞 的手段。 ? 冗余度存在可以增加抗干擾能力。即 當(dāng)具有時齊性時，即有 及 （ 2）信源某 l時刻所處的狀態(tài)由當(dāng)前的輸出符號和前一時刻 信源的狀態(tài)唯一決定，即 （即已知前一時刻信源狀態(tài)及當(dāng)前輸出符號，則當(dāng)前信源狀態(tài)是確定的，或者說取某個狀態(tài)的概率為 1，取其他狀態(tài)的概率為 0） 則此信源稱為馬爾可夫信源。當(dāng) m=1時，即任何時刻信源符號發(fā)生的概率只與前面一個符號有關(guān)，則稱為一階馬爾科夫信源。 )( iEQ)Q ( E|EEPEQ ijiJjj ???)()(11)(1???JiiEQ)( iEQ馬爾可夫信源的熵 〖 例 〗 有一個二元二階馬爾可夫信源 ， 其信源符號集為 {0， 1}， 各狀態(tài)下輸出各符號的概率如圖 26所示 ， 求信源熵 。連續(xù)隨機變量所包含的信息量為無限大，我們不可能全部獲取，我們關(guān)心的只是其中足以滿足我們所需要的一部分。 ??)( XH)( XH c連續(xù)信源的信息熵 x?? lo g連續(xù)信源的信息熵 連續(xù)信源的熵 )()()( XHXHXH c?? ?dxxxXH XR Xc )(l o g)()( ???? ?相對熵? ?xXH x ??? ??? l o gl i m)( 0絕對熵)(l o g)()( xpxpXH XX Xc???相對熵（微分熵） 對相對熵的說明 ? Hc(X)不能作為連續(xù)信源 X的不確定性的量度，連續(xù)型隨機變量的熵為無窮大。定義與離散情形相統(tǒng)一。 ? ?????? dxxwxwXH c )(l o g)()(連續(xù)信源的相對熵 1. Hc(X)不存在的例子。(yxxyyxIYXXY????)()()(l o g)。(dydxyxxyxyYXIY XRYXXYR XY? ??)()()(l o g)()。Y)： 取值有限；為非負值。Y) = ? 連續(xù)信源的 平均互信息 計算 ???????????????????????????????????????????????2222222)(e xp21)()(2)(e xp21)()()(()(yyyXYYxxxXYXYXXYmydxxyymxdyxyxyxxy ），求得首先由? ????????? ????? dx dyyxxyxyYXIYXXYXY)()()(ln)()。(2222222222222n atdxdymymxmymymxmxxydxdyyxxyxyYXIyyxxyyyxyxxxXYYXXYXY????????????????????????????????????????????????????????????????????????????????????????????????? ?? ?????????????????連續(xù)信源的 平均互信息 計算 211ln)。( ?YXI)。( XYIYXI ?)|()()。()。( YZXIYXIYZXI ??定理 （峰值受限） 若隨機變量 X的取值被限定在區(qū)間 [a,b]，則 X的相對熵 當(dāng)且僅當(dāng) X服從均勻分布時具有最大的相對熵。 )2l n (21)( 2??? eXH c平均功率（方差）受限完備性的最大值因子法計算證明：應(yīng)用拉格朗日乘dxmxxdxxXH c 221 )()()()( ??????? ??????????連續(xù)信源的最大相對熵 2?221221221221221)()()()()(221)(1)(1)()()(ln)(ln)(ln)()(ln)()()()()(mxmxmxmxmxcexxedxxeexdxxeexdxexdxexdxxxdxmxxdxxXH???????????????????????????????????????????????????????????????????????????????????????時，等號成立。高斯分布時相對熵高斯分布的值，再由兩個約束條件求)2l n (21)(2)(e xp21)(2121)(2)()()(222222222322221111?????????????????????????????????????????????????????????????????????eXHmxxeedxmxxedxxc)(221 XH ceeP ??熵功率連續(xù)信源的熵功率 例： 有一個連續(xù)信源，它發(fā)出的隨機連續(xù)消息的概率密度函數(shù) p（ x） =1/2 ， 1 ≤ x ≤ 3v ，求該信源消息的平均功率和熵功率。 打個比方：舉重運動員的體重好比平均功率，舉起的重量好比熵功率，這樣同一級別舉重比賽就相當(dāng)于在平均功率相同的條件下看誰的熵功率大。(xpyxpyxI