【正文】 YR XYc ? ??? )(l og)()( ??dydxyxxyYXHY XR XYR XYc ? ??? )|(l og)()|( ??? ?? ???Xx YyxypxypXYH )(l o g)()(? ?? ???Xx YyyxpxypYXH )|(l o g)()|(連續(xù)信源的互信息 連續(xù)信源的互信息 )()()(l o g)。(yxxyyxIYXXY????)()()(l o g)。(ypxpxypyxIYXXY?連續(xù)信源的互信息 連續(xù)信源的平均互信息 ? ??X Y YXXYXY ypxpxypxypYXI)()()(l o g)()。(dydxyxxyxyYXIY XRYXXYR XY? ??)()()(l o g)()。(????連續(xù)信源的 I(X。Y)： 取值有限；為非負值。 例 :設有二維高斯概率密度函數(shù) ?????????? ??????????????????????????? 222222)())((2)()1(21e x p121)(YYYXYXXXYXXYmymymxmxxy)( xyXY?—— 連續(xù)隨機變量 X、 Y 的均值 —— 連續(xù)隨機變量 X、 Y 的方差 —— 相關系數(shù)（歸一化協(xié)方差） YXYX mymxE???)])([( ???YX ?? ,YX mm ,求 I(X。Y) = ? 連續(xù)信源的 平均互信息 計算 ???????????????????????????????????????????????2222222)(e xp21)()(2)(e xp21)()()(()(yyyXYYxxxXYXYXXYmydxxyymxdyxyxyxxy ），求得首先由? ????????? ????? dx dyyxxyxyYXIYXXYXY)()()(ln)()。(解：連續(xù)信源的 平均互信息 計算 符號/11ln2121)1(212111ln2)(2)()())((2)()1(2111ln)()()()(ln)()。(2222222222222n atdxdymymxmymymxmxxydxdyyxxyxyYXIyyxxyyyxyxxxXYYXXYXY????????????????????????????????????????????????????????????????????????????????????????????????? ?? ?????????????????連續(xù)信源的 平均互信息 計算 211ln)。(???YXI連續(xù)信源的相對熵、 平均互信息的性質(zhì) 0)。( ?YXI)。()。( XYIYXI ?)|()()。( YXHXHYXI cc ??)()|( XHYXH cc ?)|()()( XYHXHXYH ccc ??)|。()。()。( YZXIYXIYZXI ??定理 （峰值受限） 若隨機變量 X的取值被限定在區(qū)間 [a,b]，則 X的相對熵 當且僅當 X服從均勻分布時具有最大的相對熵。 （離散情形：等概） 證明：設隨機變量 X概率密度函數(shù)為 q(x)，有 又設均勻分布時概率密度函數(shù)為 p(x),有 且 則需證 )l o g ()( abXH c ??? ?ba dxxq 1)(abxp ??1)(0|)(|)( )()( ?? xpcxqc XHXH連續(xù)信源的最大相對熵 ? ?ba dxxp 1)( 0])(1[2ln1]1))((1)[(2ln1]))((1l n [)(2ln1)])((l n [)(2ln1)])((l og[)()l og()()(l og)()l og()(l og)(|)(|)()()(?????????????????????????????????bababababababababaxpcxqcdxxqdxabdxabxqxqdxabxqxqdxabxqxqdxabxqxqdxabxqdxxqxqabdxxqxqXHXH定理 （平均功率受限） 若給定連續(xù)型隨機變量 X的方差為 ，則 X的相對熵 當且僅當 X服從服從 Gaussian分布時等號成立。 )2l n (21)( 2??? eXH c平均功率（方差）受限完備性的最大值因子法計算證明：應用拉格朗日乘dxmxxdxxXH c 221 )()()()( ??????? ??????????連續(xù)信源的最大相對熵 2?221221221221221)()()()()(221)(1)(1)()()(ln)(ln)(ln)()(ln)()()()()(mxmxmxmxmxcexxedxxeexdxxeexdxexdxexdxxxdxmxxdxxXH???????????????????????????????????????????????????????????????????????????????????????時，等號成立?？芍?，當由引理連續(xù)信源的最大相對熵 連續(xù)信源的最大相對熵 證畢。高斯分布時相對熵高斯分布的值，再由兩個約束條件求)2l n (21)(2)(e xp21)(2121)(2)()()(222222222322221111?????????????????????????????????????????????????????????????????????eXHmxxeedxmxxedxxc)(221 XH ceeP ??熵功率連續(xù)信源的熵功率 例： 有一個連續(xù)信源，它發(fā)出的隨機連續(xù)消息的概率密度函數(shù) p（ x） =1/2 ， 1 ≤ x ≤ 3v ，求該信源消息的平均功率和熵功率。 任何一個信源的熵功率小于或等于其平均功率，當且僅 當信源為高斯信源時，熵功率與平均功率相等。 打個比方：舉重運動員的體重好比平均功率，舉起的重量好比熵功率，這樣同一級別舉重比賽就相當于在平均功率相同的條件下看誰的熵功率大。 （龍清泉）56公斤級我的熵功率最大 ?。?！ 連續(xù)信源的熵功率 PPeeeeePn atdxxpxpXHdxxdxmxxpPdxxxpmXHcc??????????????????????242121/2ln)(ln)()()2(21)()(2)(2ln2)(23123123131熵功率符號相對熵平均功率均值解：第二章 小結 兩個概念 自信息與互信息 兩種信源 離散信源與連續(xù)信源 )(1lo g)(xpxI a? )()|(lo g)。(xpyxpyxIa?