信息論與編碼課件第二章(參考版)
2025-05-10 22:26本頁(yè)面
【正文】 （龍清泉）56公斤級(jí)我的熵功率最大 ！！！ 連續(xù)信源的熵功率 PPeeeeePn atdxxpxpXHdxxdxmxxpPdxxxpmXHcc??????????????????????242121/2ln)(ln)()()2(21)()(2)(2ln2)(23123123131熵功率符號(hào)相對(duì)熵平均功率均值解：第二章 小結(jié) 兩個(gè)概念 自信息與互信息 兩種信源 離散信源與連續(xù)信源 )(1lo g)(xpxI a? )()|(lo g)。 任何一個(gè)信源的熵功率小于或等于其平均功率，當(dāng)且僅 當(dāng)信源為高斯信源時(shí)，熵功率與平均功率相等?？芍?dāng)由引理連續(xù)信源的最大相對(duì)熵 連續(xù)信源的最大相對(duì)熵 證畢。 （離散情形：等概） 證明：設(shè)隨機(jī)變量 X概率密度函數(shù)為 q(x)，有 又設(shè)均勻分布時(shí)概率密度函數(shù)為 p(x),有 且 則需證 )l o g ()( abXH c ??? ?ba dxxq 1)(abxp ??1)(0|)(|)( )()( ?? xpcxqc XHXH連續(xù)信源的最大相對(duì)熵 ? ?ba dxxp 1)( 0])(1[2ln1]1))((1)[(2ln1]))((1l n [)(2ln1)])((l n [)(2ln1)])((l og[)()l og()()(l og)()l og()(l og)(|)(|)()()(?????????????????????????????????bababababababababaxpcxqcdxxqdxabdxabxqxqdxabxqxqdxabxqxqdxabxqxqdxabxqdxxqxqabdxxqxqXHXH定理 （平均功率受限） 若給定連續(xù)型隨機(jī)變量 X的方差為 ，則 X的相對(duì)熵 當(dāng)且僅當(dāng) X服從服從 Gaussian分布時(shí)等號(hào)成立。()。( YXHXHYXI cc ??)()|( XHYXH cc ?)|()()( XYHXHXYH ccc ??)|。()。(???YXI連續(xù)信源的相對(duì)熵、 平均互信息的性質(zhì) 0)。(解：連續(xù)信源的 平均互信息 計(jì)算 符號(hào)/11ln2121)1(212111ln2)(2)()())((2)()1(2111ln)()()()(ln)()。 例 :設(shè)有二維高斯概率密度函數(shù) ?????????? ??????????????????????????? 222222)())((2)()1(21e x p121)(YYYXYXXXYXXYmymymxmxxy)( xyXY?—— 連續(xù)隨機(jī)變量 X、 Y 的均值 —— 連續(xù)隨機(jī)變量 X、 Y 的方差 —— 相關(guān)系數(shù)（歸一化協(xié)方差） YXYX mymxE???)])([( ???YX ?? ,YX mm ,求 I(X。(????連續(xù)信源的 I(X。(ypxpxypyxIYXXY?連續(xù)信源的互信息 連續(xù)信源的平均互信息 ? ??X Y YXXYXY ypxpxypxypYXI)()()(l o g)()。 設(shè)連續(xù)隨機(jī)變量 X 有概率密度 p(x) 如下： ??????????????????)(,)(10,)ln1(2)()(,)(0,)1(2)(22YHXHyyyyqyqeXfYxxxpccX而則為其概率密度令連續(xù)信源的相對(duì)熵 2. Hc(X)取負(fù)值 設(shè)連續(xù)隨機(jī)變量 X 有概率密度 p(x) 如下： 0)l o g (1l o g1)(,01,1)(????????????????????? abdxababXHaxbxabbxaabxpbac則連續(xù)信源的相對(duì)熵 例 ：設(shè)連續(xù)型隨機(jī)變量 X 在區(qū)間 [a,b]上服從均勻 分布 則 ?????????其他01)(: bxaabxpX)l o g (1l o g1)( abdxababXH bac?????? ?連續(xù)信源的熵計(jì)算 例 ：具有正態(tài)分布（高斯分布）的連續(xù)型隨機(jī)變量 ????????????????????????dxxpmxmxEdxxxpXEmmmxxpX)()(])[()(][]2)(e xp [21)(:2222222為方差為均值其中：連續(xù)信源的熵計(jì)算 則 222222222222l og21l og212l og))((2l og2l og2)()(l og21l og)(]}2)(e xp [21l og {)()(l og)()(??????????????????????????????????????????????????????eedxmxxpedxmxxpedxxpdxmxxpdxxpxpXHc22l o g21)( ??? eXHc連續(xù)信源的熵計(jì)算 連續(xù)信源的信息熵 連續(xù)信源的條件熵與聯(lián)合熵 dydxxyxyXYHY XR XYR XYc ? ??? )(l og)()( ??dydxyxxyYXHY XR XYR XYc ? ??? )|(l og)()|( ??? ?? ???Xx YyxypxypXYH )(l o g)()(? ?? ???Xx YyyxpxypYXH )|(l o g)()|(連續(xù)信源的互信息 連續(xù)信源的互信息 )()()(l o g)。 ? Hc(X)的取值：可能不存在，可能為負(fù)值。非絕對(duì)值，而為相對(duì)值。 ? 從物理層面上： 作為參考點(diǎn)， 是相對(duì)值，實(shí)際通信中關(guān)心的是熵差，所以重點(diǎn)研究它符合信息理論研究的本質(zhì)上的需求。 E2 1: 0: 1: 1: 1: 0: 0: 00 11 10 01 0: E3 E4 E1 圖 26 二階馬爾可夫信源狀態(tài)圖 馬爾可夫信源的熵 狀態(tài)轉(zhuǎn)移概率矩陣為 根據(jù)狀態(tài)轉(zhuǎn)移矩陣 ， 可得極限分布應(yīng)滿足 0 . 80 . 200E000 . 50 . 5E0 . 50 . 500E000 . 20 . 8EEEEE432143211 1 32 1 33 2 44 2 41 2 3 4( ) 0 .8 ( ) 0 .5 ( )( ) 0 .2 ( ) 0 .5 ( )( ) 0 .5 ( ) 0 .2 ( )( ) 0 .5 ( ) 0 .8 ( )( ) ( ) ( ) ( ) 1Q E Q E Q EQ E Q E Q EQ E Q E Q EQ E Q E Q EQ E Q E Q E Q E???????????? ???? ? ? ? ??馬爾可夫信源的熵 解方程 ， 得 因此 ， 信源熵為 1423( ) ( ) 5 / 1 4( ) ( ) 1 / 7Q E Q EQ E Q E???????1 1 1( ) ( | ) ( ) ( | ) l og ( | )5 1 1 5( , ) ( , ) ( , ) ( , )14 7 7 1452 219 1 0 ( / )77qJJi i i k i k ii i kQ E H X u E Q E P a E P a EH H H H? ? ???? ? ? ?? ? ? ? ??
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1