【正文】 ???? ????第 5節(jié) 最大相對(duì)熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 平均功率受限信源的最大相對(duì)熵定理 對(duì)于平均功率受限信源，當(dāng)其分布服從正態(tài)分布時(shí)，相對(duì)熵取得最大值 第 5節(jié) 最大相對(duì)熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 變量。即且取值區(qū)間均為設(shè)概率密度函數(shù) )(],[)(),( xpbaxqxp????? ????其它0)(1 bxaxpab證明下面的等式即可 1) 分析 dxxgploxpdxxgploxq )()()()( ?? ?????? ???第 5節(jié) 最大相對(duì)熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )l og ()(1l og)()( abdxxqabdxxgploxq ba ?????? ?? ????2) 證明： )l og (11l og)()( abdxababdxxgploxp ba ??????? ?? ???dxxgploxpdxxgploxq )()()()( ?? ?????? ????第 5節(jié) 最大相對(duì)熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 均值受限信源的最大相對(duì)熵定理 對(duì)于均值受限信源，當(dāng)其分布服從指數(shù)分布時(shí)，相對(duì)熵取得最大值 第 5節(jié) 最大相對(duì)熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 。若等式 第 5節(jié) 最大相對(duì)熵定理 恒成立，則 p(x)為滿足該約束條件下能使相對(duì)熵取得最大值時(shí)對(duì)應(yīng)的概率密度函數(shù)。滿足 1)( ?? ??? dxxp mdxxxp ?? ??? )(Pdxxpx ?? ??? )(2則當(dāng) })1e x p { ()( 2xxxp ??? ????? 時(shí) 信源相對(duì)熵取得最大值 ])1[()( PmXh ??? ??????第 5節(jié) 最大相對(duì)熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 匹配連續(xù)信源的性質(zhì) 1)( ????? dxxp mxxp ????? )( Pdxxpx ????? )(2第 5節(jié) 最大相對(duì)熵定理 性質(zhì) 1： 若在滿足下面三個(gè)約束條件情況下， p(x)是能夠使得相對(duì)熵取得最大值的概率密度函數(shù)。(22 ??????eaaXYhYhYXI??日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 P292 T4 T6 T7 作業(yè)： 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 均勻分布隨機(jī)變量的熵 1()() 0 ( )b a a x bfx?? ? ? ?? ?? 其 他1( ) ( ) lo g ( ) lo g ( ) 1lo g ( )bbaah X f x f x dx b a dxbaba? ? ? ??????已知隨機(jī)變量 X的概率密度函數(shù)如下，求其相對(duì)熵 第二節(jié) 幾種連續(xù)信源的相對(duì)熵 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 2： 高斯分布隨機(jī)變量的相對(duì)熵 2221 ( )( ) e xp{ }22xmfx??????滿足 dxmxxm ? ??? ???? }2 )(e xp{21222 ???dxmx? ??? ??? }2 )(e xp{211222 ???????? xdxmxmx? ??? ????? }2 )(e xp {2 1)( 22222????第二節(jié) 幾種連續(xù)信源的相對(duì)熵 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ( ) ( ) ln ( )h X f x f x dx????? ?如果 m=0，有 Pdxmxx ????? ? ??? }2 )(e xp{2 1 22222????P是隨機(jī)變量 X的平均功率 2221 ( )( ) ln e xp{ }22xmf x dx???????? ? ??第二節(jié) 幾種連續(xù)信源的相對(duì)熵 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 2221 ( )( ) ln ( ) { }22xmf x dx f x dx??????? ???? ? ? ???22211ln ( ) ( )22 f x x m dx??????? ? ? ??e222ln21212ln???????第二節(jié) 幾種連續(xù)信源的相對(duì)熵 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 3： 指數(shù)分布隨機(jī)變量的相對(duì)熵 1 0()00xaexfx ax??????? ??0( ) ( ) ln ( ) ( ) ln ( )h X f x f x dx f x f x dx????? ? ? ???01( ) ln xaf x e dxa? ??? ?001( ) ln ( ) ( )xf x dx f x dxaa??? ? ? ???第二節(jié) 幾種連續(xù)信源的相對(duì)熵 01ln ( ) ln 1 lna x f x dx a aea?? ? ? ? ??日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 設(shè)單維連續(xù)信源 X的信源空間為： ?????)(:)(],[:][xpXPbaXPX連續(xù)信源的離散化 0a bix)( ixp)(xpx?)1( ?? ia ?ia?將區(qū)間 [a,b] 劃分成 r個(gè)相等的小區(qū)間，每個(gè)小區(qū)間的大小為 rab ???第 3節(jié) 相對(duì)熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )()()()1( 中值定理?? ? iia iai xpdxxpP ?? ? ? ?????????rrrrPPPXPxxxXPX??2121:)(:][構(gòu)造離散信源為： 1)()(1 )1(1??? ?? ?????????bariiaiarii dxxpdxxpP第 3節(jié) 相對(duì)熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 現(xiàn)設(shè)有另外一個(gè)概率密度函數(shù) q(x)，在區(qū)間 [a,b]內(nèi)連續(xù)，且 0a bix?()iqx?x?)1( ?? ia ?ia?將區(qū)間 [a,b] 劃分成 r個(gè)相等的小區(qū)間，每個(gè)小區(qū)間的大小為 r ab ???? ?ba dxxq 1)(第 3節(jié) 相對(duì)熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 i ( 1) ( ) ( ) ( )aiiaiQ q x dx q x??? ? ? ?? ? ?? 中 值 定 理r 1 212:[]( ) :rrrrX x x xXPP X Q Q Q? ? ??? ????構(gòu)造另外一個(gè)離散隨機(jī)變量為 ( 1)11( ) ( ) 1rr a i bi a i aiiQ q x dx q x dx??? ? ???? ? ??? ??由離散熵的極值性 (p24)知： iriiirii QPPP l ogl og11???????第 3節(jié) 相對(duì)熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 11( ) lo g [ ( ) ] ( ) lo g [ ( ) ]rri i i iiip x p x p x q x???? ? ? ? ? ? ???0011l im { ( ) l o g [ ( ) ] } l im { ( ) l o g [ ( ) ] }rri i i iiirrp x p x p x q x? ? ? ???? ? ? ??? ? ? ? ? ? ? ???00( ) l o g ( ) l im { l o g } ( ) l o g ( ) l im { l o g }bbaarrp x p x d x p x q x d x? ? ? ?? ? ? ?? ? ? ? ? ? ???第 3節(jié) 相對(duì)熵的極值性 dxxgqloxpdxxgploxp baba )()()()( ?? ???日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 dxxgqloxph(X ) ba )()(???即：說(shuō)明相對(duì)熵具有極大值 第 3節(jié) 相對(duì)熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 證明 f( )的上凸性 )()()(2121 xfxfxxf ???? ???第 4節(jié) 相對(duì)熵的上凸性 證明 h( )的上凸性 112233: ( ) ( ) ( ) lo g ( ) [ ( ) ]: ( ) ( ) ( ) lo g ( ) [ ( ) ]: ( ) ( ) ( ) 0 , 1 1( ) ( ) lo g ( ) [ ( ) ] [ ( ) ( ) ]X p x h X p x p x dx h p xX q x h X q x q x dx h q xX r x p x q x andh X r x r x dx h r x h p x q x? ? ? ? ? ????????????? ? ?? ? ?? ? ? ? ? ?? ? ? ? ????[ ( ) ( ) ] [ ( ) ] [ ( ) ]h p x q x h p x h q x? ? ? ?? ? ?日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 證明 設(shè) p(x)為隨即變量 X1的概率密度函數(shù)， q(x)為隨機(jī)變量 X2的概率密度函數(shù)，則有 1)( ????? dxxp1)( ????? dxxq令 11,0)()()( ?????? ?????? 且其中xqxpxr第 4節(jié) 相對(duì)熵的上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 1)()()]()([)(?????????????????????????????dxxqdxxpdxxqxpdxxr即： r(x)可以看作連續(xù)信源 X的概率密度函數(shù) 第 4節(jié) 相對(duì)熵的上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ?? ?????? ????? dxxrxqxpdxxrxrXh )(l og)]()([)(l og)()( ???? ?????? ??? dxxrxqdxxrxp )(l og)()(l og)( ???? ?????? ??? dxxqxqdxxpxp )(l og)()(l og)( ??)(][ 21 XhXh ?? ??第 4節(jié) 相對(duì)熵的上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 1) 約束條件： 一般來(lái)說(shuō)，連續(xù)信源 X受到的