【文章內(nèi)容簡介】 rrrrPPPXPxxxXPX??2121:)(:][構(gòu)造離散信源為： 1)()(1 )1(1??? ?? ?????????bariiaiarii dxxpdxxpP第 3節(jié) 相對熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 現(xiàn)設有另外一個概率密度函數(shù) q(x)，在區(qū)間 [a,b]內(nèi)連續(xù)，且 0a bix?()iqx?x?)1( ?? ia ?ia?將區(qū)間 [a,b] 劃分成 r個相等的小區(qū)間，每個小區(qū)間的大小為 r ab ???? ?ba dxxq 1)(第 3節(jié) 相對熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 i ( 1) ( ) ( ) ( )aiiaiQ q x dx q x??? ? ? ?? ? ?? 中 值 定 理r 1 212:[]( ) :rrrrX x x xXPP X Q Q Q? ? ??? ????構(gòu)造另外一個離散隨機變量為 ( 1)11( ) ( ) 1rr a i bi a i aiiQ q x dx q x dx??? ? ???? ? ??? ??由離散熵的極值性 (p24)知： iriiirii QPPP l ogl og11???????第 3節(jié) 相對熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 11( ) lo g [ ( ) ] ( ) lo g [ ( ) ]rri i i iiip x p x p x q x???? ? ? ? ? ? ???0011l im { ( ) l o g [ ( ) ] } l im { ( ) l o g [ ( ) ] }rri i i iiirrp x p x p x q x? ? ? ???? ? ? ??? ? ? ? ? ? ? ???00( ) l o g ( ) l im { l o g } ( ) l o g ( ) l im { l o g }bbaarrp x p x d x p x q x d x? ? ? ?? ? ? ?? ? ? ? ? ? ???第 3節(jié) 相對熵的極值性 dxxgqloxpdxxgploxp baba )()()()( ?? ???日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 dxxgqloxph(X ) ba )()(???即：說明相對熵具有極大值 第 3節(jié) 相對熵的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 證明 f( )的上凸性 )()()(2121 xfxfxxf ???? ???第 4節(jié) 相對熵的上凸性 證明 h( )的上凸性 112233: ( ) ( ) ( ) lo g ( ) [ ( ) ]: ( ) ( ) ( ) lo g ( ) [ ( ) ]: ( ) ( ) ( ) 0 , 1 1( ) ( ) lo g ( ) [ ( ) ] [ ( ) ( ) ]X p x h X p x p x dx h p xX q x h X q x q x dx h q xX r x p x q x andh X r x r x dx h r x h p x q x? ? ? ? ? ????????????? ? ?? ? ?? ? ? ? ? ?? ? ? ? ????[ ( ) ( ) ] [ ( ) ] [ ( ) ]h p x q x h p x h q x? ? ? ?? ? ?日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 證明 設 p(x)為隨即變量 X1的概率密度函數(shù)， q(x)為隨機變量 X2的概率密度函數(shù)，則有 1)( ????? dxxp1)( ????? dxxq令 11,0)()()( ?????? ?????? 且其中xqxpxr第 4節(jié) 相對熵的上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 1)()()]()([)(?????????????????????????????dxxqdxxpdxxqxpdxxr即： r(x)可以看作連續(xù)信源 X的概率密度函數(shù) 第 4節(jié) 相對熵的上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 ?? ?????? ????? dxxrxqxpdxxrxrXh )(l og)]()([)(l og)()( ???? ?????? ??? dxxrxqdxxrxp )(l og)()(l og)( ???? ?????? ??? dxxqxqdxxpxp )(l og)()(l og)( ??)(][ 21 XhXh ?? ??第 4節(jié) 相對熵的上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 1) 約束條件： 一般來說，連續(xù)信源 X受到的約束條件有如下幾種： ( ) 1f x dx??? ?? ()x f x dx m??? ??2 ()x f x d x P??? ??一般分析： 2) 歐拉－拉哥朗日方程 第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 2[ ( ) , ]( ) [ ( ) 1 ] [ ( ) ] [ ( ) ]F f x xh x f x dx x f x dx m x f x dx P? ? ?? ? ??? ?? ??? ? ? ? ? ? ?? ? ?2( ) ln ( ) [ ( ) 1 ][ ( ) ] [ ( ) ]f x f x dx f x dxx f x dx m x f x dx P??????? ?????? ??? ? ? ?? ? ? ?????2[ ( ) ln ( ) ( ) ( ) ( ) ][]f x f x f x x f x x f x dxmP? ? ?? ? ????? ? ? ? ?? ? ??第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 2{ [ ( ) ln ( ) ( ) ( ) ( ) ] }[ ( ) , ]0( ) ( )f x f x f x x f x x f x dxF f x xf x f x? ? ????? ? ? ? ?????? ?2ln ( ) 1 0f x x x? ? ?? ? ? ? ? ? ?})1e x p { ()( 2xxxp ??? ??????第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 3) 最大相對熵 ?? ?????? ???????? dxxxxpdxxpxpXh })1e xp{ (ln)()(ln)()( 2???? ??? ?????? dxxxxp })1){ (( 2???])1[( Pm ??? ??????第 5節(jié) 最大相對熵定理 說明：雖然寫出了在三個約束條件下相對熵取得最大值時的概率密度函數(shù)，及相應的最大相對熵表達式。但是我們無法確定參數(shù) ??? ,日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 4) 結(jié)論 設有連續(xù)信源 X，其樣本空間 [a,b], p(x)是它的概率密度函數(shù)。滿足 1)( ?? ??? dxxp mdxxxp ?? ??? )(Pdxxpx ?? ??? )(2則當 })1e x p { ()( 2xxxp ??? ????? 時 信源相對熵取得最大值 ])1[()( PmXh ??? ??????第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 匹配連續(xù)信源的性質(zhì) 1)( ????? dxxp mxxp ????? )( Pdxxpx ????? )(2第 5節(jié) 最大相對熵定理 性質(zhì) 1： 若在滿足下面三個約束條件情況下， p(x)是能夠使得相對熵取得最大值的概率密度函數(shù)。 q(x)與 p(x)具有相同取值區(qū)間且滿足同樣約束條件的 任意 概率密度函數(shù) ，即 1)( ????? dxxq mdxxxq ?? ??? )( Pdxxqx ????? )(2日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 則必有： dxxgploxpdxxgploxq )()()()( ?? ?????? ???第 5節(jié) 最大相對熵定理 證明： 右式左式???????????????????????????????????????dxxgploxpPmdxxxxqdxxxgloxqdxxgploxq)()(])1[(])1[()(]})1[ e x p { ()()()(22?????????日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 性質(zhì) 2： dxxgploxpdxxgploxq )()()()( ?? ?????? ???若 p(x)為滿足某些約束條件的一種具體概率密度函數(shù)， q(x)滿足同樣約束條件的 任意 概率密度函數(shù)。若等式 第 5節(jié) 最大相對熵定理 恒成立，則 p(x)為滿足該約束條件下能使相對熵取得最大值時對應的概率密度函數(shù)。 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 說明 ：性質(zhì) 2可以用來驗證某概率密度函數(shù)是否為具體約束條件下的匹配信源 第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 峰值受限信源的最大相對熵定理 對于峰值受限信源，當其分布服從均勻分布時，相對熵取得最大值 第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 服從均勻分布。即且取值區(qū)間均為設概率密度函數(shù) )(],[)(),( xpbaxqxp????? ????其它0)(1 bxaxpab證明下面的等式即可 1) 分析 dxxgploxpdxxgploxq )()()()( ?? ?????? ???第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 )l og ()(1l og)()( abdxxqabdxxgploxq ba ?????? ?? ????2) 證明： )l og (11l og)()( abdxababdxxgploxp ba ??????? ?? ???dxxgploxpdxxgploxq )()()()( ?? ?????? ????第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 均值受限信源的最大相對熵定理 對于均值受限信源，當其分布服從指數(shù)分布時，相對熵取得最大值 第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波