【正文】 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 第 6章 單維連續(xù)信源與信道 ? 單維連續(xù)信源的 相對熵和平均交互信息量 ? 幾種 單維 連續(xù)信源的相對熵 ? 連續(xù)信源 相對熵的極值性 ? 連續(xù)信源 相對熵的上凸性 ? 連續(xù)信源 最大相對熵定理 ? 數(shù)據(jù)處理定理 ? 連續(xù)信道的容量 ? 高斯信道的容量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 假設(shè)信源與信宿分別用連續(xù)隨機變量 X 和 Y表示，其聯(lián)合概率密度分布 (PDF)為 fXY(x,y)，其邊緣分布分別為 fX(x) 和 fY(y) 相對熵 1)、信源模型 : [ , ][]( ) : ( )XX a bXPP X f x?????第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 0a bix()XifxXx?)1( ?? ia ?ia?將區(qū)間 [a,b] 劃分成 r個相等的小區(qū)間，每個小區(qū)間的大小為 rab ???2)、連續(xù)信源的離散化 第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 ( 1 ) ( ) ( ) ( )aii X iaiP f x d x f x??? ? ?? ? ? ?? 積 分 中 值 定 理r 1 212:[]( ) :rrrX x x xXPP X P P p??? ??則相應的離散信源為： ( 1)11( ) ( ) 1rr a i bi X Xa i aiiP f x dx f x dx??? ? ???? ? ??? ??第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 離散化信源的熵 1111111( ) l o g [ ( ) ] l o g [ ( ) ][ ( ) ] l o g ( ) [ ( ) ] l o g( ) l o g ( ) l o g [ ( ) ]( ) l o g ( ) l o grrr i i X i X iiirrX i X i X iiirrX i X i X iiirX i X iiH X P P f x f xf x f x f xf x f x f xf x f x???????? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ?? ? ? ? ? ????????第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 連續(xù)信源的熵 001( ) l i m ( )l i m [ ( ) l o g ( ) ] l i m l o grrrX i X iiH X H Xf x f x??? ? ? ???? ? ? ? ? ??0( ) l o g ( ) l i m l o gbXXa f x f x dx ??? ? ? ??相對熵 )(Xh第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 接收信號 Y的相對熵 Y : [ , ][]( ) : ( )YabYPP Y f y????? ??第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 0a? b?jyj(y )Yf )Yfy?)1j( ???a ?j??a將區(qū)間 [a’ ,b’ ] 劃分成 s個 相等的小區(qū)間，則各小區(qū)間的大小為 bas?????連續(xù)隨機變量的離散化 第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 ( 1 )( y ) ( ) ( )ajj Y Y jajP f d y f y????????? ? ? ?? 中 值 定 理s 1 212:[]( ) :ssssY y y yYPP Y P P P????? ?? ????相應的離散隨機變量為 ( 1 )j 1 1( ) ( ) 1ss a j bj Y Ya j ajP f y d y f y d y?????????? ? ? ??? ??第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 離散隨機變量的熵 1111111( Y ) l o g [ ( ) ] l o g [ ( ) ][ ( ) ] l o g ( ) [ ( ) ] l o g( ) l o g ( ) l o g [ ( ) ]( ) l o g ( ) l o gsss j j Y j Y jjjssY j Y j Y jjjssY j Y j Y jjjsY j Y jjH P P f y f yf y f y f yf y f y f yf y f y??? ? ?? ? ??????????? ? ? ? ? ?? ? ? ? ?? ? ? ? ? ?? ? ? ????????第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 連續(xù)隨機變量 Y的熵 001( Y ) l i m ( )l i m [ ( ) l o g ( ) ] l i m l o gsssY j Y jjH H Yf y f y??????????? ? ? ??0( y ) l o g ( ) l i m l o gbYYa f f y dy ? ??? ?? ? ??相對熵 )(Yh第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 條件 相對熵 1) 連續(xù)信道模型 ?? ?? b][ a ,:X/ ( / )[ , ] [ , ]YXf y xx a b y a b?????? ?? ?? ]b,a[:Y /( / ) 1b YXa f y x dy?? ??第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 2) 轉(zhuǎn)移概率密度函數(shù)的離散化 { ( 1 ) 。 ( 1 ) }ijP P a i X a i a j Y a j????? ? ? ? ? ? ? ? ? ? ? ? ?( 1) ( 1) ()a i a jXYa i a j f x y dx dy???? ? ??? ? ? ? ?? ??/( 1) ( 1) ( ) ( / )a i a jX Y Xa i a j f x f y x dx dy???? ? ??? ? ? ? ?? ??/( 1 ) ( 1 ) ( ) ( / )a i a jY X Ya i a j f y f x y d xd y???? ? ??? ? ? ? ?? ??第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 /( 1 ) ( 1 )( ) ( / )a i a ji j Y j X Ya i a jP f y f x y d xd y???? ? ??? ? ? ? ??? ?? /( ) ( / )Y j X Y i j i jf y f x y ?? ? ? ? ?二重中值定理 ],)1([],)1([),( ?? jajaiaiayx ijij ????????????///( ) ( / ) ( )( / )( ) ( )i j Y j X Y i j i j Y ji j X Y i j i jj Y j Y jP f y f x y f yP f x yP f y f y???? ? ?? ? ? ? ?? ?第 1節(jié) 相對熵與平均交互信息量 ],)1([ ?? jajay j ???????日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 3) 條件熵 /11( / ) l o grsr s ij i jijH X Y P P???? ??/11()l o g [ ( / ) ]()rsYji j X Y i j i jij YjfyP f x yfy???? ? ? ? ???//1 1 1 1()( ) ( / ) l o g ( / ) l o g()r s r sYjY j X Y i j i j X Y i j i j i ji j i jYjfyf y f x y f x y Pfy ?? ? ? ??? ?? ? ? ? ? ? ?????? ? ? ?//11()( ) ( / ) l o g ( / ) l o g()rsYjY j X Y i j i j X Y i j i jij Yjfyf y f x y f x yfy ????? ?? ? ? ? ? ? ???????第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 00//0011( / ) li m ( / )()li m ( ) ( / ) lo g ( / ) li m lo g()rsrsYjY j X Y ij ij X Y ij ijij YjH X Y H X Yfyf y f x y f x yfy???????? ? ? ???????? ?? ? ? ? ? ? ??????? // 0( ) ( / ) l o g ( / ) l i m l o gbb Y X Y X Yaa f y f x y f x y dx dy?? ??? ? ? ???條件相對熵 )/( YXh第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 0// 0( 。 ) ( ) ( / ) ( ( ) l o g ( ) l i m l o g )( ( ) ( / ) l o g ( / ) l i m l o g )bXXabbY X Y X yaaI X Y H X H X Y f x f x dxf y f x y f x y dx dy???? ??? ? ? ? ? ?? ? ? ????//( ) l o g ( ) ( ( ) ( / ) l o g ( / ) )b b bX X Y X Y X Ya a af x f x dx f y f x y f x y dx dy??? ? ? ?? ? ?)/()( YXhXh ??/ ( / )( , ) l o g()bb XYXYaaXf x yf x y dx dyfx??? ?? 平均交互信息量 第 1節(jié) 相對熵與平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學物電學院蔣碧波 所以有 d x d yyxf