【正文】 函數(shù)是否為具體約束條件下的匹配信源 第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 峰值受限信源的最大相對熵定理 對于峰值受限信源，當(dāng)其分布服從均勻分布時(shí)，相對熵取得最大值 第 5節(jié) 最大相對熵定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 服從均勻分布。即：學(xué)期望也等于對應(yīng)的隨機(jī)變量的數(shù)率密度函數(shù)。即：的概率密度函數(shù)的隨機(jī)于、數(shù)學(xué)期望也等率為為任意的對應(yīng)的平均功度函數(shù)。 模型 將數(shù)據(jù)處理系統(tǒng)和前面的傳輸信道一起構(gòu)成串聯(lián)信道，分別討論串聯(lián)信道中平均交互信息量 I(X。Z), I(X。 第 9節(jié) 數(shù)據(jù)處理定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 模型的數(shù)學(xué)表述 ??? ?? badxxpxpP baXPX 1)()(: ],[::],[],[1)/( baxdyxypba ??? ????? ??? ? ??badyypypP baYPY 1)()(: ],[::],[],[]。,[]。Z)和 I(Y。(? ? ??? ?????????????????babababababad x d y d zzpyzpxyzpZYIdxxyzpyzpd y d zzpyzpyzpZYI)()/(l o g)()。(? I(X。Z)之間的關(guān)系 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 型凸函數(shù)，所以的對數(shù)式因?yàn)榈讛?shù)大于 ??? ? ? ???????1)/()/(l o g)()。( bababad x d y d zxyzpyzpxyzpZXYIZYI第 9節(jié) 數(shù)據(jù)處理定理 01l o g})/()(l o g {})/()(l o g {})/()/()/()(l o g {})/()/()(l o g {)/()/(l o g)()。(????????? ? ?? ? ?? ? ?? ? ?? ? ???????????????????????????????bababababababababababababababadzyzpd x d yxypd x d y d zyzpxypd x d y d zxyzpyzpxyzpxypd x d y d zxyzpyzpx y zpd x d y d zxyzpyzpx y zpZXYIZYI日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 第 9節(jié) 數(shù)據(jù)處理定理 當(dāng)且僅當(dāng)對 p(z/xy)=p(z/y)時(shí) 即連續(xù)隨機(jī)變量序列 (XYZ)構(gòu)成馬氏鏈時(shí)，取等號。()。Z)和 I(X。(? ? ??? ?????????????????babababababad x d y d zzpxzpx y zpZXIdyx y zpxzpd x d zzpxzpxzpZXI)()/(l o g)()。( ?型凸函數(shù)，所以的對數(shù)式因?yàn)榈讛?shù)大于 ??? ? ? ???????1)/()/(l o g)()。( bababad x d y d zxyzp xzpxyzpZXYIZYI日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 第 9節(jié) 數(shù)據(jù)處理定理 當(dāng)且僅當(dāng)對 p(z/xy)=p(z/x)時(shí) 即連續(xù)隨機(jī)變量序列 (YXZ)構(gòu)成馬氏鏈 時(shí)，取等號。()。()。()。()。()。 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )。( XYIXZYI ?)/()/( yzpxyzp ?)/()/()/()/()/()/()()/()()/()()/()()()()/(yxpyzxpyxpyzxpyzpyxpypyzxpyzpyxpypyzxpyzpxypxyzpxyzp???????即當(dāng) (XYZ)為馬氏鏈時(shí) (ZYX)也是馬氏鏈。()。()。()。()。()。 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 模型 信道 p(y/x) X:[a,b] Y:[a’,b’] 數(shù)學(xué)表述 1)、信源 ??? ?? ba dxxpxpPbaXPX 1)()(:],[::],[2)、接收信號 ??? ??? ? ??ba dyypypPbaYPY 1)()(:],[::],[3)、信道 )/( xyp日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 平均互信量的最小值 ( ) ( )( 。( ?? YXI 即平均互信量的最小值為 0 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 4)、關(guān)系 ],[1)/( baxdyxypba ??? ??],[1)/( baydxyxpba ?????)/()()/()()( yxpypxypxpxyp ???? ???? ?? baba dyyxpypdyxypxp )/()()()(?? ?? baba dxxypxpdxxypyp )/()()()(第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 平均互信量的最大值 主要通過證明平均互信量為 一個(gè) ?型凸函數(shù) 來說明平均互信量具有最大值。(11111? ? ???? ba ba bad x d ydxxypxpxypxypxp)/()()/(l o g)/()(112)、在給定信道 (p(y/x))，接另一個(gè)在 [a,b]區(qū)間分布且概率密度函數(shù)為 p2(x)的信源，則有： 信道 p(y/x) X2:[a,b] Y2:[a’,b’] p2(y) p2(x) 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ii. 輸出隨機(jī)變量 Y2的概率密度函數(shù) ?? ba dxxypyp )()( 22滿足 1)(2 ?? ?? dyypbai. 信源 X2與輸出隨機(jī)變量 Y2的聯(lián)合概率密度函數(shù) )/()()( 22 xypxpxyp ?滿足 1)(2 ?? ? ??ba ba d x d yxyp第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 iii. 后驗(yàn)概率函數(shù) )()()/(222 ypxypyxp ?滿足 1)/(2 ?? dxyxpbaiv. 則平均互信量為 ? ? ??? ba ba dx dyyp xypxypYXI )( )/(l og)()。(3333)]([)/()()/(l o g)/()(333 xpId x d ydxxypxpxypxypxpbaba ba?? ? ????第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 4)、證明 )]([)]([)]([ 321 xpIxpIxpI ?? ??1 2 1 2[ ( ) ] [ ( ) ] [ ( ) ( ) ]I p x I p x I p x p x? ? ? ?? ? ? ?? ? ??? ba ba dx dyyp xypxypxp )( )/(l og)/()(11?? ? ??? ba ba dx dyyp xypxypxp )( )/(l og)/()(22?? ? ?? ?? ba ba dx dyyp xypxypxpxp )( )/(l og)/()]()([321 ??第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ?? ??????babababad x d yypxypxpd x d yxypxypxp)(l o g)/()()/(l o g)/()(111??－? ?? ??????babababad x d yypxypxpd x d yxypxypxp)(l o g)/()()/(l o g)/()(222??－? ?? ????????babababad x d yypxypxpxpd x d yp ( y / x )p ( y / x )( x )βp( x )αp)(l o g)/()]()([l o g][32121??＋第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ? ??? ba ba dx dyypxypxp )(l og)/()( 11?－? ? ??ba ba dx dyypxypxp )(l og)/()( 22?－? ? ?? ?ba ba dx dyypxypxpxp )(l og)/()]()([ 321 ??＋? ?? ???????babababad x d yypypxypxpd x d yypypxypxp)()(l o g)/()()()(l o g)/()(232131??1)/()(1 1 ＝且的對數(shù)函數(shù)時(shí)上凸函數(shù)底數(shù)大于 ? ? ??ba ba dx dyxypxp?第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 3113111331()( ) ( / ) l og()()l og[ ( ) ]()l og[ ( / ) ( ) ]l og ( ) [ ( / ) ]l og 1 0bbaabbaabbaabbaapyp x p y x dx dypypyp x y dx dypyp x y p y dx dyp y p x y dx dy???????????????????????????0)( )(l og)/()(232 ?? ???babadx dyyp ypxypxp?同理：第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北