【正文】 )。()。( XYIXZYI ?)/()/( yzpxyzp ?)/()/()/()/()/()/()()/()()/()()/()()()()/(yxpyzxpyxpyzxpyzpyxpypyzxpyzpyxpypyzxpyzpxypxyzpxyzp???????即當(dāng) (XYZ)為馬氏鏈時(shí) (ZYX)也是馬氏鏈。即 4)當(dāng) (XYZ)是馬氏鏈時(shí) 第 9節(jié) 數(shù)據(jù)處理定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )。()。( XZIXZYI ?)。()。( XZIXYI ??)。()。()。()。( XZIZXIXYIYXI ???)。()。( ZXIYXI ??同理： 第 9節(jié) 數(shù)據(jù)處理定理 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 第 9節(jié) 數(shù)據(jù)處理定理 數(shù)據(jù)處理定理：任何數(shù)據(jù)處理過(guò)程總要丟失一定的信息量，最多不丟失信息量，但絕對(duì)不會(huì)增加信息量，數(shù)據(jù)處理的作用知識(shí)使信息變得更有用，而不是增加信息量。 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 模型 信道 p(y/x) X:[a,b] Y:[a’,b’] 數(shù)學(xué)表述 1)、信源 ??? ?? ba dxxpxpPbaXPX 1)()(:],[::],[2)、接收信號(hào) ??? ??? ? ??ba dyypypPbaYPY 1)()(:],[::],[3)、信道 )/( xyp日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 平均互信量的最小值 ( ) ( )( 。 ) ( ) lo g()bbaap x p yI X Y p x y dx dyp x y???? ??( ) ( )lo g [ ( ) ]()bbaap x p yp x y dx dyp x y??? ??lo g [ ( ) ( ) ]bbaa p x p y dx dy????＝01lo g ＝＝0)。( ?? YXI 即平均互信量的最小值為 0 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 4)、關(guān)系 ],[1)/( baxdyxypba ??? ??],[1)/( baydxyxpba ?????)/()()/()()( yxpypxypxpxyp ???? ???? ?? baba dyyxpypdyxypxp )/()()()(?? ?? baba dxxypxpdxxypyp )/()()()(第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 平均互信量的最大值 主要通過(guò)證明平均互信量為 一個(gè) ?型凸函數(shù) 來(lái)說(shuō)明平均互信量具有最大值。 )()()( 2121 xfxfxxf ???? ???)]([)]([)]()([ 2121 xpIxpIxpxpI ???? ???若函數(shù) f()為 概率密度函數(shù)的 上凸函數(shù)則有 同理若函數(shù) I[p(x)]為 p(x)的上凸函數(shù)則有 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 下面將對(duì)此進(jìn)行證明 1)、在給定信道 (p(y/x))，接一個(gè)在 [a,b]區(qū)間分布且概率密度函數(shù)為 p1(x)的信源，則有： 信道 p(y/x) X1:[a,b] Y1:[a’,b’] p1(y) p1(x) i. 信源 X1與輸出隨機(jī)變量 Y1的聯(lián)合概率密度函數(shù) )/()()( 11 xypxpxyp ?滿足 1)(1 ?? ???baba d x d yxyp第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ii. 輸出隨機(jī)變量 Y1的概率密度函數(shù) ?? ba dxxypyp )()( 11滿足 1)(1 ?? ?? dyypbaiii. 后驗(yàn)概率函數(shù) )()()/(111 ypxypyxp ?滿足 1)/(1 ?? dxyxpba第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 iv. 則平均互信量為 ? ? ???? ba ba dx dyyp xypxypxpIYXI )( )/(l og)()]([)。(11111? ? ???? ba ba bad x d ydxxypxpxypxypxp)/()()/(l o g)/()(112)、在給定信道 (p(y/x))，接另一個(gè)在 [a,b]區(qū)間分布且概率密度函數(shù)為 p2(x)的信源，則有： 信道 p(y/x) X2:[a,b] Y2:[a’,b’] p2(y) p2(x) 第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ii. 輸出隨機(jī)變量 Y2的概率密度函數(shù) ?? ba dxxypyp )()( 22滿足 1)(2 ?? ?? dyypbai. 信源 X2與輸出隨機(jī)變量 Y2的聯(lián)合概率密度函數(shù) )/()()( 22 xypxpxyp ?滿足 1)(2 ?? ? ??ba ba d x d yxyp第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 iii. 后驗(yàn)概率函數(shù) )()()/(222 ypxypyxp ?滿足 1)/(2 ?? dxyxpbaiv. 則平均互信量為 ? ? ??? ba ba dx dyyp xypxypYXI )( )/(l og)()。(2222)]([)/()()/(l o g)/()(222 xpId x d ydxxypxpxypxypxpbaba ba?? ? ????第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 3)、在給定信道 (p(y/x))，接另一個(gè)在 [a,b]區(qū)間分布且概率密度函數(shù)為 p3(x)= ?p1(x)+?p2(x)( 其中 ?+?=1)的信源，則有： 信道 p(y/x) X3:[a,b] Y3:[a’,b’] p3(y) p3(x) ii. 輸出隨機(jī)變量 Y3的概率密度函數(shù) ?? ba dxxypyp )()( 33i. 信源 X3與輸出隨機(jī)變量 Y3的聯(lián)合概率密度函數(shù) )/()()( 33 xypxpxyp ?滿足 1)(3 ?? ???baba d x d yxyp第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 滿足 1)(3 ?? ?? dyypbaiii. 后驗(yàn)概率函數(shù) )()()/(333 ypxypyxp ?滿足 1)/(3 ?? dxyxpbaiv. 則平均互信量為 ? ? ??? ba ba dx dyyp xypxypYXI )( )/(l og)()。(3333)]([)/()()/(l o g)/()(333 xpId x d ydxxypxpxypxypxpbaba ba?? ? ????第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 4)、證明 )]([)]([)]([ 321 xpIxpIxpI ?? ??1 2 1 2[ ( ) ] [ ( ) ] [ ( ) ( ) ]I p x I p x I p x p x? ? ? ?? ? ? ?? ? ??? ba ba dx dyyp xypxypxp )( )/(l og)/()(11?? ? ??? ba ba dx dyyp xypxypxp )( )/(l og)/()(22?? ? ?? ?? ba ba dx dyyp xypxypxpxp )( )/(l og)/()]()([321 ??第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ?? ??????babababad x d yypxypxpd x d yxypxypxp)(l o g)/()()/(l o g)/()(111??－? ?? ??????babababad x d yypxypxpd x d yxypxypxp)(l o g)/()()/(l o g)/()(222??－? ?? ????????babababad x d yypxypxpxpd x d yp ( y / x )p ( y / x )( x )βp( x )αp)(l o g)/()]()([l o g][32121??＋第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ? ??? ba ba dx dyypxypxp )(l og)/()( 11?－? ? ??ba ba dx dyypxypxp )(l og)/()( 22?－? ? ?? ?ba ba dx dyypxypxpxp )(l og)/()]()([ 321 ??＋? ?? ???????babababad x d yypypxypxpd x d yypypxypxp)()(l o g)/()()()(l o g)/()(232131??1)/()(1 1 ＝且的對(duì)數(shù)函數(shù)時(shí)上凸函數(shù)底數(shù)大于 ? ? ??ba ba dx dyxypxp?第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 3113111331()( ) ( / ) l og()()l og[ ( ) ]()l og[ ( / ) ( ) ]l og ( ) [ ( / ) ]l og 1 0bbaabbaabbaabbaapyp x p y x dx dypypyp x y dx dypyp x y p y dx dyp y p x y dx dy???????????????????????????0)( )(l og)/()(232 ?? ???babadx dyyp ypxypxp?同理：第 11節(jié) 連續(xù)信道 平均互信量 的 極值性和上凸性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電