【正文】 )( | ) ln ( | ) ( | ) ln ( )1ln 2rsjii j iij jkkr s r si j i j i i j i ji j i jkkP y xp P y xPyI X Yppp P y x P y x p P y x P ypp??? ? ? ???? ??? ??????? ? ? ?????? ? ? ?? ? ? ?????????????? ? ? 。在求信道容量時(shí)，信道確定，即轉(zhuǎn)移概率確定，因此將其作為常量。 ) ( 1 ) ][ ( ) ] [ ( 。()1)(()。 )iPxC I X Y?() 111( | )m a x ( ) ( | ) l o g( ) ( | )irsjii j i rPxijk j kkP y xP x P y xP x P y x???? ???假設(shè) ii pxP ?)()。 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )。記做： )。如果信道固定，則平均交互信息量由先驗(yàn)概率唯一確定。( YHXHYXI ??????????????00100100000110001x2x3x4x1y 2y 4y3y一般無噪聲信道 1x2x3x4x1y2y3y4y1111第 8節(jié) 平均交互信息量的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 設(shè)輸入符號(hào)集為： X={x1,x2,… xr} 輸出符號(hào)集為： Y={y1,y2,… ys} . 信道轉(zhuǎn)移概率： P(yj|xi). 基本條件 平均交互信息量 ?? ?? ??? ?? ???rkijkijijsjriijijjsjriixyPxPxyPxyPxPyPxyPyxPYXI11 11 1)|()()|(l o g)|()()()|(l o g)()。,2,1(0)/(l o g)/(1sjrixyPxyPrjijij?? ???? ???????10)/(ij xyP第 8節(jié) 平均交互信息量的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 若轉(zhuǎn)移概率矩陣中每行只有一個(gè)非零元素 1,則噪聲熵為 0 )()。,2,1(0)/(l o g)/(1sjriyxPyxPrijiji?? ???? ??第 8節(jié) 平均交互信息量的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ?????????10)/()()/()()()()/(1rkkjkijijjijixyPxPxyPxPyPyxPyxP)/()()/()()/()()/()()/(121211111111rr xyPxPxyPxPxyPxPxyPxPyxP?????第 8節(jié) 平均交互信息量的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )/()()/()()/()()/()()/(121211121212rr xyPxPxyPxPxyPxPxyPxPyxP??????)/()()/()()/()()/()()/(121211131313rr xyPxPxyPxPxyPxPxyPxPyxP?????第 8節(jié) 平均交互信息量的極值性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 如果轉(zhuǎn)移概率矩陣中每一列只有一個(gè)非零元素，疑義度等于 0 )()。()/()()/()()。(0)/()()。(1 統(tǒng)計(jì)獨(dú)立時(shí)和、極小值 YXYXI ?0)/()()。()5(s y m bolbi t sXYHYHYXI?????、)/()()/()()。( 12 baI )。( 11 baI )。Y) ＝ 0 驗(yàn)證： 第 7節(jié) 平均交互信息量的非負(fù)性 )()/( iji xpyxp ?)()/( jij ypxyp ?)()()( jiji ypxpyxp ?若： X與 Y統(tǒng)計(jì)獨(dú)立，即 ( 。( ?YXI即：01l o g])()(l o g [1 1??? ? ?? ?risjji yPxP])( )()()(l og [1 1? ?? ??risj jijiji yxPyPxPyxP])()(l og [1 1? ?? ?? risjji yPxP第 7節(jié) 平均交互信息量的非負(fù)性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 I(X。(1 1???? ? ?? ?risj jijiji yxPyPxPyxPYXI1)(1 1?? ?? ?risjji yxP其中：第 7節(jié) 平均交互信息量的非負(fù)性 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ?? ???risj jijiji yxPyPxPyxPYXI1 1 )()()(l og)()。( ?YXI證明0)()( )(l og)()。( YXI)/( XYH反向信道信源熵 H(Y)：代表平均每個(gè)信源符號(hào)所攜帶的信息量 反向信道平均互信量 I(X。( YXI)/( YXH信源熵 H(X)：代表平均每個(gè)信源符號(hào)所攜帶的信息量 平均互信量 I(X。()3)()()( XYHYHXH ???第 6節(jié) 平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )()()()|()()|()()。()1? ?? ?? ?? ??? risj ijjisjri jji xyPyxPyPyxP1 11 1 )/(1l og)()(1l og)]([? ??? ???? risj ijjisj jj xyPyxPyPyP1 11 )/(1l og)()(1l og)()/()( XYHYH ??第 6節(jié) 平均交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ?? ?? ?? ?? ?? ????risj jijirisj ijirisj ijijiyxPyxPxPyxPxPyxPyxPYXI1 11 11 1)/(1l o g)()(1l o g)()()/(l o g)()。(意義：信道平均每傳遞一個(gè)符號(hào)所傳遞的信息量。( 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 定義 ? ?? ?? ?? ???risj jijijirisjjijiyPxyPxyPxPyxIyxPYXI1 11 1)()/(l o g)/()()。( 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ???ikjiikjikjikjiki zyxpxpzyxpzypxzypxzyI)()(/)(l o g)()/(l o g)。()0。(4444???????所以從三個(gè)符號(hào)中得到的關(guān)于 a4的信息量的和為： bi t sbi t saIaIaIaI38l og1l og313l og34l og)01/1。(44444?????????1)、從第一個(gè)符號(hào) 0中獲取的關(guān)于消息 a4的信息量 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 b i t sppppppppppppppapapaI3l o g)011()010()011()010()001()000(l o g)01()0(l o g)0(/)011()01(/)011(l o g)0/11()01/011(l o g)0/()01/(l o g)0/1。()0。(444444444 apapapapapapapapaI ??)01/()011/()0/()01/()()0/(l og444444apapapapapap ???)01/()011/(l og)0/()01/(l og)()0/(l og444444apapapapapap ???)01/1。()/()(/)(l o g)/()(/)(l o g)/()/(l o g)/。(ZkjiijkzyxIxXyYz的條件交互信息量的某符號(hào)中獲取的關(guān)于信源的某符號(hào)變量的前提條件下，從隨機(jī)取符號(hào)在已知隨機(jī)變量)/(Z)/(Zl o gkiikkjiijkzxpxzzyxpxyYz的后驗(yàn)概率符號(hào)源發(fā)的前提條件下，推測(cè)信取符號(hào)在已知隨機(jī)變量的后驗(yàn)概率后推測(cè)信源發(fā)符號(hào)現(xiàn)符號(hào)出量的前提條件下，隨機(jī)變?nèi)》?hào)在已知隨機(jī)變量? 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ??????i jkjijkjiikjikjikkikjkjikikjikjizyxpzyxpzyxpzyxpzpzxpzypzyxpzxpzyxpzyxI)(/)()(/)(l o g)(/)()(/)(l o g)/()/(l o g)/。 210)()1( ??AP、 )()3( ?AP、321)()2( ?AP、bi tAP BAPBAI 1)( )/(l og)。( 4112121 ???? bpabpabI og)( )/(l og)。( 6511111 ??? bpabpabI)(1)( 12 ??? bpbp 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 og)( )/(l og)。( 22222 ????? abIbIabI 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )/()()( 2111 ?????? ??iii abpapbp方法二： )()/(l og)。( 21121 ?????? abIbIabI 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 og)/(l og