【文章內(nèi)容簡(jiǎn)介】 ypxypyxI ???利用公式： 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 og)/(l og)/( 212212 ????? abpabI比特7 8 0 5 8 9 )/()()。( 12212 ?????? abIbIabI比特241l og)/(l og)/( 221221 ????? abpabI比特7 6 3 )/()()。( 21121 ?????? abIbIabI 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 og)/(l og)/( 211211 ????? abpabI og)/(l og)/( 222222 ????? abpabI)/()()。( 11111 ????? abIbIabI)/()()。( 22222 ????? abIbIabI 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )/()()( 2111 ?????? ??iii abpapbp方法二： )()/(l og)。(jijji ypxypyxI ?利用公式： og)( )/(l og)。( 6511111 ??? bpabpabI)(1)( 12 ??? bpbp 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 og)( )/(l og)。( 6121212 ???? bpabpabI og)( )/(l og)。( 4112121 ???? bpabpabI og)( )/(l og)。( 4322222 ??? bpabpabI 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 已知從符號(hào) B中獲取關(guān)于符號(hào) A 的信息量是 1比特，當(dāng)符號(hào) A的先驗(yàn)概率 (prior probability)P(A)為下列各值時(shí)，分別計(jì)算收到 B后推測(cè) A的后驗(yàn)概率 (posterior probability)應(yīng)是多少。 210)()1( ??AP、 )()3( ?AP、321)()2( ?AP、bi tAP BAPBAI 1)( )/(l og)。( 2 ?? 第 4節(jié) 平穩(wěn)無記憶信道的交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 串接信道模型 Y Z)/( ij xyp )/( jik yxcpXrxxx?21syyy?21lzzz?21 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 設(shè)信道 1的輸入符號(hào)集為 },,{:21 ri xxxxX ??輸出符號(hào)集為 },,{: 21 si yyyyY ??設(shè)信道 2的輸入符號(hào)集為 },,{: 21 lk zzzzZ ??輸出符號(hào)集為 },,{: 21 si yyyyY ??信 道 信道 1 信道 2 )/(:)/( ij xypXYP)/(:)/( ijk xyzpYXZP輸 入 符 號(hào) 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 概率關(guān)系 ??ikjikj zyxpzyp )()(??kkjiji zyxpyxp )()(??jkjiki zyxpzxp )()(? ??j ikjik zyxpzp )()(? ??k ikjij zyxpyp )()(? ??k jkjii zyxpxp )()(1) 邊緣分布關(guān)系 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 2) 條件概率分布關(guān)系 )()()/(ikjiikj xpzyxpxzyp ?)()()/(jkjijki ypzyxpyzxp ?)()()/(kkjikji zpzyxpzyxp ?)/()()()()()/(ijikjijikjijik xypxpzyxpyxpzyxpyxzp ?? 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ???????ijikijikjiijikjikjiikjikjikjkjikjiyxzpxypxpzyxpyxzpyxpzyxpzyxpzyxpzypzyxpzyxp)/()/()()()/()()()()()()()/(???????jjikijikjijjikjikjijkjikjikikjikijyxzpxypxpzyxpyxzpyxpzyxpzyxpzyxpzxpzyxpzxyp)/()/()()()/()()()()()()()/( 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 條件互信量 1) 定義 )/。(ZkjiijkzyxIxXyYz的條件交互信息量的某符號(hào)中獲取的關(guān)于信源的某符號(hào)變量的前提條件下，從隨機(jī)取符號(hào)在已知隨機(jī)變量)/(Z)/(Zl o gkiikkjiijkzxpxzzyxpxyYz的后驗(yàn)概率符號(hào)源發(fā)的前提條件下，推測(cè)信取符號(hào)在已知隨機(jī)變量的后驗(yàn)概率后推測(cè)信源發(fā)符號(hào)現(xiàn)符號(hào)出量的前提條件下，隨機(jī)變?nèi)》?hào)在已知隨機(jī)變量? 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 ? ??????i jkjijkjiikjikjikkikjkjikikjikjizyxpzyxpzyxpzyxpzpzxpzypzyxpzxpzyxpzyxI)(/)()(/)(l o g)(/)()(/)(l o g)/()/(l o g)/。()/()/()()/()()(jikijijikjikjiyxzpxypxpyxzpyxpzyxp?? 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 2) 同理： ??????iijikkjiikjikjijjikjkjijikjijkixypxpzyxpzyxpzyxpypyxpzypzyxpyxpzyxpyzxI)/()(/)()(/)(l o g)(/)()(/)(l o g)/()/(l o g)/。()/()(/)(l o g)/()(/)(l o g)/()/(l o g)/。(ijjkjikjiijkikjiijkijikjxypzyxpzyxpxypzxpzyxpxypzxypxzyI???? 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 P？ 例：已知無失真信源編碼信源消息、消息編碼及每一消息對(duì)應(yīng)的碼字如下表所示 信源 消息 a1 a2 a3 a4 a5 a6 a7 a8 碼字 000 001 010 011 100 101 110 111 消息 概率 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 求接收消息 a4的碼字中第一、二、三符號(hào)后分別接收到的 信息量 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 )01/()0/()()01/()0/()011/(l og)()011/(l og)011。(444444444 apapapapapapapapaI ??)01/()011/()0/()01/()()0/(l og444444apapapapapap ???)01/()011/(l og)0/()01/(l og)()0/(l og444444apapapapapap ???)01/1。()0/1。()0。( 444 aIaIaI ??? 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 b i t spppppapppappapapaI34l o g)011()010()001()000(1l o g)0(1l o g)()0(/)011(l o g)()0/11(l o g)()0/(l o g)0。(44444?????????1)、從第一個(gè)符號(hào) 0中獲取的關(guān)于消息 a4的信息量 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 b i t sppppppppppppppapapaI3l o g)011()010()011()010()001()000(l o g)01()0(l o g)0(/)011()01(/)011(l o g)0/11()01/011(l o g)0/()01/(l o g)0/1。(444??????????2)、在已知第一個(gè)符號(hào)為 0的條件下，從第二個(gè)符號(hào) 1中獲取的 關(guān)于消息 a4的信息量 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 3)、在已知第一個(gè)符號(hào)為 0且第二個(gè)符號(hào)為 1的條件下，從第三 個(gè)符號(hào) 1中獲取的關(guān)于消息 a4的信息量 b i t sapppppppapapaI12l o g)()011()010(l o g)011()01(l o g)01(/)011(1l o g)01/()011/(l o g)01/1。(4444???????所以從三個(gè)符號(hào)中得到的關(guān)于 a4的信息量的和為： bi t sbi t saIaIaIaI38l og1l og313l og34l og)01/1。()0/1。()0。()(814444?????????? 第 5節(jié) 條件交互信息量 日 思 日 睿 篤 志 篤 行 信息論與編碼 湖北大學(xué)物電學(xué)院蔣碧波 條件交互信息量 ? ????i jkjijikkjikjikjikiizyxpyxzpzpyxzpyxpzyxpzyxI)()/(l o g)()/(l o g)()/(l o g)。( 第