【文章內(nèi)容簡(jiǎn)介】 平均互信息量的性質(zhì) ① 對(duì)稱性 ② 非負(fù)性 ③ 極值性 ④ 凸函數(shù)性 ⑤ 數(shù)據(jù)處理定理 第三章 信道與信道容量 ① 對(duì)稱性 I(X。Y)= I(Y。X) ?證明： 根據(jù)互信息量的對(duì)稱性 I(xi。yj)= I(yj。xi) ?結(jié)論： 由 Y提取到的關(guān)于 X的信息量與從 X中提取到的關(guān)于Y的信息量是一樣的。 I(X。Y)和 I(Y。X)只是觀察者的立足點(diǎn)不同。 )。()。()()。()()。(1 11 1XYIxyIyxpyxIyxpYXI ijnimj jijinimj ji??? ? ?? ?? ?? ?第三章 信道與信道容量 自然對(duì)數(shù)性質(zhì)： lnx≤x1， x0，當(dāng)且僅當(dāng) x=1時(shí)取等號(hào)。 第三章 信道與信道容量 ② 非負(fù)性 I(X。Y)≥0 ? ?0l o g)()()(l o g)()()(l o g1)(l o g)()。(l o glnl o g0,1lnl o g)()。(l o g)()。(21 11121 11 12)()()(1 1)()()(21 122)()()(21 1)()()(21 1???????????????????????????? ???? ?? ?? ?? ?? ?? ?? ???? ?? ?? ?? ?? ?? ?eyxpypxpeyxpypxpeyxpyxpYXIexxxxxyxpYXIyxpYXInimjjimjjniinimjjinimjjiyxpypxpnimjjiyxpypxpnimjjiyxpypxpnimjjiypxpyxpnimjjijijijijijijijiji注意＞根據(jù)著名不等式證明：第三章 信道與信道容量 即 I(X。Y)≥0 當(dāng)且僅當(dāng) X和 Y相互獨(dú)立，即 p(xiyj)= p(xi) p(yj) I(X。Y)=0 式中 結(jié)論： ?平均互信息量不是從兩個(gè)具體消息出發(fā)，而是從隨機(jī)變量 X和 Y的整體角度出發(fā)，并在平均意義上觀察問(wèn)題，所以 平均互信息量不會(huì)出現(xiàn)負(fù)值 。 ?或者說(shuō)從一個(gè)事件提取關(guān)于另一個(gè)事件的信息，最壞的情況是 0，不會(huì)由于知道了一個(gè)事件，反而使另一個(gè)事件的不確定度增加。 ? ???? ????? nimjjimjjnii yxpypxp1 111)(,1)(,1)(第三章 信道與信道容量 ③ 極值性 I(X。Y)≤H(X) I(Y。X)≤H(Y) 證明： 由于 I(X。Y)=H(X) H(X/Y)≥0， I(Y。X)=H(Y) H(Y/X)≥0, H(Y/X)≥0， H(X/Y)≥0, 所以 I(X。Y)≤H(X)， I(Y。X)≤H(Y) ?從一個(gè)事件提取關(guān)于另一個(gè)事件的信息量，至多是另一個(gè)事件的熵那么多，不會(huì)超過(guò)另一個(gè)事件自身所含的信息量。 ?當(dāng) X和 Y是一一對(duì)應(yīng)關(guān)系時(shí)： I(X。Y)=H(X)，這時(shí) H(X/Y)=0。 從一個(gè)事件可以充分獲得關(guān)于另一個(gè)事件的信息，從平均意義上來(lái)說(shuō)，代表 信源的信息量可全部通過(guò)信道 。 ?當(dāng) X和 Y相互獨(dú)立時(shí)： H(X/Y) =H(X)， I(Y。X)=0。 從一個(gè)事件不能得到另一個(gè)事件的任何信息，這等效于 信道中斷 的情況。 第三章 信道與信道容量 ④ 凸函數(shù)性 ?平均互信息量的數(shù)學(xué)特性 ?平均互信息量 I(X。Y)是輸入信源概率分布 p(xi)的上凸函數(shù) ?平均互信息量 I(X。Y)是輸入轉(zhuǎn)移概率分布 p(yj /xi)的下凸函數(shù) 第三章 信道與信道容量 平均互信息量的數(shù)學(xué)特性 信息論與編碼 54 2022/3/13 西北大學(xué)信息學(xué)院 )()()/()(l o g)/()(l o g)()。(111 1 )/()()/(21 1)()/(21jnijiniijinimj xypxpxypijinimjypxypjiypyxpxypxpxypxpyxpYXIniijiijjij? ????????? ?? ?? ?? ??其中 ? 平均互信息量是 p(xi)和 p(yj /xi)的函數(shù)， 即 I(X。Y)=f [p(xi), p(yj /xi)]； ? 若固定信道，調(diào)整信源， 則平均互信息量 I(X。Y)是 p(xi)的函數(shù)，即 I(X。Y)=f [p(xi)]； ? 若固定信源，調(diào)整信道， 則平均互信息量 I(X。Y)是 p(yj /xi)的函數(shù)，即 I(X。Y)=f [p (yj /xi)]。 第三章 信道與信道容量 ? I(X。Y)是 p(xi)的上凸函數(shù) 上凸函數(shù)： 同一信源集合 {x1,x2,…,x n}，對(duì)應(yīng)兩個(gè)不同的概率分布 p1(xi)和 p2(xi)(i=1,2, …,n )，若有小于 1的正數(shù) 0α1，使不等式 f[αp1(xi)+(1α)p2(xi)]≥αf[p1(xi)]+(1α)f[p2(xi)] 成立，則稱函數(shù) f為 p(xi)的上凸函數(shù)。如果式中僅有大于號(hào)成立，則稱 f為嚴(yán)格的上凸函數(shù)。 ? I(X。Y)是 p(yj/xi)的下凸函數(shù) 下凸函數(shù)： I[αp1(yj /xi)+(1α)p2(yj /xi)]≤αI[p1(yj /xi)]+(1α)I[p2(yj /xi)] 第三章 信道與信道容量 信息論與編碼 56 2022/3/13 西北大學(xué)信息學(xué)院 ??????????????ppXPX110)(第三章 信道與信道容量 信息論與編碼 57 2022/3/13 西北大學(xué)信息學(xué)院 ? ?)()l o gl o g()()/(l o g)/()()/(212221212qHqqqqxpxypxypxpXYHiii jijiji???????? ??? ?? ?)()()/()()。()()(l o g)()(l o g)()()1()()0()()/()()(22211qHqpqpHXYHYHYXIqpqpHpqpqpqpqqpqpqpqpYHpqpqYPypqpqpYPypxypxpypijniij??????????????????????? ??平均互信息量所以求得由第三章 信道與信道容量 結(jié)論 1： ? 當(dāng) q不變 /固定信道特性 時(shí)，可得 I(X。Y)隨輸入概率分布 p變化的曲線，如圖 ； ? 二進(jìn)制對(duì)稱信道特性固定后，輸入呈等概率分布時(shí)，平均而言在接收端可獲得最大信息量。 第三章 信道與信道容量 結(jié)論 2： ? 當(dāng) 固定信源特性 p時(shí)， I(X。Y)就是信道特性 q的函數(shù)，如圖； ? 當(dāng)二進(jìn)制對(duì)稱信道特性 q=/q=1/2時(shí)，信道輸出端獲得信息量最小，即等于 0。說(shuō)明信源的全部信息信息都損失在信道中了。這是一種 最差 的信道。 第三章 信道與信道容量 60 作業(yè) ?P134 ?P135 第三章 信道與信道容量 信息論與編碼 61 2022/3/13 西北大學(xué)信息學(xué)院 無(wú)干擾離散信道 對(duì)稱 DMC信道 準(zhǔn)對(duì)稱 DMC信道 一般 DMC信道 第三章 信道與信道容量 62 ?信道容量 C： 在信道中最大的信息傳輸速率，單位是比特 /信道符號(hào)。 ?單位時(shí)間的信道容量 Ct： 若信道平均傳輸一個(gè)符號(hào)需要 t秒鐘，則單位時(shí)間的信道容量為： Ct實(shí)際是信道的最大信息傳輸速率。 信息傳輸率： R=I(X,Y)=[H(X)H(X/Y)]=[H(Y)H(Y/X)] bit/符號(hào) 由定理 ， 對(duì)于每一個(gè)確定信道，都有一個(gè)信源分布，使得信息傳輸率達(dá)到最大值 ，我們把這個(gè) 最大值 稱為該信道的 信道容量 。 ( ) ( )m a x { ( , ) } m a x { ( ) ( / ) }P X P XC I X Y H X H X Y? ? ?()()11m a x { ( , ) } m a x { ( ) ( / ) }PXPXC I X Y H X H X Ytt? ? ?信道容量 第三章 信道與信道容量 63 ?C和 Ct都是求平均互信息 I(X。Y)的條件極大值問(wèn)題，當(dāng)輸入信源概率分布 p(xi)調(diào)整好以后， C和 Ct已與 p(xi)無(wú)關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)； 它是信道的特征參數(shù)，反應(yīng)的是信道的最大的信息傳輸能力。 ?信道容量是完全 描述信道特性 的參量； ?信道容量是信道 能夠傳送的最大信息量 。 結(jié) 論 對(duì)于 二元對(duì)稱信道 ，由圖可以看出信道容量等于 1H(P) 第三章 信道與信道容量 信息論與編碼 64 2022/3/13 西北大學(xué)信息學(xué)院 無(wú)干擾離散信道 ?設(shè)信道的輸入 X∈ A={a1 … an},輸出 Y∈ B={b1 … bm} ?無(wú)噪無(wú)損 信道 ? 輸入和輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系 )3,2,1,(10)|()|( ???????? jijijibapabpjiijX ???????????100010001Pa1 Y b1 a2 b2 a3 b3 1 1 1 第三章 信道與信道容量 信息論與編碼 65 2022/3/13 西北大學(xué)信息學(xué)院 無(wú)干擾離散信道 ?無(wú)噪無(wú)損 信道 X ?????????????????0001001001001000????????Pa1 b1 Y a2