信息論與編碼ppt課件(存儲(chǔ)版)
【正文】 ( )i j i ji j i j i j i j i jp x p y p x yI x y I x y I x y I x I y I x y? ? ? ? ? ? ?信息論與編碼基礎(chǔ) 離散信道 ? 互信息的引出，使 信息流通 問(wèn)題進(jìn)入了 定量分析 的范疇，為信息流通的定量測(cè)量打下了堅(jiān)實(shí)的基礎(chǔ)，把信息理論發(fā)展到了一個(gè)更深的層次，可以認(rèn)為是 信息論發(fā)展的又一個(gè)里程碑 。 1122( ) ( ) ( )( 。 （ 1） p(xi /yj )=1， I (xi； yj ) = I(xi)。 yj) = 0 ? 后驗(yàn)概率與先驗(yàn)概率相等，說(shuō)明收到 yj后對(duì)信源是否發(fā) xi所進(jìn)行判斷的正確程度，和 xi在信源集合中的概率是一樣的； ? 因此，它一點(diǎn)也不能消除對(duì)信源是否發(fā) xi的不確定度，也就是說(shuō)從 yj中獲取不到關(guān)于 xi的信息量； ? 事實(shí)上，假若 xi 和 yj 統(tǒng)計(jì)無(wú)關(guān)，即 p(xi , yj)=p(xi )p(yj)， 由貝葉斯公式容易推得 I(xi ； yj) = 0； ? 這種情況實(shí)際上是事件 xi和事件 yj統(tǒng)計(jì)無(wú)關(guān)，或者說(shuō)信道使得事件 xi和事件 yj變成了兩碼事，信宿得到的信息僅僅是由信道特性給出的，與信源實(shí)際發(fā)出什么符號(hào)無(wú)關(guān)，因此完全沒(méi)有信息的流通。 ( / ) ( / )( ) l o g l o g ( ) ( ) ( )i j j ii j j iijp x y p y xI x y I y xp x p y???； ；信息論與編碼基礎(chǔ) 離散信道 ③ 條件互信息量 ? 定義： 消息 xi與消息對(duì) yj zk之間的互信息量為 ? 條件互信息量定義： 在給定 zk條件下， xi與 yj之間的互信息量。()。bj) ≤ I(ai) 信息論與編碼基礎(chǔ) 離散信道 平均互信息 定義 令 )|()()。()()。 Y關(guān)于 X的后驗(yàn)不確定度 。(1 1)/(121 1)(121 1)()/(2YXHXHyxpyxpyxpYXInimjyxpjinimjxpjinimjxpyxpjijiiiji?????? ?? ?? ?? ?? ?? ?信息論與編碼基礎(chǔ) 離散信道 ? I(X。 ? I(Y。表示輸入隨機(jī)變量 X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量 Y。 ③ 觀察者站在通信系統(tǒng)總體立場(chǎng)上 信息論與編碼基礎(chǔ) 離散信道 結(jié) 論 ? 以上三種不同的角度說(shuō)明：從一個(gè)事件獲得另一個(gè)事件的平均互信息需要 消除不確定度 ，一旦消除了不確定度，就獲得了信息。 Y1) = 0 且 I(X。 Y2) = 0? 請(qǐng)說(shuō)明。 ???????????? ,)( 21， xxXP X信息論與編碼基礎(chǔ) 離散信道 解 ： (1) 求聯(lián)合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)= = p(x1 y2)=p(x1)p(y2/x1)= = p(x2 y1)=p(x2)p(y1/x2)= = p(x2 y2)=p(x2)p(y2/x2)= = (2) 求 Y的各消息概率 (3) 求 X的各后驗(yàn)概率 (4) 求信源熵和聯(lián)合熵 )(1)()()()()()()(12121121111??????????????ypypyxpyxpyxpypyxpypiinijij9 7 )/(0 2 )/(1 6 )/(1)/(8 3 )/()/(22211112)()(11)()(111?????????yxpyxpyxpyxpyxpyxpypyxpypyxpji jji)/() o o o o (l o g)()()/() o o (l o g)()()/(1) o o (l o g)()(22222121)(122221)(122221)(12符號(hào)比特符號(hào)比特符號(hào)比特?????????????????? ???? ???i jyxpjijypjixpijijiyxpXYHypYHxpXH(5) 平均互信息 I(X。(1 1)(121 1)(121 1)(121 1)()()(2XYHYHXHyxpyxpyxpyxpYXInimjyxpjinimjypjinimjxpjinimjypxpyxpjijijijiji???????? ?? ?? ?? ?? ?? ?? ?? ?信息論與編碼基礎(chǔ) 離散信道 ? I (X。 Y) = H (Y)； ? 但是，如果信道上存在著干擾或噪聲，則平均每收到一個(gè)符號(hào)所獲得的信息量，它比起信宿熵小了一個(gè)條件熵，這個(gè)條件熵 H (Y/X)是由于信道的干擾或噪聲給出的，因此它是唯一地確定信道噪聲和干擾所需的平均信息量，故稱之為噪聲熵，也稱為散布度（ Degree of Diffusiveness）。表示 發(fā)出隨機(jī)變量 X后，對(duì)隨機(jī)變量 Y仍然存在的平均不確定度 。 從 Y獲得的關(guān)于 X的平均信息量 。 )()()()()(21 1)/(l o g)()。Y)是 Y對(duì) X的平均互信息量 （簡(jiǎn)稱平均互信息 /平均交互信息量 /交互熵） 。ai) 2）事件統(tǒng)計(jì)獨(dú)立時(shí) I(ai。( kjikiki kji zyxpzxpzxpzyxpkji zyxI ???)/( 12)( 12)( )/(2 l ogl ogl og)。 信息論與編碼基礎(chǔ) 離散信道 ? 不大于其中任一事件的信息量 ? 由于 p(xi /yj)?1，有 I(x
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1