信息論與編碼ppt課件(參考版)
2025-05-09 02:45本頁面
【正文】 Y2) = 0? 請(qǐng)說明。 Y1) = 0 且 I(X。 Y1, Y2) = 0? 試舉例說明。 Y1) = 0 且 I(X。 ???????????? ,)( 21， xxXP X信息論與編碼基礎(chǔ) 離散信道 解 ： (1) 求聯(lián)合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)= = p(x1 y2)=p(x1)p(y2/x1)= = p(x2 y1)=p(x2)p(y1/x2)= = p(x2 y2)=p(x2)p(y2/x2)= = (2) 求 Y的各消息概率 (3) 求 X的各后驗(yàn)概率 (4) 求信源熵和聯(lián)合熵 )(1)()()()()()()(12121121111??????????????ypypyxpyxpyxpypyxpypiinijij9 7 )/(0 2 )/(1 6 )/(1)/(8 3 )/()/(22211112)()(11)()(111?????????yxpyxpyxpyxpyxpyxpypyxpypyxpji jji)/() o o o o (l o g)()()/() o o (l o g)()()/(1) o o (l o g)()(22222121)(122221)(122221)(12符號(hào)比特符號(hào)比特符號(hào)比特?????????????????? ???? ???i jyxpjijypjixpijijiyxpXYHypYHxpXH(5) 平均互信息 I(X。 Y) = H(X) + H(Y) – H(XY) 信息論與編碼基礎(chǔ) 離散信道 舉 例 ? [例 ] 把已知信源 接到圖 ，求在該信道上傳輸?shù)钠骄バ畔⒘?I(X。 Y) = H (X) – H(X/Y) I(Y。 ③ 觀察者站在通信系統(tǒng)總體立場上 信息論與編碼基礎(chǔ) 離散信道 結(jié) 論 ? 以上三種不同的角度說明：從一個(gè)事件獲得另一個(gè)事件的平均互信息需要 消除不確定度 ，一旦消除了不確定度，就獲得了信息。(1 1)(121 1)(121 1)(121 1)()()(2XYHYHXHyxpyxpyxpyxpYXInimjyxpjinimjypjinimjxpjinimjypxpyxpjijijijiji???????? ?? ?? ?? ?? ?? ?? ?? ?信息論與編碼基礎(chǔ) 離散信道 ? I (X。在通信前把 X和 Y看成兩個(gè)相互獨(dú)立的隨機(jī)變量，整個(gè)系統(tǒng)的先驗(yàn)不確定度為 X和 Y的聯(lián)合熵H(X)+H(Y)；通信后把信道兩端出現(xiàn) X和 Y看成是 由信道的傳遞統(tǒng)計(jì)特性聯(lián)系起來的 、具有一定統(tǒng)計(jì)關(guān)聯(lián)關(guān)系的兩個(gè)隨機(jī)變量，這時(shí)整個(gè)系統(tǒng)的后驗(yàn)不確定度由 H(XY)描述。 ? I(X。表示輸入隨機(jī)變量 X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量 Y。 Y) = H (Y)； ? 但是，如果信道上存在著干擾或噪聲，則平均每收到一個(gè)符號(hào)所獲得的信息量，它比起信宿熵小了一個(gè)條件熵，這個(gè)條件熵 H (Y/X)是由于信道的干擾或噪聲給出的，因此它是唯一地確定信道噪聲和干擾所需的平均信息量，故稱之為噪聲熵，也稱為散布度（ Degree of Diffusiveness）。 X) = H (Y) – H (Y/X) ? 說明平均互信息量也可以用接收端（信宿）的熵為參考，且等于信宿熵減掉一個(gè)條件熵 ? 同樣表征接收端平均每收到一個(gè)符號(hào)所獲得的信息量。 )/()(l o g)(l o g)(l o g)()。 ? I(Y。表示 發(fā)出隨機(jī)變量 X后，對(duì)隨機(jī)變量 Y仍然存在的平均不確定度 。 Y) = H(X)； ? 信道存在干擾和噪聲 ? 干擾和噪聲“污染”被傳輸?shù)男畔? ? 到達(dá)接收端的平均信息量比信源熵少了一些 ? 少掉的部分就是條件熵 H(X/Y) ? 因此平均互信息量表征了對(duì)接收的每一個(gè)符號(hào)的正確性所產(chǎn)生懷疑的程度，故條件熵 H(X/Y)又稱之為疑義度。 ? 表明：以發(fā)送端（信源）的熵為參考，在接收端平均每收到一個(gè)符號(hào)所獲得的信息量。(1 1)/(121 1)(121 1)()/(2YXHXHyxpyxpyxpYXInimjyxpjinimjxpjinimjxpyxpjijiiiji?????? ?? ?? ?? ?? ?? ?信息論與編碼基礎(chǔ) 離散信道 ? I(X。 從 Y獲得的關(guān)于 X的平均信息量 。 ? I(X。代表了在信道中損失的信息。 Y關(guān)于 X的后驗(yàn)不確定度 。 )()()()()(21 1)/(l o g)()。Y)克服了 互信息量 I(xi。()()。()()。Y)是 Y對(duì) X的平均互信息量 （簡稱平均互信息 /平均交互信息量 /交互熵） 。yj)在聯(lián)合概率空間 P(XY)中的統(tǒng)計(jì)平均值。 ) ( ) l og ( ) l og( ) ( | )X XYI X Y P x P x yP x P x y????11( ) l og ( ) l og( ) ( | )XY XYP x y P x yP x P x y????( | )( ) l o g()XYP x yP x yPx? ?互信息 ?平均互信息量 ?自信息量 → 熵 ?互信息量 → 平均互信息量 ?定義 兩個(gè)離散隨機(jī)事件集合 X和 Y，若其任意兩事件間的互信息量為 I(xi； yj)，則其聯(lián)合概率加權(quán)的統(tǒng)計(jì)平均值，稱為兩集合的平均
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1