信息論與編碼ppt課件-資料下載頁
2025-05-06 02:45本頁面
【正文】 121 1)()/(2XYHYHyxpyxpyxpXYInimjxypjinimjypjinimjypxypjiijjjij?????? ?? ?? ?? ?? ?? ?信息論與編碼基礎(chǔ) 離散信道 ② 觀察者站在輸入端 ? I (Y。 X) = H (Y) – H (Y/X) ? 說明平均互信息量也可以用接收端（信宿）的熵為參考，且等于信宿熵減掉一個條件熵 ? 同樣表征接收端平均每收到一個符號所獲得的信息量。 ? 如果信道上沒有任何干擾或噪聲，則平均每收到一個符號所獲得的信息量即是信宿熵，即 I (X。 Y) = H (Y)； ? 但是，如果信道上存在著干擾或噪聲，則平均每收到一個符號所獲得的信息量，它比起信宿熵小了一個條件熵，這個條件熵 H (Y/X)是由于信道的干擾或噪聲給出的，因此它是唯一地確定信道噪聲和干擾所需的平均信息量，故稱之為噪聲熵，也稱為散布度（ Degree of Diffusiveness）。 信息論與編碼基礎(chǔ) 離散信道 ③ 觀察者站在通信系統(tǒng)總體立場上 ? H(XY)—聯(lián)合熵。表示輸入隨機(jī)變量 X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量 Y。即收、發(fā)雙方通信后，整個系統(tǒng)仍然存在的不確定度。 ? I(X。Y) —通信前、后整個系統(tǒng)不確定度減少量。在通信前把 X和 Y看成兩個相互獨(dú)立的隨機(jī)變量，整個系統(tǒng)的先驗(yàn)不確定度為 X和 Y的聯(lián)合熵H(X)+H(Y)；通信后把信道兩端出現(xiàn) X和 Y看成是 由信道的傳遞統(tǒng)計(jì)特性聯(lián)系起來的 、具有一定統(tǒng)計(jì)關(guān)聯(lián)關(guān)系的兩個隨機(jī)變量，這時整個系統(tǒng)的后驗(yàn)不確定度由 H(XY)描述。 )()()(l o g)(l o g)(l o g)(l o g)()。(1 1)(121 1)(121 1)(121 1)()()(2XYHYHXHyxpyxpyxpyxpYXInimjyxpjinimjypjinimjxpjinimjypxpyxpjijijijiji???????? ?? ?? ?? ?? ?? ?? ?? ?信息論與編碼基礎(chǔ) 離散信道 ? I (X。 Y) = H(X) + H(Y) – H(XY) ? 根據(jù)各種熵的定義，從該式可以清楚看出平均互信息量是一個表征信息流通的量， ? 其物理意義就是信源端的信息通過信道后傳輸?shù)叫潘薅说钠骄畔⒘俊? ③ 觀察者站在通信系統(tǒng)總體立場上 信息論與編碼基礎(chǔ) 離散信道 結(jié) 論 ? 以上三種不同的角度說明：從一個事件獲得另一個事件的平均互信息需要 消除不確定度 ，一旦消除了不確定度，就獲得了信息。 I (X。 Y) = H (X) – H(X/Y) I(Y。 X) = H(Y) – H(Y/X) I(X。 Y) = H(X) + H(Y) – H(XY) 信息論與編碼基礎(chǔ) 離散信道 舉 例 ? [例 ] 把已知信源 接到圖 ，求在該信道上傳輸?shù)钠骄バ畔⒘?I(X。Y)，疑義度H(X/Y)，噪聲熵 H(Y/X)，聯(lián)合熵 H(XY)。 ???????????? ,)( 21， xxXP X信息論與編碼基礎(chǔ) 離散信道 解 ： (1) 求聯(lián)合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)= = p(x1 y2)=p(x1)p(y2/x1)= = p(x2 y1)=p(x2)p(y1/x2)= = p(x2 y2)=p(x2)p(y2/x2)= = (2) 求 Y的各消息概率 (3) 求 X的各后驗(yàn)概率 (4) 求信源熵和聯(lián)合熵 )(1)()()()()()()(12121121111??????????????ypypyxpyxpyxpypyxpypiinijij9 7 )/(0 2 )/(1 6 )/(1)/(8 3 )/()/(22211112)()(11)()(111?????????yxpyxpyxpyxpyxpyxpypyxpypyxpji jji)/() o o o o (l o g)()()/() o o (l o g)()()/(1) o o (l o g)()(22222121)(122221)(122221)(12符號比特符號比特符號比特?????????????????? ???? ???i jyxpjijypjixpijijiyxpXYHypYHxpXH(5) 平均互信息 I(X。Y)=H(X)+H(Y)H(XY)=1+= /符號 (6) 疑義度 (7) 噪聲熵 )/() o o o o (l o g)()/(22222121)/(12符號比特??????? ? ?? ?i jyxpji jiyxpYXH)/() o o o o (l o g)()/(22222121)/(12符號比特??????? ? ?? ?i jxypji ijyxpXYH信息論與編碼基礎(chǔ) 離散信道 ?思考題 令 X,Y1,Y2為二進(jìn)制隨機(jī)變量， 1）如果 I(X。 Y1) = 0 且 I(X。 Y2) = 0,可否推出 I(X。 Y1, Y2) = 0? 試舉例說明。 2）如果 I(X。 Y1) = 0 且 I(X。 Y2) = 0，是否可推出 I(Y1。 Y2) = 0? 請說明。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1