信息論與編碼第一講(完整版)
【正文】 ? ? ?l o g 1 l o g 1H X P P P P? ? ? ? ?????H(P) 1 0 1 P 最大熵 條件熵 ?條件熵是聯(lián)合空間 XY上 的 條件自信息量 的概率加權(quán)平均值。對(duì)消息 xi而言，其條件概率定義為 P(xi|yj)。不僅在電子學(xué)的其他領(lǐng)域，如計(jì)算機(jī)、自動(dòng)控制等方面大顯身手，而且遍及物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類學(xué)、語(yǔ)音學(xué)、統(tǒng)計(jì)學(xué)、管理學(xué) …… 等學(xué)科。 香農(nóng)信息論 1948年 ， 美國(guó)數(shù)學(xué)家克勞特 第一講 主 講 人：劉丹平 聯(lián)系方式： 主要內(nèi)容 ?課程介紹 ?信息概念、信息論 ?信息的度量 ?信道及其容量 一、課程介紹 信息論與信道編碼 教學(xué)目標(biāo) ? 香農(nóng)信息論的基本理論 – 信息的統(tǒng)計(jì)度量，信源，信道和信道容量。香農(nóng) （ . Shannon）發(fā)表了一篇著名論文 “ 通信的數(shù)學(xué)理論 ” 。它已遠(yuǎn)遠(yuǎn)地突破了香農(nóng)本人所研究和意料的范疇，即從香農(nóng)的所謂“狹義信息論”發(fā)展到了“廣義信息論”。 ?互信息量 ? 互信息量定義為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)： ? ? ? ?? ?|。 ?若給定 x條件下 y的條件自信息量為 I(y|x)，則它在 XY集合上的概率加權(quán)平均值 H(Y|X)定義為： ?H(Y|X)為條件熵，也可直接定義為： ? ? ? ? ? ?||XYH Y X P x y I y x?? ? ? ? ? ?| l o g |XYH Y X P x y P y x? ?共熵 ?共熵（又稱聯(lián)合熵）是聯(lián)合空間 XY上的每個(gè)元素對(duì) xy的自信息量的概率加權(quán)平均值，定義為： ? ? ? ? ? ?XYH X Y P x y I x y?? ? ? ? ? ?l o gXYH X Y P x y P x y?與信源熵和條件熵的關(guān)系 ? ? ? ? ? ?|H X Y H X H Y X??? ? ? ? ? ?|H X Y H Y H X Y??22 聯(lián)合熵與條件熵的關(guān)系 )/()( )/()()( )/()()()( ])/()()[( )()()(XYHXHXYHxIxpxyIyxpxIyxpxyIxIyxpyxIyxpXYHiiii jiji jjiijii jijijii jjiji??????????? ? ? ?? ?? ??????1)|()()()(jjijjjii yxpypyxpxp全概率公式 所以 H( X Y ) = H(X )＋ H(Y | X ) 同理 H( X Y ) = H(Y )＋ H( X | Y ) 而當(dāng) X、 Y 是統(tǒng)計(jì)獨(dú)立的兩個(gè)信源： H( X Y ) = H(X )＋ H(Y ) 平均互信息量 XY聯(lián)合集上的平均條件互信息量 ? ? ? ? ? ?? ?? ?? ?。 。I X Y H X H Y??噪聲很大的信道 ? ? ? ?|H X Y H X?四、信道及其 容量 信道容量計(jì)算 ? 離散信道 可分成： ? 特殊信道 – 無(wú)噪無(wú)損信道 – 有噪無(wú)損信道 – 無(wú)噪有損信道 ? 有干擾無(wú)記憶 信道 ? 有干擾有記憶 信道 特殊信道 信道名稱 信道特征 信息傳輸情況 全損信道 P(xy)=P(x)P(y) H(X/Y)=H(X) I(X。(pHpHppHXYHYHYXI??????? ??)(1l o g)(1l o g)()(ppHppppppppYH??????????????????? 當(dāng) p固定時(shí) ,I (X,Y) 是 ω的 型上凸函數(shù)。 5 連續(xù)信道及其容量 ? 當(dāng)信道為加性連續(xù)信道時(shí)，情況較簡(jiǎn)單。 ),2,1( ni ???????????????????)()(})1({)1(i
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1