信息論與編碼第一講(完整版)
【正文】 ? ? ?l o g 1 l o g 1H X P P P P? ? ? ? ?????H(P) 1 0 1 P 最大熵 條件熵 ?條件熵是聯(lián)合空間 XY上 的 條件自信息量 的概率加權(quán)平均值。對消息 xi而言，其條件概率定義為 P(xi|yj)。不僅在電子學的其他領域，如計算機、自動控制等方面大顯身手，而且遍及物理學、化學、生物學、心理學、醫(yī)學、經(jīng)濟學、人類學、語音學、統(tǒng)計學、管理學 …… 等學科。 香農(nóng)信息論 1948年 ， 美國數(shù)學家克勞特 第一講 主 講 人：劉丹平 聯(lián)系方式： 主要內(nèi)容 ?課程介紹 ?信息概念、信息論 ?信息的度量 ?信道及其容量 一、課程介紹 信息論與信道編碼 教學目標 ? 香農(nóng)信息論的基本理論 – 信息的統(tǒng)計度量，信源，信道和信道容量。香農(nóng) （ . Shannon）發(fā)表了一篇著名論文 “ 通信的數(shù)學理論 ” 。它已遠遠地突破了香農(nóng)本人所研究和意料的范疇，即從香農(nóng)的所謂“狹義信息論”發(fā)展到了“廣義信息論”。 ?互信息量 ? 互信息量定義為后驗概率與先驗概率比值的對數(shù)： ? ? ? ?? ?|。 ?若給定 x條件下 y的條件自信息量為 I(y|x)，則它在 XY集合上的概率加權(quán)平均值 H(Y|X)定義為： ?H(Y|X)為條件熵，也可直接定義為： ? ? ? ? ? ?||XYH Y X P x y I y x?? ? ? ? ? ?| l o g |XYH Y X P x y P y x? ?共熵 ?共熵（又稱聯(lián)合熵）是聯(lián)合空間 XY上的每個元素對 xy的自信息量的概率加權(quán)平均值，定義為： ? ? ? ? ? ?XYH X Y P x y I x y?? ? ? ? ? ?l o gXYH X Y P x y P x y?與信源熵和條件熵的關(guān)系 ? ? ? ? ? ?|H X Y H X H Y X??? ? ? ? ? ?|H X Y H Y H X Y??22 聯(lián)合熵與條件熵的關(guān)系 )/()( )/()()( )/()()()( ])/()()[( )()()(XYHXHXYHxIxpxyIyxpxIyxpxyIxIyxpyxIyxpXYHiiii jiji jjiijii jijijii jjiji??????????? ? ? ?? ?? ??????1)|()()()(jjijjjii yxpypyxpxp全概率公式 所以 H( X Y ) = H(X )＋ H(Y | X ) 同理 H( X Y ) = H(Y )＋ H( X | Y ) 而當 X、 Y 是統(tǒng)計獨立的兩個信源： H( X Y ) = H(X )＋ H(Y ) 平均互信息量 XY聯(lián)合集上的平均條件互信息量 ? ? ? ? ? ?? ?? ?? ?。 。I X Y H X H Y??噪聲很大的信道 ? ? ? ?|H X Y H X?四、信道及其 容量 信道容量計算 ? 離散信道 可分成： ? 特殊信道 – 無噪無損信道 – 有噪無損信道 – 無噪有損信道 ? 有干擾無記憶 信道 ? 有干擾有記憶 信道 特殊信道 信道名稱 信道特征 信息傳輸情況 全損信道 P(xy)=P(x)P(y) H(X/Y)=H(X) I(X。(pHpHppHXYHYHYXI??????? ??)(1l o g)(1l o g)()(ppHppppppppYH??????????????????? 當 p固定時 ,I (X,Y) 是 ω的 型上凸函數(shù)。 5 連續(xù)信道及其容量 ? 當信道為加性連續(xù)信道時，情況較簡單。 ),2,1( ni ???????????????????)()(})1({)1(i
教學課件相關(guān)推薦
鄂ICP備17016276號-1