信息論與編碼第一講-文庫吧
2025-04-11 13:51 本頁面
【正文】 。 ? 無記憶信源的平均自信息量是各消息自信息量的概率加權平均值（統(tǒng)計平均值）。 ?通信熵 平均自信息量 ? ? ? ? ? ?XH X P x I x?自信息量 ? ? ? ?l o giiI x P x?代入 ? ? ? ? ? ?l o gXH X P x P x? ?信息論的一個基本的重要公式。 此式與統(tǒng)計熱力學中 “ 熵 ” 的表示形式相同，因此往往把平均自信息量 H(X)稱為熵。 H(X)是 P(x)的函數。 ?定理 : ? 熵滿足不等式 ?當且僅當信源中各符號的出現概率 P(x)都等于時1/M，上式取等號，可得最大熵： ? ? l o gH X M?? ? m a x l o gH X M?二元信源的信源熵 二元信源的信源熵 ?信源 X有兩個消息， M=2 ? 一個符號出現概率 P ? 另一個符號出現概率 1－ P ? 該信源的熵 ? ? ? ? ? ?l o g 1 l o g 1H X P P P P? ? ? ? ?????H(P) 1 0 1 P 最大熵 條件熵 ?條件熵是聯(lián)合空間 XY上 的 條件自信息量 的概率加權平均值。 ?若給定 x條件下 y的條件自信息量為 I(y|x)，則它在 XY集合上的概率加權平均值 H(Y|X)定義為： ?H(Y|X)為條件熵，也可直接定義為： ? ? ? ? ? ?||XYH Y X P x y I y x?? ? ? ? ? ?| l o g |XYH Y X P x y P y x? ?共熵 ?共熵（又稱聯(lián)合熵）是聯(lián)合空間 XY上的每個元素對 xy的自信息量的概率加權平均值，定義為： ? ? ? ? ? ?XYH X Y P x y I x y?? ? ? ? ? ?l o gXYH X Y P x y P x y?與信源熵和條件熵的關系 ? ? ? ? ? ?|H X Y H X H Y X??? ? ? ? ? ?|H X Y H Y H X Y??22 聯(lián)合熵與條件熵的關系 )/()( )/()()( )/()()()( ])/()()[( )()()(XYHXHXYHxIxpxyIyxpxIyxpxyIxIyxpyxIyxpXYHiiii jiji jjiijii jijijii jjiji??????????? ? ? ?? ?? ??????1)|()()()(jjijjjii yxpypyxpxp全概率公式 所以 H( X Y ) = H(X )＋ H(Y | X ) 同理 H( X Y ) = H(Y )＋ H( X | Y ) 而當 X、 Y 是統(tǒng)計獨立的兩個信源： H( X Y ) = H(X )＋ H(Y ) 平均互信息量 XY聯(lián)合集上的平均條件互信息量 ? ? ? ? ? ?? ?? ?? ?。 | 。|| l ogj j jXjjXI X y P x y I x yP x yP x yPx???定理 XY聯(lián)合集上的條件互信息量滿足 當且僅當 X集合中的各 x都與yi獨立時，等號成立 jyx通過有擾信道的接收符號 任意一個可能被傳輸的消息 結論：有擾信道中接收到的符號所提供的 關于傳輸消息的平均信息量總是非負量。 ?平均互信息量 ： 平均條件互信息量 在整個 Y集合上的概率加權平均值 。 ? ? ? ? ? ?。YI X Y P y I X y?特性 互易性 ? ? ? ? ? ? ? ? ? ? ? ?。 。 。 。X Y X YI X Y P x y I x y P x y I x y I Y X? ? ???與熵和條件熵的關系 ? ? ? ? ? ?。|I X Y H X H X Y??? ? ? ?? ?。 HXI X Y HY??? ???與熵和共熵的關系 ? ? ? ? ? ? ? ?。I X Y H X H Y H X Y? ? ?? ?。0I X Y ?? ? ? ? ? ?。|I X Y H X H X Y??
教學課件相關推薦
鄂ICP備17016276號-1