平均互信息量和各種熵關(guān)系-閱讀頁
2024-11-03 17:12本頁面
【正文】 i j jX Y X YiipxI X Y p x yp x yw w w w epxI X Y p x y p y ep x yp x p y p x y p y ei j p x p x??? ? ???? ? ?????????? ? ???????????證 明 : 按 照 平 均 互 信 息 的 定 義 式利 用 不 等 式 和 關(guān) 系 式等 號 成 立 的 條 件 是 對 于 都 有 | ) , ( ( ) 0 ), ( 。Y)=I(Y。 ) ( ) l og()( | ) ( )( ) l og( ) ( )()( ) l og( ) ( )( | )( 。 )()XYXYXYXYp x yI X Y p x ypxp x y p yp x yp x p yp x yp x yp y p xp y xI X Y p x y I Y Xpy?????????HUST Furong WANG Information and Coding Theory 15 平均互信息的性質(zhì)（續(xù)） ? 極值性 ? I(X。Y)≤ H(Y) ? 證明：因為 I(X。 ? 凸函數(shù)性 ? 平均互信息量 I(X。Y)是信道傳遞概率 p(yj/xi)的下凸函數(shù)。Y)的凸函數(shù)性－例題 X 0 1 P( X ) 1I X YXpp? ? ? ??? ? ? ??? ? ? ?二 元 對 稱 信 道 的 輸 入 概 率 空 間 為信 道 的 轉(zhuǎn) 移 概 率 圖 為 右 圖 所 示求 平 均 互 信 息 量 ( 。Y)－例題 ? ?? ?22211222211112( 。 ) ( ) ( / )( 。 Y )熵 函 數(shù)p1 .01 H ( q )0HUST Furong WANG Information and Coding Theory 19 第 2章 信源熵 ? 單符號離散信源 ? 單符號離散信源的數(shù)學(xué)模型 ? 自信息和信源熵 ? 信源熵的基本性質(zhì)和定理 ? 加權(quán)熵的概念及基本性質(zhì) ? 平均互信息量 ? 各種熵之間的關(guān)系 HUST Furong WANG Information and Coding Theory 20 平均互信息和各類熵的關(guān)系 ? 平均互信息和各類熵的關(guān)系 ? I(X。Y)=H(Y)H(Y/X) ? I(X。 ) ( ) l og()( ) l og ( ) ( ) l og ( | )( | ) ( | )( 。 ) ( ) ( / )( 。XYX Y X YX Y X YX Y X Yp x yI X Y p x ypxp x y p x p x y p x yp x y p y xI X Y p xI X Y H X H X YI X Y H Y H Yy p x yp x p yp x y p y p x y y xXpIX?? ? ?????????????????證 明 按 定 義同 理 有因 為 ) ( ) ( / ) 。 ) ( ) () ( 。Y)和各類熵的關(guān)系可用維拉圖表示。Y)=0，得到 ? H(X,Y)max=H(X)+H(Y) H(Y) H(X) H(X,Y) I(X。 ? 根據(jù)互信息量 I(X。Y)等于輸入平均信息量 H(X) 減去信道損失，它反映了信道傳輸信息的能力。 HUST Furong WANG Information and Coding Theory 24 小結(jié) ? 為了介紹兩個離散集之間的平均互信息量，首先定義了在一個事件發(fā)生條件下，給出的另一個離散事件集的平均條件互信息量。 ? 分析總結(jié)了各種信息熵與平均互信息量之間的關(guān)系，并給出了反映這種關(guān)系的維拉圖。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1