平均互信息量和各種熵關(guān)系-wenkub.com
2024-10-16 17:12 本頁面
【正文】 ? 分析總結(jié)了各種信息熵與平均互信息量之間的關(guān)系，并給出了反映這種關(guān)系的維拉圖。Y)等于輸入平均信息量 H(X) 減去信道損失，它反映了信道傳輸信息的能力。Y)=0，得到 ? H(X,Y)max=H(X)+H(Y) H(Y) H(X) H(X,Y) I(X。 ) ( ) () ( 。 ) ( ) ( / )( 。Y)=H(Y)H(Y/X) ? I(X。 ) ( ) ( / )( 。Y)的凸函數(shù)性－例題 X 0 1 P( X ) 1I X YXpp? ? ? ??? ? ? ??? ? ? ?二 元 對(duì) 稱 信 道 的 輸 入 概 率 空 間 為信 道 的 轉(zhuǎn) 移 概 率 圖 為 右 圖 所 示求 平 均 互 信 息 量 ( 。 ? 凸函數(shù)性 ? 平均互信息量 I(X。 )()XYXYXYXYp x yI X Y p x ypxp x y p yp x yp x p yp x yp x yp y p xp y xI X Y p x y I Y Xpy?????????HUST Furong WANG Information and Coding Theory 15 平均互信息的性質(zhì)（續(xù)） ? 極值性 ? I(X。Y)=I(Y。( | )l n 1 。即如果 X與 Y相互獨(dú)立，它們之間相互不能提供任何信息。 ? 當(dāng)集 X和集 Y統(tǒng)計(jì)獨(dú)立時(shí)，有 I(X。 ) 0de fijijXY ide fjii j iXY jde fi j i jXYi j j iijiji j i jp x yI X Y p x ypxp y xI X Y p x p y xpyI X Y p x y I x yp x y p y xI x yp x p yx y I x y i j I X Y?????? ? ? ????其 中當(dāng) 和 相 互 獨(dú) 立 時(shí) , 且平均互信息量的其它定義 ? 平均互信息量 I(X。 )( | ) ( | )( 。 ) ( ) l o g()n m n m iji j i j i ji j i j ip x yI X Y p x y I x y p x ypx? ? ? ???? ? ? ?HUST Furong WANG Information and Coding Theory 10 ( | )( 。 ( 。Y)是 Y對(duì) X的平均互信息量，簡(jiǎn)稱平均互信息，也稱平均交互信息量或交互熵。Y)是平均條件互信息量 I(X。 l o g l n l o g( 。yj)≥0 的證明 ()( | )()(|:( | )( 。 ? I(X。 )ijI x y jyix( | )( 。 , ( ) ( ) (ijn m m ni j i i j j i ji j j iij jij i i ji j i jij jij i i jiji j i j ip x yp x y p x p x y p y p x yp y x p x y p pp x y p x yp p y x p p x yp x p yi j x y p x y p x p y? ? ? ?? ? ????? ? ? ?率 ，且一 般 有 條 件 概 率 和 分 別 簡(jiǎn) 記 為 和且 ==若 對(duì) 于 所 有 的 , 事 件 和 彼 此 統(tǒng) 計(jì) 獨(dú) 立 且 有 ),jijX Y X Y? 成 立 ,則 稱 集 與 統(tǒng) 計(jì) 獨(dú) 立 否 則 稱 集 與 統(tǒng) 計(jì) 相 關(guān)HUST Furong WANG Information and Coding Theory 6 平均條件互信息量 ? 定義： 在聯(lián)合集 XY上，由 提供的關(guān)于集 X的平均條件互信息量等于由 所提供的互信息量
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1