平均互信息量和各種熵關(guān)系-文庫吧在線文庫
【正文】 以 表 示 輸 入 離 散 概 率 空記 為 ，, ，間且 0 ，以12121, , , , , ( ) , ( ) , , ( ) , , ( )(){,{, 1 , 2 , ..., }, ( ){ 1 , 2 , ..., } 1 , 2 , ..., 。 , ( ) ( ) (ijn m m ni j i i j j i ji j j iij jij i i ji j i jij jij i i jiji j i j ip x yp x y p x p x y p y p x yp y x p x y p pp x y p x yp p y x p p x yp x p yi j x y p x y p x p y? ? ? ?? ? ????? ? ? ?率 ，且一 般 有 條 件 概 率 和 分 別 簡 記 為 和且 ==若 對 于 所 有 的 , 事 件 和 彼 此 統(tǒng) 計(jì) 獨(dú) 立 且 有 ),jijX Y X Y? 成 立 ,則 稱 集 與 統(tǒng) 計(jì) 獨(dú) 立 否 則 稱 集 與 統(tǒng) 計(jì) 相 關(guān)HUST Furong WANG Information and Coding Theory 6 平均條件互信息量 ? 定義： 在聯(lián)合集 XY上，由 提供的關(guān)于集 X的平均條件互信息量等于由 所提供的互信息量 在整個(gè) X中以 后驗(yàn)概率加權(quán)的平均值，其定義式為 ? 由于互信息 是表示觀測到 后獲得的關(guān)于事件 的信息量，即 ? 故平均條件互信息量又可以表示為 jyjy ( 。 ? I(X。 l o g l n l o g( 。Y)是 Y對 X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。 ) ( ) l o g()n m n m iji j i j i ji j i j ip x yI X Y p x y I x y p x ypx? ? ? ???? ? ? ?HUST Furong WANG Information and Coding Theory 10 ( | )( 。 ) 0de fijijXY ide fjii j iXY jde fi j i jXYi j j iijiji j i jp x yI X Y p x ypxp y xI X Y p x p y xpyI X Y p x y I x yp x y p y xI x yp x p yx y I x y i j I X Y?????? ? ? ????其 中當(dāng) 和 相 互 獨(dú) 立 時(shí) , 且平均互信息量的其它定義 ? 平均互信息量 I(X。即如果 X與 Y相互獨(dú)立，它們之間相互不能提供任何信息。Y)=I(Y。 ? 凸函數(shù)性 ? 平均互信息量 I(X。 ) ( ) ( / )( 。 ) ( ) ( / )( 。Y)=0，得到 ? H(X,Y)max=H(X)+H(Y) H(Y) H(X) H(X,Y) I(X。 ? 分析總結(jié)了各種信息熵與平均互信息量之間的關(guān)系，并給出了反映這種關(guān)系的維拉圖。Y)等于輸入平均信息量 H(X) 減去信道損失，它反映了信道傳輸信息的能力。 ) ( ) () ( 。Y)=H(Y)H(Y/X) ? I(X。Y)的凸函數(shù)性－例題 X 0 1 P( X ) 1I X YXpp? ? ? ??? ? ? ??? ? ? ?二 元 對 稱 信 道 的 輸 入 概 率 空 間 為信 道 的 轉(zhuǎn) 移 概 率 圖 為 右 圖 所 示求 平 均 互 信 息 量 ( 。 )()XYXYXYXYp x yI X Y p x ypxp x y p yp x yp x p yp
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1