平均互信息量和各種熵關(guān)系-在線瀏覽
2024-12-06 17:12本頁(yè)面
【正文】 ij jij i i ji j i jij jij i i jiji j i j ip x yp x y p x p x y p y p x yp y x p x y p pp x y p x yp p y x p p x yp x p yi j x y p x y p x p y? ? ? ?? ? ????? ? ? ?率 ，且一 般 有 條 件 概 率 和 分 別 簡(jiǎn) 記 為 和且 ==若 對(duì) 于 所 有 的 , 事 件 和 彼 此 統(tǒng) 計(jì) 獨(dú) 立 且 有 ),jijX Y X Y? 成 立 ,則 稱 集 與 統(tǒng) 計(jì) 獨(dú) 立 否 則 稱 集 與 統(tǒng) 計(jì) 相 關(guān)HUST Furong WANG Information and Coding Theory 6 平均條件互信息量 ? 定義： 在聯(lián)合集 XY上，由 提供的關(guān)于集 X的平均條件互信息量等于由 所提供的互信息量 在整個(gè) X中以 后驗(yàn)概率加權(quán)的平均值，其定義式為 ? 由于互信息 是表示觀測(cè)到 后獲得的關(guān)于事件 的信息量，即 ? 故平均條件互信息量又可以表示為 jyjy ( 。 ) ( | ) ( 。 )ijI x y jyix( | )( 。 ) ( | ) l o g()ijj i jX ip x yI X y p x ypx? ?HUST Furong WANG Information and Coding Theory 7 定理 ? 定理： 聯(lián)合集 XY上的平均條件互信息量有 ? 等號(hào)成立當(dāng)且僅當(dāng) X集中的各個(gè) 都與事件 相互獨(dú)立。 ? I(X。 ( 。yj)≥0 的證明 ()( | )()(|:( | )( 。 ) ( | ) l o g()( 。 l o g l n l o g( 。 ) 0( ) ( | ) ( 。Y)是平均條件互信息量 I(X。其定義式為 ? 定義：互信息量 I(xi。Y)是 Y對(duì) X的平均互信息量，簡(jiǎn)稱平均互信息，也稱平均交互信息量或交互熵。Y)克服了互信息量 I(xi。 ( 。 )jjYI X Y p y I X y? ?1 1 1 1( / )( 。 ) ( ) l o g()n m n m iji j i j i ji j i j ip x yI X Y p x y I x y p x ypx? ? ? ???? ? ? ?HUST Furong WANG Information and Coding Theory 10 ( | )( 。 ) ( ) ( | ) l og()( 。 )( | ) ( | )( 。 ) 0 ( 1 , 2 , 。 ) 0de fijijXY ide fjii j iXY jde fi j i jXYi j j iijiji j i jp x yI X Y p x ypxp y xI X Y p x p y xpyI X Y p x y I x yp x y p y xI x yp x p yx y I x y i j I X Y?????? ? ? ????其 中當(dāng) 和 相 互 獨(dú) 立 時(shí) , 且平均互信息量的其它定義 ? 平均互信息量 I(X。Y)= I(Y。 ? 當(dāng)集 X和集 Y統(tǒng)計(jì)獨(dú)立時(shí)，有 I(X。X)=0 ? 它意味著不能從一個(gè)集獲得關(guān)于另一個(gè)集的任何信息 ? 非負(fù)性 I(X。即如果 X與 Y相互獨(dú)立，它們之間相互不能提供任何信息。Y)≥0的證明 ()( 。( | )l n 1 。 ) ( | ) ( ) 1 l o g( | )( ) ( ) ( | ) ( ) l o g 0, , ( ) (iijXY ijii j jXY iji j
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1