平均互信息量和各種熵關(guān)系-文庫(kù)吧
2025-09-20 17:12 本頁(yè)面
【正文】 ..., ( ) }}i j n mi j n mji j iijx y x y x y x yXYp x y p x y p x y p x yp x yX Y X Y x y x X y Y i j mnx y XXYYp x y??????????? ??? ? ? ? ??其 中 ， 和 的 聯(lián) 合 空 間 ，對(duì) 每 組 事 件 ( 積 事 件以 表 示 二 維 聯(lián) 合 概 率 空 間) 相 應(yīng) 的 概 率 二 維 聯(lián) 合 概1 1 1 1()( ) 1 。 ( ) ( ) 。 ( ) ( ) 。( / ) ( / ) ,( ) ( )( / ) 。 ( / )( ) ( ), 。 , ( ) ( ) (ijn m m ni j i i j j i ji j j iij jij i i ji j i jij jij i i jiji j i j ip x yp x y p x p x y p y p x yp y x p x y p pp x y p x yp p y x p p x yp x p yi j x y p x y p x p y? ? ? ?? ? ????? ? ? ?率 ，且一 般 有 條 件 概 率 和 分 別 簡(jiǎn) 記 為 和且 ==若 對(duì) 于 所 有 的 , 事 件 和 彼 此 統(tǒng) 計(jì) 獨(dú) 立 且 有 ),jijX Y X Y? 成 立 ,則 稱 集 與 統(tǒng) 計(jì) 獨(dú) 立 否 則 稱 集 與 統(tǒng) 計(jì) 相 關(guān)HUST Furong WANG Information and Coding Theory 6 平均條件互信息量 ? 定義： 在聯(lián)合集 XY上，由 提供的關(guān)于集 X的平均條件互信息量等于由 所提供的互信息量 在整個(gè) X中以 后驗(yàn)概率加權(quán)的平均值，其定義式為 ? 由于互信息 是表示觀測(cè)到 后獲得的關(guān)于事件 的信息量，即 ? 故平均條件互信息量又可以表示為 jyjy ( 。 )ijI x y( 。 ) ( | ) ( 。 )d e fj i j i jXI X y p x y I x y? ?( | )ijp x y( 。 )ijI x y jyix( | )( 。 ) l o g()ijijip x yI x ypx?( | )( 。 ) ( | ) l o g()ijj i jX ip x yI X y p x ypx? ?HUST Furong WANG Information and Coding Theory 7 定理 ? 定理： 聯(lián)合集 XY上的平均條件互信息量有 ? 等號(hào)成立當(dāng)且僅當(dāng) X集中的各個(gè) 都與事件 相互獨(dú)立。 ? 平均條件互信息量表示觀測(cè)到 yj后獲得的關(guān)于集 X的平均信息量。 ? I(X。 yj)仍然是一個(gè)隨機(jī)變量，隨 yj的變化而變化，因此，不能作為信道中流通信息量的整體測(cè)度。 ( 。 ) 0jI X y ?ix jyHUST Furong WANG Information and Coding Theory 8 定理 I(X。yj)≥0 的證明 ()( | )()(|:( | )( 。 ) ( | ) l o g ( 。 ) ( | ) l o g()( 。 ) ( | ) l o gln)()1 。 l o g l n l o g( 。 ) ( | ) 1 l o(|g)ijj i j j i jXX ij i jXjiijiijiXijijpxp x ypp x yI X y p x y I X y p x ypxI X y p x yw w w w eI X y pxww
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1