平均互信息量和各種熵關(guān)系-文庫吧資料
2024-10-25 17:12本頁面
【正文】 ANG Information and Coding Theory 13 性質(zhì) 1：非負性 I(X。Y)≥0 ? 當且僅當 X與 Y相互獨立時，等號成立。Y)= I(Y。X) ? 該性質(zhì)表示從集 Y中獲得關(guān)于 X的信息量等于從集 X中獲得關(guān)于 Y的信息量。Y)也可定義為 HUST Furong WANG Information and Coding Theory 11 平均互信息的性質(zhì) ? 平均互信息量有以下基本性質(zhì)： ? 互易性（對稱性） ? 非負性 ? 極值性 ? 凸函數(shù)性 ? 數(shù)據(jù)處理定理 ? 平均互信息和各類熵的關(guān)系 HUST Furong WANG Information and Coding Theory 12 平均互信息的性質(zhì) ? 互易性（對稱性） I(X。 1 , 2 , ) ( 。 ) l og l og( ) ( )( 。 ) ( ) ( 。 ) ( ) l og()( | )( 。 ) ( ) ( 。 ) ( ) ( 。yj)的隨機性，成為一個確定的量，因此，可以作為信道中流通信息量的整體測度。 ? 平均互信息 I(X。yj)在聯(lián)合概率空間 P(XY)中的統(tǒng)計平均值 ? 稱 I(X。yj)在整個集 Y上的概率加權(quán)平均值。 ) 0i i jXji i j je p x p x y eI X yp x p x y I X y??? ? ???????故當 且 僅 當 時 , 證 畢HUST Furong WANG Information and Coding Theory 9 平均互信息量 ? 定義：平均互信息量 I(X。 ) ( | ) 1 l o(|g)ijj i j j i jXX ij i jXjiijiijiXijijpxp x ypp x yI X y p x y I X y p x ypxI X y p x yw w w w eI X y pxwwp x ypxp x yxy????? ? ???? ? ?????????????證 明 將 平 均 條 件 互 信 息 量 的 表 示 式改 寫 為令 則 有利 用 不 等 式得 ( ) ( | ) l o g 0( 。 ) ( | ) l o gln)()1 。 ) ( | ) l o g ( 。 ) 0jI X y ?ix jyHUST Furong WANG Information and Coding Theory 8 定理 I(X。 yj)仍然是一個隨機變量，隨 yj的變化而變化，因此，不能作為信道中流通信息量的整體測度。 ? 平均條件互信息量表示觀測到 yj后獲得的關(guān)于集 X的平均信息量。 ) l o g()ijijip x yI x ypx?( | )( 。 )d e fj i j i jXI X y p x y I x y? ?( | )ijp x y( 。 )ijI x y( 。 ( / )( ) ( ), 。 ( ) ( ) 。1 , 2 , ..., 1 , 2 , ..., ( ) }}i j n mi j n mji j iijx y x y x y x yXYp x y p x y p x y p x yp x yX Y X Y x y x X y Y i j mnx y XXYYp x y??????????? ??? ? ? ? ??其 中 ， 和 的 聯(lián) 合 空 間 ，對 每 組 事 件 ( 積 事 件以 表 示 二 維 聯(lián) 合 概 率 空 間) 相 應(yīng) 的 概 率 二 維 聯(lián) 合 概1 1 1 1()( ) 1 。 1}jmjmjj j jmj j jjyYy y yYp y p y p y p yPYY y j m
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1