平均互信息量和各種熵關(guān)系(已改無錯(cuò)字)
2022-11-19 17:12:38 本頁面
【正文】 ( ) l o g 0, , ( ) (iijXY ijii j jXY iji j i j jX Y X YiipxI X Y p x yp x yw w w w epxI X Y p x y p y ep x yp x p y p x y p y ei j p x p x??? ? ???? ? ?????????? ? ???????????證 明 : 按 照 平 均 互 信 息 的 定 義 式利 用 不 等 式 和 關(guān) 系 式等 號(hào) 成 立 的 條 件 是 對(duì) 于 都 有 | ) , ( ( ) 0 ), ( 。 ) 0jjy p yX Y I X Y??即 當(dāng) 且 僅 當(dāng) 與 相 互 獨(dú) 立 時(shí) 證 畢HUST Furong WANG Information and Coding Theory 14 性質(zhì) 2：對(duì)稱性 I(X。Y)=I(Y。X)的證明 ? 證明：按定義 ( | )( 。 ) ( ) l og()( | ) ( )( ) l og( ) ( )()( ) l og( ) ( )( | )( 。 ) ( ) l og ( 。 )()XYXYXYXYp x yI X Y p x ypxp x y p yp x yp x p yp x yp x yp y p xp y xI X Y p x y I Y Xpy?????????HUST Furong WANG Information and Coding Theory 15 平均互信息的性質(zhì)（續(xù)） ? 極值性 ? I(X。Y)≤ H(X)； I(X。Y)≤ H(Y) ? 證明：因?yàn)?I(X。Y)=H(X)H(X/Y)，條件熵 H(X/Y)為非負(fù)，故兩個(gè)不等式成立。 ? 凸函數(shù)性 ? 平均互信息量 I(X。Y)是信源概率分布 p(xi)的上凸函數(shù)； ? 該性質(zhì)是研究信道容量的理論基礎(chǔ) ? 平均互信息量 I(X。Y)是信道傳遞概率 p(yj/xi)的下凸函數(shù)。 ? 該性質(zhì)是研究率失真函數(shù)的理論基礎(chǔ) HUST Furong WANG Information and Coding Theory 16 平均互信息量 I(X。Y)的凸函數(shù)性－例題 X 0 1 P( X ) 1I X YXpp? ? ? ??? ? ? ??? ? ? ?二 元 對(duì) 稱 信 道 的 輸 入 概 率 空 間 為信 道 的 轉(zhuǎn) 移 概 率 圖 為 右 圖 所 示求 平 均 互 信 息 量 ( 。 ) , 并 畫 圖0 0 1 1 q q 1q 1q 二元對(duì)稱信道 HUST Furong WANG Information and Coding Theory 17 求平均互信息 I(X。Y)－例題 ? ?? ?22211222211112( 。 ) ( ) ( / )( / ) ( ) ( / ) l og ( / )( ) l og l og ( ) ( ) ( )( ) ( ) ( / )( ) ( 0) 2( ) ( 1 ) 1i j i j iijiiiinj i j iiI X Y H Y H Y XH Y X p x p y x p y xp x q q q q p x H q H qp y p x p y xp y P Y pq pq p q pqp y P Y pq pq p q?????????? ? ? ? ??? ? ? ? ? ? ?? ? ? ? ? ? ? ??????平 均 互 信 息由 信 道 特 性 決 定 的 條 件 熵由 求 得? ? ? ? ? ? ? ?? ?2( ) l og l og( ) ( )pqH Y pq pq pq pq pq pq pq pqH Y H
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1