平均互信息量和各種熵關(guān)系(完整版)
【正文】 x yp x yp y p xp y xI X Y p x y I Y Xpy?????????HUST Furong WANG Information and Coding Theory 15 平均互信息的性質(zhì)（續(xù)） ? 極值性 ? I(X。( | )l n 1 。 ? 當(dāng)集 X和集 Y統(tǒng)計獨立時，有 I(X。 )( | ) ( | )( 。 ( 。Y)是平均條件互信息量 I(X。yj)≥0 的證明 ()( | )()(|:( | )( 。 )ijI x y jyix( | )( 。 ( ) ( ) 。yj)不能從整體上作為信道中信息流通的測度。研究離散集 X和 Y的平均互信息量。 一般通信系統(tǒng)的輸入和輸出存在一定的概率關(guān)系 。 ? “ 輸入 xi ，輸出 yj” 是一個概率為 p(xi yj) 的隨機事件，相應(yīng)的 I(xi。 1}jmjmjj j jmj j jjyYy y yYp y p y p y p yPYY y j my Y p y pP p j p j m pPm???????????? ?????? ? ? ? ??其 中 ， 輸 出 離 散 事 件 集 ，對 每 一 個 事 件 相 應(yīng) 的 概 率 為 ， 簡表 示 輸 出 離 散 概 率 空記間為 ，, ， 且 0 ，HUST Furong WANG Information and Coding Theory 5 輸入 X、輸出 Y的聯(lián)合空間 XY 1 1 211 1 21, , , , , ( ) , ( ) , , ( ) ,{, ( )(){ 。 )ijI x y( 。 yj)仍然是一個隨機變量，隨 yj的變化而變化，因此，不能作為信道中流通信息量的整體測度。 ) ( | ) 1 l o(|g)ijj i j j i jXX ij i jXjiijiijiXijijpxp x ypp x yI X y p x y I X y p x ypxI X y p x yw w w w eI X y pxwwp x ypxp x yxy????? ? ???? ? ?????????????證 明 將 平 均 條 件 互 信 息 量 的 表 示 式改 寫 為令 則 有利 用 不 等 式得 ( ) ( | ) l o g 0( 。 ? 平均互信息 I(X。 ) ( ) l og()( | )( 。Y)也可定義為 HUST Furong WANG Information and Coding Theory 11 平均互信息的性質(zhì) ? 平均互信息量有以下基本性質(zhì)： ? 互易性（對稱性） ? 非負(fù)性 ? 極值性 ? 凸函數(shù)性 ? 數(shù)據(jù)處理定理 ? 平均互信息和各類熵的關(guān)系 HUST Furong WANG Information and Coding Theory 12 平均互信息的性質(zhì) ? 互易性（對稱性） I(X。 HUST Furong WANG Information and Coding Theory 13 性質(zhì) 1：非負(fù)性 I(X。X)的證明 ? 證明：按定義 ( | )( 。Y)是信源概率分布 p(xi)的上凸函數(shù)； ? 該性質(zhì)是研究信道容量的理論基礎(chǔ) ? 平均互信息量 I(X。 ) ( ) ( )I X Y H Y H Y XI X Y H pq pq H q??? ? ?平 均 互 信 息如 右 圖I ( X 。 ) ( ) ( / )( | )(。Y) H(X/Y) H(Y/X) HUST Furong WANG Information and Coding Theory 23 損失熵 H(X/Y) ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1