【正文】 ? H(X,Y)max=H(X)+H(Y) H(Y) H(X) H(X,Y) I(X。 ) ( ) ( / )( 。Y)=I(Y。 ) 0de fijijXY ide fjii j iXY jde fi j i jXYi j j iijiji j i jp x yI X Y p x ypxp y xI X Y p x p y xpyI X Y p x y I x yp x y p y xI x yp x p yx y I x y i j I X Y?????? ? ? ????其 中當 和 相 互 獨 立 時 , 且平均互信息量的其它定義 ? 平均互信息量 I(X。Y)是 Y對 X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。 ? I(X。ininii i ini i iixxXPxxXp x p x p x p xPXX x i nx X p x pP p i n p i n p???????????? ?????? ? ? ? ??其 中 ， 輸 入 離 散 事 件 集 ，對 每 一 個 事 件 相 應(yīng) 的 概 率 為 ， 簡以 表 示 輸 入 離 散 概 率 空記 為 ，, ，間且 0 ，以12121, , , , , ( ) , ( ) , , ( ) , , ( )(){,{, 1 , 2 , ..., }, ( ){ 1 , 2 , ..., } 1 , 2 , ..., 。 ? 通信的目的是在接收端準確地或以盡可能小的失真復(fù)現(xiàn)發(fā)送的消息。 ? 這種測度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。 ) l o g()ijijip x yI x ypx?( | )( 。yj)在整個集 Y上的概率加權(quán)平均值。 ) l og l og( ) ( )( 。 l o g l n l o g()( 。 ) , 并 畫 圖0 0 1 1 q q 1q 1q 二元對稱信道 HUST Furong WANG Information and Coding Theory 17 求平均互信息 I(X。 )( , ) () ( , )) ( / )Y H Y H Y X H Y X H Y I X YH X YI X Y H X H Y H XHXYX H Y? ? ?? ? ? ???則又 因 故 有證 畢幾個關(guān)系式的證明 HUST Furong WANG Information and Coding Theory 22 維拉圖 ? 平均互信息量 I(X。 ? 在平均條件互信息量的基礎(chǔ)上，定義了一個離散集合對另一個離散集的平均互信息量。 ) ( ) l og ( ) l og( ) ( )( ) l og ( ) ( ) l og( 。Y)=H(X)H(X/Y)，條件熵 H(X/Y)為非負，故兩個不等式成立。Y)≥0 ? 當且僅當 X與 Y相互獨立時，等號成立。 ) ( ) ( 。 ) ( | ) l o gln)()1 。 ( / )( ) ( ), 。yj)是定量研究信息流通問題的重要基礎(chǔ)。 P(Y/X) X Y HUST Furong WANG Information and Coding Theory 3 互信息量 — 信道中信息流通的測度？ ? 互信息量 I(xi。( / ) ( / ) ,( ) ( )( / ) 。 ) ( | ) l o g()( 。 )jjYI X Y p y I X y? ?1 1 1 1( / )( 。X)=0 ? 它意味著不能從一個集獲得關(guān)于另一個集的任何信息 ? 非負性 I(X。Y)≤ H(Y) ? 證明：因為 I(X。 ) ( ) l og()( )