【正文】 互信息量，用 I(X； Y)表示。bj) ≤ I(ai) 信息論與編碼基礎(chǔ) 離散信道 平均互信息 定義 令 )|()()。ai) 2）事件統(tǒng)計獨立時 I(ai。 ) l o g()ijijiP a bI a bPa?1）對稱性 I(ai。( kjikikji zyxIzxIzyxI ??信息論與編碼基礎(chǔ) 離散信道 信息論與編碼基礎(chǔ) 離散信道 ?互信息 )|(1l o g)(1l o gjii baPaP? )。()。( kjikiki kji zyxpzxpzxpzyxpkji zyxI ???)/( 12)( 12)( )/(2 l ogl ogl og)。 yj /zk)之和。 yj zk)，等于 zk發(fā)生后提供的有關(guān) xi的信息量 I(xi。 ( / ) ( / )( ) l o g l o g ( ) ( ) ( )i j j ii j j iijp x y p y xI x y I y xp x p y???； ；信息論與編碼基礎(chǔ) 離散信道 ③ 條件互信息量 ? 定義： 消息 xi與消息對 yj zk之間的互信息量為 ? 條件互信息量定義： 在給定 zk條件下， xi與 yj之間的互信息量。 信息論與編碼基礎(chǔ) 離散信道 ? 不大于其中任一事件的信息量 ? 由于 p(xi /yj)?1，有 I(xi； yj) ? log[1/ p(xi)]= I(xi) 同理，由 p(yj /xi)?1，有 I(yj ； xi)?log[1/ P(yj)]= I(yj) ? 這一性質(zhì)清楚地說明了互信息量是描述信息流通特性的物理量，流通量的數(shù)值當(dāng)然不能大于被流通量的數(shù)值。 綜上所述，只有 p(xi /yj)=p(xi )，即 I(xi 。 yj)0 ? 后驗概率小于先驗概率，說明收到 yj后對信源是否發(fā) xi所進(jìn)行判斷的正確程度，比 xi在信源集合中的概率還要小，這時判斷信源沒有發(fā) xi似乎更合理些，但不能判斷信源到底發(fā)了什么（特別是對應(yīng)于信源有多個符號時）。 yj) = 0 ? 后驗概率與先驗概率相等，說明收到 yj后對信源是否發(fā) xi所進(jìn)行判斷的正確程度，和 xi在信源集合中的概率是一樣的； ? 因此，它一點也不能消除對信源是否發(fā) xi的不確定度，也就是說從 yj中獲取不到關(guān)于 xi的信息量； ? 事實上，假若 xi 和 yj 統(tǒng)計無關(guān)，即 p(xi , yj)=p(xi )p(yj)， 由貝葉斯公式容易推得 I(xi ； yj) = 0； ? 這種情況實際上是事件 xi和事件 yj統(tǒng)計無關(guān)，或者說信道使得事件 xi和事件 yj變成了兩碼事，信宿得到的信息僅僅是由信道特性給出的，與信源實際發(fā)出什么符號無關(guān)，因此完全沒有信息的流通。 ? 從這里隱約可以看到，只要 I(xi； yj) 0，就存在著能夠通信的可能性，在后面的章節(jié)將會進(jìn)一步討論進(jìn)行可靠通信的極限條件。 ? I(xi； yj) 越大，這種獲取就越多。 ?其物理含義是信宿獲取了信源發(fā)出的全部信息量，這等效為信道沒有干擾。 （ 1） p(xi /yj )=1， I (xi； yj ) = I(xi)。 信息論與編碼基礎(chǔ) 離散信道 ? 互信息量可為正值或負(fù)值 ? 值域為實數(shù) ?互信息量的值可為正數(shù)、負(fù)數(shù)或者 0，取決于后驗概率和先驗概率的比值。 ? 當(dāng)后驗概率與先驗概率相等時，互信息量為零。 ? 當(dāng)后驗概率小于先驗概率時，互信息量為負(fù)。 1122( ) ( ) ( )( 。 互信息量描述了兩個隨機(jī)事件 xi、 yj 之間的統(tǒng)計約束程度，假如先驗概率確定了，其后驗概率就決定了信息的流通。yj)與從 xi得到的關(guān)于 yj的信息量 I(yj。yj)=I(yj。 ) l o g l o g ( ) ( ) ( ) ( ) ( )i j i ji j i j i j i j i jp x p y p x yI x y I x y I x y I x I y I x y? ? ? ? ? ? ?信息論與編碼基礎(chǔ) 離散信道 ? 互信息的引出，使 信息流通 問題進(jìn)入了 定量分析 的范疇，為信息流通的定量測量打下了堅實的基礎(chǔ)，把信息理論發(fā)展到了一個更深的層次，可以認(rèn)為是 信息論發(fā)展的又一個里程碑 。39。 lo g)( ji yxpji yxI ?39。 lo g)( ji ypxpji yxI ?)( 1239。 ) l o g l o g ( ) ( ) ( ) ( ) ( )i j i ji j i j i j i j i jp x p y p x yI x y I x y I x y I x I y I x y? ? ? ? ? ? ?信息論與編碼基礎(chǔ) 離散信道 通信后 發(fā)送 接收 ? 觀察者站在通信系統(tǒng)總體立場上 ? 通信前：輸入隨機(jī)變量 X和輸出隨機(jī)變量 Y之間沒有任何關(guān)聯(lián)關(guān)系，即X， Y統(tǒng)計獨立： p(xi yj)=p(xi)p(yj) 先驗不確定度 ? 通信后：輸入隨機(jī)變量 X和輸出隨機(jī)變量 Y之間由信道的統(tǒng)計特性相聯(lián)系，其聯(lián)合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后驗不確定度 ? 通信后的互信息量，等于前后不確定度的差 ? 這三種表達(dá)式實際上是等效的，在實際應(yīng)用中可根據(jù)具體情況選用一種較為方便的表達(dá)式。39。 ) l o g l o g ( ) ( ) ( ) ( ) ( )i j i ji j i j i j i j i jp x p y p x yI x y I x y I x y I x I y I x y? ? ? ? ? ? ?信息論與編碼基礎(chǔ) 離散信道 通信前 發(fā)送 接收 觀察通信系統(tǒng)： ? 觀察者站在通信系統(tǒng)總體立場上 39。39。( )/( 12)( 12 ijjxypypij xyIyIxyI ijj ????信息論與編碼基礎(chǔ) 離散信道 ? 觀察者站在通信系統(tǒng)總體立場上 39。觀察者得知輸入端發(fā)出 xi前、后對輸出端出現(xiàn) yj的 不確定度的差。( )/( 12)( 12 ijjxypypij xyIyIxyI ijj ????信息論與編碼基礎(chǔ) 離散信道 發(fā)送 接收 ？？ ?, jiyx ji ??理想情況：