【正文】 ? ? ? ?//H X Y H X H Y XH X Y H Y H X Y????2021/6/15 17 互信息 ? 定義： xi的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù) ? 事件 xi是否發(fā)生具有不確定性，用 I(xi)度量。 ? 接收到符號(hào) yj后，事件 xi是否發(fā)生仍保留有一定的不確定性，用 I(xi / yj)度量。 ? 接收到某消息 yj后獲得的關(guān)于事件 xi的信息量，用 I(xi。 yj)表示。 2( | )( 。 ) l o g ( ) ( | )()iji j i i jip x yI x y I x I x ypx? ? ?2021/6/15 18 平均互信息 ? 互信息量 I(xi。 yj)在 X集合上的統(tǒng)計(jì)平均值為 ? I(X。 yj)在 Y集合上的概率加權(quán)統(tǒng)計(jì)平均值 ( / )( / ) ( 。 ) ( / ) l o g(( 。 ) )jiji j i j i jii ip x yp x y I x yI X y p x ypx????,( / )( ) ( 。 ) ( ) ( / ) l og()( / )( ) l og()( 。 ) ijj j j i jj i j iijijij ip x yp y I X y p y p x ypxp x yp x ypxI X Y??????平均互信息（量） ? ? ? ? ? ? ? ? ? ? ? ?,l o g l /o g /i i i j i ji i jp x p x p x y p HXx Yy XH? ? ? ? ???2021/6/15 19 平均互信息量的物理意義 ? H(X/Y)：信道 疑義度，損失熵 ? 信源符號(hào)通過(guò)有噪信道傳輸后引起的信息量損失。 ? 信源 X的熵等于接收到的信息量加損失掉的信息量。 ? H(Y/X) ： 噪聲熵，散布度 ? 它反映了信道中噪聲源的不確定性。 ? 輸出端信源 Y的熵 H(Y)等于接收到關(guān)于 X的信息量 I(X。Y)加上 H(Y/X)，這完全是由信道中噪聲引起的。 ? ? ? ? ? ?? ? ? ? ? ?。/I X Y H X H X YI Y X H Y H Y X????2021/6/15 20 熵的性質(zhì) ? 非負(fù)性 ? H(X)＝ H(x1,x2,……, xn)≥0 等號(hào)在 p(xi)=1時(shí)成立 ? 對(duì)稱性 ? H(x1,x2,……, xn)＝ H(x2,x1,……, xn) ? 熵函數(shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān) ? 確定性 ? H(0,1)＝ H(1,0,0,……,0) ＝ 0 ? 只要信源符號(hào)集中有一個(gè)符號(hào)的出現(xiàn)概率為 1，信源熵就等于零 2021/6/15 21 熵的性質(zhì) ? 香農(nóng)輔助定理 ? 對(duì)于 P＝ (p1,p2, ……, pn)和 Q＝ (q1,q2, ……, qn) ? 對(duì)任意概率分布 pi，它對(duì)其他概率分布 qi的自信息量取數(shù)學(xué)期望時(shí)，必不小于 pi本身的熵 ? 最大熵定理 ? 離散無(wú)記憶信源輸出 M個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率時(shí)（即等概率分布），熵最大 ? ?1211, , , l o g l o gnnn i i i iiiH p p p p p p q??? ? ? ???? ? 1 1 1, , , l o gH X H MM M M????????2021/6/15 22 互信息量與熵 H(X/Y) H(X) H(Y) H(XY) H(Y/X) I(X。Y) ( 。 ) ( ) ( / )( ) ( / )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( ) ( ) ( / )( ) ( / )( ) ( ) ( )( ) ( / )( ) ( / )H X Y H X H Y XH Y H X YH X Y H X H YH X H X YH Y H Y X????????2021/6/15 23 離散無(wú)記憶信源的序列熵 ? 設(shè)信源輸出的隨機(jī)序列為 X =(X1X2… Xl… XL) ? 序列中的變量 Xl∈ {x1,x2,… xn} ? 信源的序列熵可以表示為 ? 信源序列中，平均每個(gè)符號(hào)的熵為 ? 離散無(wú)記憶信源平均每個(gè)符號(hào)的符號(hào)熵 HL(X)等于單個(gè)符號(hào)信源的符號(hào)熵 H(X) ? ? ? ? ? ?1LH H H XLXX??? ? ? ? ? ?1LllH H X L XX H????無(wú)記憶 無(wú)記憶、平穩(wěn) 2021/6/15 24 離散有記憶信源的序列熵 ? 若信源輸出一個(gè) L長(zhǎng)序列，則信源的序列熵為 ? 平均每個(gè)符號(hào)的熵為 ? 信源無(wú)記憶時(shí) ? 滿足平穩(wěn)時(shí) 121 2 1 1 11( ) ( )( ) ( / ) ( / )( / ) ( )LLLLlLllH H X X XH X H X X H X X XH X H XXX???? ? ? ????? ? ? ?1LH XXHL?? ? ? ?1LllH H XX?? ?? ? ? ?H X LH X?2021/6/15 25 離散平穩(wěn)信源 ?結(jié)論 1： H(XL/XL1)是 L的單調(diào)非增函數(shù) ?結(jié)論 2： HL (X) ≥H(XL/XL1) ?結(jié)論 3： HL (X)是 L的單調(diào)非增函數(shù) ?結(jié)論 4：當(dāng) L→∞ 時(shí)， H∞(X)稱為極限熵 ? ? ? ? ? ? ? ?0 1 2H X H X H HXX ?? ? ?? ? ? ? ? ?1 2 1l im l im /L L LLLH H H X X XX XX??? ? ? ??2021/6/15 26 馬爾可夫信源 ? 若一個(gè)信源滿足下面兩個(gè)條件，則稱為 馬爾可夫信源 ： ? 某一時(shí)刻信源輸出符號(hào)的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無(wú)關(guān)； ? 信源的下一個(gè)狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出符號(hào)唯一確定。 ? 符號(hào)條件概率 ? 信源在某一時(shí)刻出現(xiàn)符號(hào) xj的概率與信源此時(shí)所處的狀態(tài) si有關(guān)，用條件概率表示為 p(xj /si)。 ? 狀態(tài)轉(zhuǎn)移概率 ? 當(dāng)信源符號(hào) xj出現(xiàn)后，信源所處的狀態(tài)將發(fā)生變化，并轉(zhuǎn)入一個(gè)新的狀態(tài)。這種狀態(tài)的轉(zhuǎn)移可用狀態(tài)轉(zhuǎn)移概率p(sj /si)表示。 2021/6/15 27 狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖） ? 齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）表示 ? 每個(gè)圓圈代表一種狀態(tài) ? 狀態(tài)之間的有向線代表從某一狀態(tài)向另一狀態(tài)的轉(zhuǎn)移 ? 有向線一側(cè)的符號(hào)和數(shù)字分別代表發(fā)出的符號(hào)和條件概率 so s1 x2/ x1/ x1/ s2 x2/ x1/ x2/ p(x1/s2)= p(s2/s2)= 2021/6/15 28 i ij jiW p W??? ?l im kij jk pW?? ?穩(wěn)定的馬爾可夫信源 ? 極限概率 Wj ? 一個(gè)不可約的、非周期的、狀態(tài)有限的馬爾可夫鏈，其k步轉(zhuǎn)移概率 pij(k)在 k→∞ 時(shí)趨于一個(gè)和初始狀態(tài)無(wú)關(guān)的概率，即 ? 不論起始狀態(tài)如何，這種馬氏鏈都可以最后達(dá)到穩(wěn)定，即所有變量 Xk的概率分布均不變。可以用 P這一矩陣充分描述穩(wěn)定的馬氏鏈。 ? 平穩(wěn)分布 Wj可用下列方程組求得 1jjW ??2021/6/15 29 馬爾可夫信源的熵 ? M階馬爾可夫信源的極限熵 ? 齊次、遍歷的馬爾可夫信源的熵 1 ( ) ( / )m i iiH p s H X s? ? ?( / ) ( / ) l o g ( / )i j i j ijH X s p x s p x s?? ?處于狀態(tài) si時(shí)符號(hào)的平均不確定性 ? ? ? ?? ? ? ?1 2 11 1 2 1l i