【正文】 傳送的信息量 ? 信道容量 ? 給定轉(zhuǎn)移概率矩陣 P后，平均互信息 I(X?？梢杂?P這一矩陣充分描述穩(wěn)定的馬氏鏈。 ? 符號條件概率 ? 信源在某一時刻出現(xiàn)符號 xj的概率與信源此時所處的狀態(tài) si有關(guān)，用條件概率表示為 p(xj /si)。 ? ? ? ? ? ?? ? ? ? ? ?。 ? 信源 X的熵等于接收到的信息量加損失掉的信息量。 ) ( / ) l o g(( 。 2( | )( 。 ? 聯(lián)合熵、信源熵和條件熵之間的關(guān)系 2,( ) ( ) ( ) ( ) l o g ( )i j i j i j i ji j i jH X Y p x y I x y p x y p x y? ? ???? ? ? ? ? ?? ? ? ? ? ?//H X Y H X H Y XH X Y H Y H X Y????2021/6/15 17 互信息 ? 定義： xi的后驗概率與先驗概率比值的對數(shù) ? 事件 xi是否發(fā)生具有不確定性，用 I(xi)度量。 )(l o g)( jiji yxpyxI ??2021/6/15 13 條件自信息量 ? 在事件 yj出現(xiàn)的條件下，隨機事件 xi發(fā)生的條件概率為 p(xi / yj) ，則它的條件自信息量定義為條件概率對數(shù)的負值： ? 在給定 yj條件下，隨機事件 xi所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。 ? ? ? ? ? ?12112121 / ??? LLLL XXXXpXXXpXXXp ???? ? ? ? ? ?1212211221 // ????? LLLLL XXXXpXXXXpXXXp ???? ? ? ? ? ? ? ?1 2 1 3 1 2 1 2 1/ / /LLp X p X X p X X X p X X X X ???2021/6/15 9 信源的數(shù)學描述 1 2 1 1( / ) ( / )L L L L m Lp X X X X p X X X? ? ??1 2 31 2 1 3 1 2 1 2 2 11 2 1 3 2 1 2 1()( ) ( / ) ( / ) ( / )( ) ( / ) ( / ) ( / ) ( / )LL L LL L L Lp X X X Xp X p X X p X X X p X X X X Xp X p X X p X X p X X p X X??? ? ???? 一階馬爾可夫信源 ? m階馬爾可夫信源 2021/6/15 10 自信息量 ? 隨機事件的自信息量定義為其概率對數(shù)的負值，即 ? ? ? ? ? ?iii xpxpxI l og1l og ???? I (xi) 含義 : ? 當事件 xi發(fā)生以前，表示事件 xi發(fā)生的 不確定性 ? 當事件 xi發(fā)生以后，表示事件 xi所含有的 信息量 2021/6/15 11 自信息量的特性 ? I (xi)是非負值 ? 當 p(xi) = 1時， I(xi) = 0 ? 當 p(xi) = 0時， I(xi) =∞ ? I(xi)是先驗概率 p(xi)的單調(diào)遞減函數(shù)，即 當 p(x1)＞ p(x2)時， I (x1)＜ I (x2) ? 兩個獨立事件的 聯(lián)合信息量 等于它們分別的信息量之和。2021/6/15 1 第 1章 緒論 ? 重點掌握 ? 信息的特征 ? 信息、消息、信號的聯(lián)系和區(qū)別 ? 通信系統(tǒng)的物理模型 ? 一般了解 ? 信息論理論的形成和發(fā)展過程 ? 信息論的研究內(nèi)容 2021/6/15 2 信息的特征 ? 信息的基本概念在于它的 不確定性 ， 任何已確定的事物都不含信息。 ? 設(shè)信源輸出的 隨機序列 為 X， 序列中的變量 ? ?12 lLX X X X X?? ?12, , , , 1 , 2 , ,lnX x x x l L??2021/6/15 8 信源的數(shù)學描述 ? 有記憶信源的 聯(lián)合概率 表示比較復雜，需要引入 條件概率 來反映信源發(fā)出符號序列內(nèi)各個符號之間的記憶特征。 ? xi yj所包含的不確定度在數(shù)值上也等于它們的自信息量。 2,/ ( ) ( / ) ( ) l o g ( / )i j j i i j j ii j i jH Y X p x y I y x p x y p y x? ? ???()2021/6/15 16 聯(lián)合熵 ? 聯(lián)合熵是聯(lián)合符號集合 XY上的每個元素對 xiyj的自信息量的概率加權(quán)統(tǒng)計平均值 ? 聯(lián)合熵 H(XY)表示 X和 Y同時發(fā)生的不確定度。 yj)表示。 yj)在 Y集合上的概率加權(quán)統(tǒng)計平均值 ( / )( / ) ( 。 ) ijj j j i jj i j iijijij ip x yp y I X y p y p x ypxp x yp x ypxI X Y??????平均互信息（量） ? ? ? ? ? ? ? ? ? ? ? ?,l o g l /o g /i i i j i ji i jp x p x p x y p HXx Yy XH? ? ? ? ???2021/6/15 19 平均互信息量的物理意義 ? H(X/Y)：信道 疑義度，損失熵 ? 信源符號通過有噪信道傳輸后引起的信息量損失。Y)加上 H(Y/X)，這完全是由信道中噪聲引起的。 ) ( ) ( / )( ) ( / )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( ) ( ) ( / )( ) ( / )( ) ( ) ( )( ) ( / )( ) ( / )H X Y H X H Y XH Y H X YH X Y H X H YH X H X YH Y H Y X????????2021/6/15 23 離散無記憶信源的序列熵 ? 設(shè)信源輸出的隨機序列為 X =(X1X2… Xl… XL) ? 序列中的變量 Xl∈ {x1,x2,… xn} ? 信源的序列熵可以表示為 ? 信源序列中，平均每個符號的熵為 ? 離散無記憶信源平均每個符號的符號熵 HL(X)等于單個符號信源的符號熵 H(X) ? ? ? ? ? ?1LH H H XLXX??? ? ? ? ? ?1LllH H X L XX H????無記憶 無記憶、平穩(wěn) 2021/6/15 24 離散有記憶信源的序列熵 ? 若信源輸出一個 L長序列，則信源的序列熵為 ? 平均每個符號的熵為 ? 信源無記憶時 ? 滿足平穩(wěn)時 121 2 1 1 11( ) ( )( ) ( / ) ( / )( / ) ( )LLLLlLllH H X X XH X H X X H X X XH X H XXX???? ? ? ????? ? ? ?1LH XXHL?? ? ? ?1LllH H XX?? ?? ? ? ?H X LH X?2021/6/15 25 離散平穩(wěn)信源 ?結(jié)論 1： H(XL/XL1)是 L的單調(diào)非增函數(shù) ?結(jié)論 2： HL (X) ≥H(XL/XL1) ?結(jié)論 3： HL (X)是 L的單調(diào)非增函數(shù) ?結(jié)論 4：當 L→∞ 時， H∞(X)稱為極限熵 ? ? ? ? ? ? ? ?0 1 2H X H X H HXX ?? ? ?? ? ? ? ? ?1 2 1l im l im /L L LLLH H H X X XX XX??? ? ? ??2021/6/15 26 馬爾可夫信源 ? 若一個信源滿足下面兩個條件，則稱為 馬爾可夫信源 ： ? 某一時刻信源輸出符號的概率只與當前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)； ? 信源的下一個狀態(tài)由當前狀態(tài)和下一刻的輸出符號唯一確定。 2021/6/15 27 狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖） ? 齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）表