【正文】 x d y?? ??22( | ) ( ) l o g ( | )( | ) ( ) l o g ( | )RRh Y X p x y p y x d x d yh X Y p x y p x y d x d y???????? 連續(xù)信源的最大熵 離散信源當(dāng)信源符號為等概分布時有最大熵。當(dāng)量化間隔趨于 0時，離散隨機(jī)變量就變成了連續(xù)隨機(jī)變量。 單變量連續(xù)信源的數(shù)學(xué)模型為 ， 并滿足 ， 是實數(shù)域，表示 的取值范圍。 從提高信息傳輸效率的觀點出發(fā)，人們總是希望盡量去掉剩余度。信源輸出符號間統(tǒng)計約束關(guān)系越長，信源的實際熵越小。通過引入狀態(tài)轉(zhuǎn)移概率，可以將對馬爾可夫信源的研究轉(zhuǎn)化為對馬爾可夫鏈的研究。如果信源在某時刻發(fā)出的符號僅與在此之前發(fā)出的 m個符號有關(guān)，則稱為 m階馬爾可夫信源，它的熵率： ?H1 2 1111 1 2l im ( | )l im ( | )( | )NNNN N m N m NNmmH H X X X XH X X X XH X X X X????? ? ? ???????（馬爾可夫性） （平穩(wěn)性） )|( 211 mm XXXXH ?? 1?mH通常記作 馬爾可夫信源 馬爾可夫信源 是一類相對簡單的有記 憶信源，信源在某一時刻發(fā)出某一符號 的概率除與該符號有關(guān)外，只與此前發(fā) 出的有限個符號有關(guān)。 假定信源每次輸出的是 N長符號序列 ， 則它的數(shù)學(xué)模型是 N維離散隨機(jī)變量序列： ， 并且每個隨機(jī)變量之間統(tǒng)計獨(dú)立 。也就是 即各維聯(lián)合概率分布均與時間起點無關(guān)的信源稱為 離散平穩(wěn)信源 。 ( ) ( ()1H N H XHHm? ? ??? ? ?? ??? ?? ? ?? ? ??? ? ?????? ?? ????X離 散 無 記 憶 信 源 ： ）記 憶 長 度 無 限 長 ：離 散 平 穩(wěn) 信 源平 穩(wěn) 信 源 離 散 有 記 憶 信 源記 憶 長 度 有 限 馬 爾 可 夫 信 源 ：連 續(xù) 平 穩(wěn) 信 源非 平 穩(wěn) 信 源隨機(jī)序列 離散單符號信源 輸出單個離散取值的符號的信源稱為 離散單符號信源 。 信源的主要問題： 1．如何描述信源（信源的數(shù)學(xué)建模問題） 2． 怎樣計算信源所含的信息量 3． 怎樣有效的表示信源輸出的消息 ， 也就是信源編碼問題 ? ?),( teX 信源的分類及其數(shù)學(xué)模型 信源的分類由多種方法，我們常根據(jù)信源輸出的消息在時間和取值上是離散或連續(xù)進(jìn)行分類： 時間（空間 ) 取值 信源種類 舉例 數(shù)學(xué)描述 離散 離散 離散信源 （數(shù)字信源） 文字、數(shù)據(jù)、 離散化圖象 離散隨機(jī)變量序列 離散 連續(xù) 連續(xù)信號 跳遠(yuǎn)比賽的結(jié)果、語音信號抽樣以后 連續(xù)隨機(jī)變量序列 連續(xù) 連續(xù) 波形信源 （模擬信源） 語音、音樂、熱噪 聲、圖形、圖象 隨機(jī)過程 連續(xù) 離散 不常見 12( ) ( )NP P X X X?X12( ) ( )NP P X X X?X? ?),( teX表 信源的分類 我們還可以根據(jù)各維隨機(jī)變量的概率分布是否隨時間的推移而變化將信源分為 平穩(wěn)信源 和 非平穩(wěn)信源 ，根據(jù)隨機(jī)變量間是否統(tǒng)計獨(dú)立將信源分為 有記憶信源 和 無記憶信源 。 ) ( 。 ) ( ) l o g ()x y zp x y zI X Y Z E I x y z p x y zpx?? ???XYZ 定理 （數(shù)據(jù)處理定理） 如果隨機(jī)變量 構(gòu)成一個馬爾可夫鏈，則有以下關(guān)系成立： 等號成立的條件是對于任意的 ，有 數(shù)據(jù)處理定理再一次說明，在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息，如果一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及丟失信息的輸入端，就不能再恢復(fù)已丟失的信息，這就是信息不增性原理，它與熱熵不減原理正好對應(yīng)，反映了信息的物理意義。 定義 平均聯(lián)合互信息 它表示從二維隨機(jī)變量 所得到得關(guān)于隨機(jī)變量 的信息量。 ) ( )I X Y H X I X Y H Y??? ?)|( ij xyp )。 5. 凸函數(shù)性 : 定理 當(dāng)條件概率分布 給定時，平均互信息 是輸入分布 的上凸函數(shù)。 ) ( 。 ) ( ) l o g()11( ) l o g ( ) l o g( ) ( | )( ) ( | )n m n miji j i j i ji j i j in m n mi j i ji j i ji i jp x yI X Y p x y I x y p x ypxp x y p x yp x p x yH X H X Y? ? ? ?? ? ? ???????? ? ? ?? ? ? ? 平均互信息的性質(zhì) : 平均互信息是非負(fù)的，說明給定隨機(jī)變量 Y后，一般來說總能消除一部分關(guān)于 X的不確定性。 推論： 當(dāng)二維隨機(jī)變量 X， Y相互獨(dú)立時，聯(lián)合熵等于 X和 Y各自熵之和： 2 ． 條件熵與信息熵的關(guān)系： 3 ． 聯(lián)合熵和信息熵的關(guān)系： 當(dāng) X、 Y相互獨(dú)立時等號成立。 12/ ( )k k kp p p p p? ? ? ? 聯(lián)合熵與條件熵 一個隨機(jī)變量的不確定性可以用熵來表示，這一概念可以方便地推廣到多個隨機(jī)變量。 香農(nóng) 指出，存在這樣的不確定性的度量，它是隨機(jī)變量的概率分布的函數(shù)，而且必須滿足三個公理性條件： 1. 連續(xù)性條件 ： 應(yīng)是 的連續(xù)函數(shù)； 2. 等概時為單調(diào)函數(shù) ： 應(yīng)是 的增函數(shù)； 3. 遞增性條件 ：當(dāng)隨機(jī)變量的取值不是通過一次試驗而是若干次試驗才最后得到時，隨機(jī)變量在各次試驗中的不確定性應(yīng)該可加，且其和始終與通過一次試驗取得的不確定程度相同，即： 其中 12( , , , )nf p p p, 1 , 2 , ,ip i n?(1 / , 1 / , , 1 / )f n n nn1239。) , 1 , 39。 )(pH1 2 1 211( , , , ) , 39。 7. 極值性： 式中 n是隨機(jī)變量 X的可能取值的個數(shù)。信源熵是自信息的數(shù)學(xué)期望，自信息是非負(fù)值，所以信源熵必定是非負(fù)的。 熵函數(shù) 具有以下性質(zhì)： ： 性說明熵函數(shù)僅與信源的總體統(tǒng)計特性有關(guān)。通常用比特 /符號為單位。 因為信源具有不確定性，所以我們把信源用隨機(jī)變量來表示，用隨機(jī)變量的概率分布來描述信源的不確定性。 ( ji yxI jy ixix ixjy)( ixI( | )ijI x y 平均自 信息 平均自信息（信息熵）的概念 自信息量 是信源發(fā)出某一具體消息所含有的信息量，發(fā)出的消息不同所含有的信息量不同。 互信息的引出 ， 使信息得到了定量的表示 ， 是信息論發(fā)展的一個重要的里程碑 。 1奈特 = 比特 = （ 3） 工程上用以 10為底較方便。 ix )( ixp1( ) l o g ( ) l o g()d e fiiiI x p x px? ? ?)( ixI圖 自信息量 自信息量的單位與所用對數(shù)的底有關(guān)。 可以證明 ， 滿足以上 公理化 條件的函數(shù)形式是對數(shù)形式 。 自信息和互信息 自信息 隨機(jī)事件的自信息量 是該事件發(fā)生概率 的函數(shù)，并且應(yīng)該滿足以下公理化條件： 1. 是 的嚴(yán)格遞減函數(shù) 。 （ 2） 互信息 ：一個事件所給出關(guān)于另一個事件的信息量 ， 比如今天下雨所給出關(guān)于明天下雨的信息量 。 主要也是研究信息傳輸和處理問題 ，除香農(nóng)信息論的內(nèi)容外 ， 還包括噪聲理論 、 信號濾波和預(yù)測 、 統(tǒng)計檢測和估計 、 調(diào)制理論 、 信息處理理論以及保密理論等 。 例如： ① 什么是信息 ？ 如何度量信息 ？ ② 怎樣確定信源中含有多少信息量 ？ ③ 對于一個信道 ， 它傳輸信息量的最高極限 （ 信道容量 ） 是多少 ？ ④ 為了能夠無失真的傳輸信源信息 ， 對信源編碼時所需的最少的碼符號數(shù)是多少 ？ （ 無失真信源編碼即 香農(nóng)第一定理 ） ⑤ 在有噪信道中有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯誤概率幾乎為零 ？ （ 有噪信道編碼即 香農(nóng)第二定理 ） ⑥ 如果對信源編碼時允許一定量的失真 ， 所需的最少的碼符號數(shù)又是多少 ？ （ 限失真信源編碼即 香農(nóng)第三定理 ） 目前，對信息論的研究內(nèi)容一般有三種理解： （ 1） 狹義信息論 ：又稱 香農(nóng)信息論 。譯碼器也可分成信源譯碼器和信道譯碼器。 （ 3） 信道 。編碼就是把消息變成適合在信道傳輸?shù)奈锢砹?，這種物理量稱為 信號 。信息在數(shù)量上等于通信前后 “ 不確定性 ” 的消除量（減少量）。 自信息的統(tǒng)計平均定義為 信源熵 ， 即 這里的 q表示信源消息的個數(shù) 。在信息論中，我們把消息用隨機(jī)事件表示，而發(fā)出這些消息的信源則用隨機(jī)變量來表示。 可運(yùn)用研究隨機(jī)事件的數(shù)學(xué)工具 ——概率來測度不確定性的大小。 ix)(lo g)( ii xpxI ?? 信源所含有的 信息量 定義為信源發(fā)出的所有可能消息的平均不確定性 ， 香農(nóng)把信源所含有的信息量稱為 信息熵 。 在收信端，信源的不確定性得到了部分或全部的消除，收信者就得到了信息。 （ 2） 編碼器 。在實際的通信系統(tǒng)中，可靠性和有效性常常相互矛盾 。譯碼就是把信道輸出的已迭加了干擾的編碼信號進(jìn)行反變換，變成信宿能夠接受的消息。 信息論研究的是關(guān)于這個通信系統(tǒng)的最根本、最本質(zhì)的問題。 （ 2） 一般信息論 ：也稱 工程信息論 。 比如拋擲一枚硬幣的結(jié)果是正面這個消息所包含的信息量 。 （ 4） 平均互信息 ：一個事件集所給出關(guān)于另一個事件集的平均信息量，比如今天的天氣所給出關(guān)于明天的天氣的信息量。 3． 另外 ， 從直觀概念上講 ， 由兩個相對獨(dú)立的不同的消息所提供的信息量應(yīng)等于它們分別提供的信息量之和 。 代表兩種含義：當(dāng)事件發(fā)生以前 ， 等于事件發(fā)生的不確定性的大??；當(dāng)事 件發(fā)生以后 ， 表示事件所含有或所能提 供的信息量 。 （ 2）若取自然對數(shù)（對數(shù)以 e為底），自信息量的單位為奈特（ nat，natural unit）。 互信息 是已知事件 后所消除的關(guān)于事件 的不確定性 ，它等于事件 本身的不確定性 減去已知事件 后對 仍然存在的不確定性 。 ) ( ) ( | ) l og()d e f iji j i i jip x yI x y I x I x ypx? ? ?)。平均自信息量又稱為 信息熵 、 信源熵 ，簡稱 熵 。 熵 的單位也是與所取的對數(shù)底有關(guān)，根據(jù)所取的對數(shù)底不同，可以是比特 /符號、奈特 /符號、哈特萊 /符號或者是 r進(jìn)制單位 /符號。如果把概率分布 ，記為 ，則熵函數(shù)又可以寫成概率矢量 的函數(shù)的形式，記為 。 3. 非負(fù)性： 對確定信源，等號成立。 ( 1 , 0 ) ( 1 , 0 , 0 ) ( 1 , 0 , 0 , 0 ) ( 1 , 0 , , 0 ) 0H H H H? ? ? ? ?12( ) ( , , , ) 0qH H p p p??p1 1 2 1 20l im ( , , , ) ( , , , )q q q qH p p p H p p p? ???? ??，1 2 1 1 20