【正文】 性不隨時間變化。 ② 多端信道 （ 多用戶信道 ）：雙向通信或三個或更多個用戶之間 相互通信的情況。 （ 3）按輸入 /輸出信號之間的關(guān)系是否確定關(guān)系分為 有噪聲信道 和 無噪聲信道 。在信息論中，信道通常表示成： ，即信道輸入隨機變量 X、輸出隨機變量 Y以及在輸入已知的情況下，輸出的條件概率分布 。 至于信道本身的物理結(jié)構(gòu)可能是千差萬別的 ， 信息論研究的信道其輸入點和輸出點在一個實際物理通道中所處位置的選擇完全取決于研究的目的 。 我們在實際通信中所利用的各種物理通道是空間傳輸信道的最典型的例子 ，時間傳輸是指將信息保存 ， 在以后讀取 ， 如磁帶 、 光盤等在時間上將信息進行傳輸?shù)男诺?。所以信源平均功率和熵功率之差 稱為連續(xù)信源的 剩余度 。 的大小可以表示連續(xù)信源剩余的大小。 定理 對于平均功率受限的連續(xù)隨機變量，當服從高斯分布時具有最大熵。我們一般關(guān)心的是下面兩種約束下的最大熵。 同樣，我們可以定義兩個連續(xù)隨機變量的 聯(lián)合熵 ： 以及 條件熵 ( ) ( ) l og ( )Rh X p x p x dx?? ?2( ) ( ) l o g ( )Rh X Y p x y p x y d x d y?? ??22( | ) ( ) l o g ( | )( | ) ( ) l o g ( | )RRh Y X p x y p y x d x d yh X Y p x y p x y d x d y???????? 連續(xù)信源的最大熵 離散信源當信源符號為等概分布時有最大熵。 : ()RX px?????? ( ) 1R p x d x ??R X( , ):()abXpx??????( ) 1ba p x d x ?? X 定義連續(xù)信源的 微分熵 為： 微分熵又稱為 差熵 。當量化間隔趨于 0時，離散隨機變量就變成了連續(xù)隨機變量。 通過對連續(xù)變量的取值進行量化分層，可以將連續(xù)隨機變量用離散隨機變量來逼近。 單變量連續(xù)信源的數(shù)學模型為 ， 并滿足 ， 是實數(shù)域，表示 的取值范圍。 信源編碼是減少或消除信源的剩余度以提高信息的傳輸效率，而信道編碼則通過增加冗余度來提高信息傳輸?shù)目垢蓴_能力。 從提高信息傳輸效率的觀點出發(fā)，人們總是希望盡量去掉剩余度。 定義 一個信源的熵率（極限熵）與具有相同符號集的最大熵的比值稱為 熵的相對率 ： 信源剩余度 為： 0 1 2 1l o g mq H H H H H??? ? ? ? ? ? ?0H0HH???01 1 1 l o gHHHq?? ??? ? ? ? ? ? 信源的剩余度來自兩個方面，一是信源符號間的相關(guān)性，相關(guān)程度越大，符號間的依賴關(guān)系越長，信源的實際熵越小，另一方面是信源符號分布的不均勻性使信源的實際熵越小。信源輸出符號間統(tǒng)計約束關(guān)系越長，信源的實際熵越小。 當時間足夠長后，遍歷的馬爾可夫信源可以視作平穩(wěn)信源來處理，又因為 m階馬爾可夫信源發(fā)出的符號只與最近的 m個符號有關(guān)，所以極限熵 等于條件熵 。通過引入狀態(tài)轉(zhuǎn)移概率，可以將對馬爾可夫信源的研究轉(zhuǎn)化為對馬爾可夫鏈的研究。信 源發(fā)出一個符號后，信源所處的狀態(tài)即 發(fā)生改變，這些狀態(tài)的變化組成了馬氏 鏈。如果信源在某時刻發(fā)出的符號僅與在此之前發(fā)出的 m個符號有關(guān)，則稱為 m階馬爾可夫信源，它的熵率： ?H1 2 1111 1 2l im ( | )l im ( | )( | )NNNN N m N m NNmmH H X X X XH X X X XH X X X X????? ? ? ???????（馬爾可夫性） （平穩(wěn)性） )|( 211 mm XXXXH ?? 1?mH通常記作 馬爾可夫信源 馬爾可夫信源 是一類相對簡單的有記 憶信源，信源在某一時刻發(fā)出某一符號 的概率除與該符號有關(guān)外，只與此前發(fā) 出的有限個符號有關(guān)。 對于相互間有依賴關(guān)系的 N維隨機變量的聯(lián)合熵存在以下關(guān)系（ 熵函數(shù)的 鏈規(guī)則 ） ： 定理 對于離散平穩(wěn)信源 ， 有以下幾個結(jié)論： （ 1） 條件熵 隨 N的增加是遞減的； （ 2） N給定時平均符號熵大于等于條件熵 ， 即 （ 3） 平均符號熵 隨 N的增加是遞減的； （ 4） 如果 ， 則 存在 ， 并且 121 2 1 3 1 2 1 2 1( ) ( )( ) ( | ) ( | ) ( | )NNNH H X X XH X H X X H X X X H X X X X ??? ? ? ? ?X1 2 1( | )NNH X X X X ?1 2 1( ) ( | )N N NH H X X X X ??X)(XNH1()HX ?? lim ( )NNHH? ??? X1 2 1l im ( ) ( | )N N NNH H H X X X X?????? X 有一類信源，信源在某時刻發(fā)出的符號僅與在此之前發(fā)出的有限個符號有關(guān)，而與更早些時候發(fā)出的符號無關(guān)，這稱為 馬爾可夫性 ，這類信源稱為 馬爾可夫信源 。 假定信源每次輸出的是 N長符號序列 ， 則它的數(shù)學模型是 N維離散隨機變量序列： ， 并且每個隨機變量之間統(tǒng)計獨立 。 定義 隨機變量序列中，對前 N個隨機變量的聯(lián)合熵求平均： 稱為 平均符號熵 。也就是 即各維聯(lián)合概率分布均與時間起點無關(guān)的信源稱為 離散平穩(wěn)信源 。它用一個離散隨機變量表示。 ( ) ( ()1H N H XHHm? ? ??? ? ?? ??? ?? ? ?? ? ??? ? ?????? ?? ????X離 散 無 記 憶 信 源 ： ）記 憶 長 度 無 限 長 ：離 散 平 穩(wěn) 信 源平 穩(wěn) 信 源 離 散 有 記 憶 信 源記 憶 長 度 有 限 馬 爾 可 夫 信 源 ：連 續(xù) 平 穩(wěn) 信 源非 平 穩(wěn) 信 源隨機序列 離散單符號信源 輸出單個離散取值的符號的信源稱為 離散單符號信源 。實際應(yīng)用時常常用一些可以處理的數(shù)學模型來近似。 信源的主要問題： 1．如何描述信源（信源的數(shù)學建模問題） 2． 怎樣計算信源所含的信息量 3． 怎樣有效的表示信源輸出的消息 ， 也就是信源編碼問題 ? ?),( teX 信源的分類及其數(shù)學模型 信源的分類由多種方法，我們常根據(jù)信源輸出的消息在時間和取值上是離散或連續(xù)進行分類： 時間（空間 ) 取值 信源種類 舉例 數(shù)學描述 離散 離散 離散信源 （數(shù)字信源） 文字、數(shù)據(jù)、 離散化圖象 離散隨機變量序列 離散 連續(xù) 連續(xù)信號 跳遠比賽的結(jié)果、語音信號抽樣以后 連續(xù)隨機變量序列 連續(xù) 連續(xù) 波形信源 （模擬信源） 語音、音樂、熱噪 聲、圖形、圖象 隨機過程 連續(xù) 離散 不常見 12( ) ( )NP P X X X?X12( ) ( )NP P X X X?X? ?),( teX表 信源的分類 我們還可以根據(jù)各維隨機變量的概率分布是否隨時間的推移而變化將信源分為 平穩(wěn)信源 和 非平穩(wěn)信源 ，根據(jù)隨機變量間是否統(tǒng)計獨立將信源分為 有記憶信源 和 無記憶信源 。 信源輸出的消息都是隨機的 ， 因此 可用概率來描述其統(tǒng)計特性 。 ) ( 。 ) ( 。 ) ( ) l o g ()x y zp x y zI X Y Z E I x y z p x y zpx?? ???XYZ 定理 （數(shù)據(jù)處理定理） 如果隨機變量 構(gòu)成一個馬爾可夫鏈，則有以下關(guān)系成立： 等號成立的條件是對于任意的 ，有 數(shù)據(jù)處理定理再一次說明，在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息，如果一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及丟失信息的輸入端，就不能再恢復已丟失的信息，這就是信息不增性原理，它與熱熵不減原理正好對應(yīng)，反映了信息的物理意義。 | ) ( | ) ( ) l o g ( | )x y zp x y zI X Y Z E I x y z p x y zp x z?? ???Z YX? ? ( | )( 。 定義 平均聯(lián)合互信息 它表示從二維隨機變量 所得到得關(guān)于隨機變量 的信息量。( YXI? ?)|( ij xyp 數(shù)據(jù)處理定理 為了證明數(shù)據(jù)處理定理，我們需要引入三元隨機變量 的平均條件互信息和平均聯(lián)合互信息的概念。 ) ( )I X Y H X I X Y H Y??? ?)|( ij xyp )。 ( 。 5. 凸函數(shù)性 : 定理 當條件概率分布 給定時，平均互信息 是輸入分布 的上凸函數(shù)。 ) ( ) ( | )( ) ( | )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( 。 ) ( 。 : 當 統(tǒng)計獨立 時， ( 。 ) ( ) l o g()11( ) l o g ( ) l o g( ) ( | )( ) ( | )n m n miji j i j i ji j i j in m n mi j i ji j i ji i jp x yI X Y p x y I x y p x ypxp x y p x yp x p x yH X H X Y? ? ? ?? ? ? ???????? ? ? ?? ? ? ? 平均互信息的性質(zhì) : 平均互信息是非負的，說明給定隨機變量 Y后，一般來說總能消除一部分關(guān)于 X的不確定性。 (ji yxI XY1 1 1 11 1 1 1( | )( 。 推論： 當二維隨機變量 X， Y相互獨立時，聯(lián)合熵等于 X和 Y各自熵之和： 2 ． 條件熵與信息熵的關(guān)系： 3 ． 聯(lián)合熵和信息熵的關(guān)系： 當 X、 Y相互獨立時等號成立。 定義 給定 時， 的 條件熵 ： 其中， 表示已知 時， 的 平均 不確定性。 12/ ( )k k kp p p p p? ? ? ? 聯(lián)合熵與條件熵 一個隨機變量的不確定性可以用熵來表示，這一概念可以方便地推廣到多個隨機變量。 39。 香農(nóng) 指出，存在這樣的不確定性的度量，它是隨機變量的概率分布的函數(shù)，而且必須滿足三個公理性條件： 1. 連續(xù)性條件 ： 應(yīng)是 的連續(xù)函數(shù)； 2. 等概時為單調(diào)函數(shù) ： 應(yīng)是 的增函數(shù)； 3. 遞增性條件 ：當隨機變量的取值不是通過一次試驗而是若干次試驗才最后得到時，隨機變量在各次試驗中的不確定性應(yīng)該可加，且其和始終與通過一次試驗取得的不確定程度相同，即： 其中 12( , , , )nf p p p, 1 , 2 , ,ip i n?(1 / , 1 / , , 1 / )f n n nn1239。 ( ) ( 1 ) ( 39。) , 1 , 39。, 39。 )(pH1 2 1 211( , , , ) , 39。連續(xù)信源的最大熵則與約束條件有關(guān)。 7. 極值性： 式中 n是隨機變量 X的可能