【正文】 1 2 1 1 2 1( ) ( ) ( | ) ( | )N N NH X X X H X H X X H X X X X ?? ? ? ?( ) ( ) ( )H X Y H X H Y??( | ) ( ) , ( | ) ( )H X Y H X H Y X H Y??( ) ( ) ( )H X Y H X H Y?? 平均互 信息 平均互信息的概念 為了從整體上表示從一個隨機變量 Y所給出關(guān)于另一個隨機變量 的信息量，我們定義互信息 在的 聯(lián)合概率空間中的統(tǒng)計平均值為隨機變量 X和 Y間的 平均互信息 ： 定義 X )。 定義 二維隨機變量 的概率空間表示為 其中 滿足概率空間的非負(fù)性和完備性： XY? ?1111( ) ( ) ( )i j n mi j n mXY x y x y x yp x y p x y p x yP XY?? ????? ??????)( ji yxp110 ( ) 1 , ( ) 1nmi j i jijp x y p x y??? ? ??? 二維隨機變量 的 聯(lián)合熵 定義為聯(lián)合自信息的數(shù)學(xué)期望，它是二維隨機變量 的不確定性的度量。 39。 1qqq q i iiip p p p p p p p??? ? ? ???pp, ( 0 1 )????? ?( 1 ) 39。 ( 39。 極值性表明離散信源中各消息等概率出現(xiàn)時熵最大，這就是最大離散熵定理。 4. 擴(kuò)展性： 這個性質(zhì)的含義是增加一個基本不會出現(xiàn)的小概率事件，信源的熵保持不變。 )(XH( ) , 1 2ip x i q? ， ， ， qppp , 21 ?),( 21 qppp ??p)(pH121( ) l o g ( , , , ) ( )qi i qiH X p p H p p p H?? ? ? ?? p)(pH1 2 2 1 1 1( , , , ) ( , , , ) = = ( , , , )q q q qH p p p H p p p H p p p ??2. 確定性： 在概率矢量中，只要有一個分量為 1，其它分量必為 0，它們對熵的貢獻(xiàn)均為 0，因此熵等于 0。 一般情況下，信息熵并不等于收信者平均獲得的信息量， 收信者不能全部消除信源的平均不確定性，獲得的信息量將小于信息熵。通常把一個隨機變量的所有可能的取值和這些取值對應(yīng)的概率 稱為它的 概率空間 。因此自信息量不能用來表征整個信源的不確定度。 jy ix)。若以 10為對數(shù)底，則自信息量的單位為哈特萊（ Hartley）。 （ 1）常取對數(shù)的底為 2，信息量的單位為比特（ bit， binary unit）。 )( ixI )( ixp)( ixI )( ixp 12( ) ( )p x p x? 12( ) ( )I x I x?)( ixp ()iIx ?? )( ixp )( ixI 定義 隨機事件的 自信息量 定義為該事件發(fā)生概率的對數(shù)的負(fù)值 。 當(dāng) 時 ， ，概率越小 ， 事件發(fā)生的不確定性越大 ， 事件發(fā)生以后所包含的自信息量越大 。 （ 3） 平均自信息 （ 信息熵 ） ：事件集 （ 用隨機變量表示 ） 所包含的平均信息量 ， 它表示信源的平均不確定性 。 （ 3） 廣義信息論 ：不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，如模式識別、計算機翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)甚至包括社會學(xué)中有關(guān)信息的問題。主要通過數(shù)學(xué)描述與定量分析，研究通信系統(tǒng)從信源到信宿的全過程，包括信息的測度、信道容量以及信源和信道編碼理論等問題，強調(diào)通過編碼和譯碼使收、發(fā)兩端聯(lián)合最優(yōu)化，并且以定理的形式證明極限的存在。 （ 5） 信宿 。信道是指通信系統(tǒng)把載荷消息的信號從發(fā)送端送到接收端的媒介或通道，是包括收發(fā)設(shè)備在內(nèi)的物理設(shè)施。 編碼器可分為信源編碼器、信道編碼器。 ???? qiii xpxpXH1)(lo g)()( 信息論的研究對象、目的和內(nèi)容 信息論的研究對象是 廣義的通信系統(tǒng)，它把所有的信息流通系統(tǒng)都抽象成以下的模型： 圖 通信系統(tǒng)模型 這個通信系統(tǒng)主要分成五個部分： （ 1） 信源 。 信息熵表示信源的平均不確定性的大小 ， 同時表示信源輸出的消息所含的平均信息量 。 我們把某個消息 出現(xiàn)的不確定性的大小，定義為 自信息 ，用這個消息出現(xiàn)的概率的對數(shù)的負(fù)值來表示： 自信息同時表示這個消息所包含的信息量，也就是最大能夠給予收信者的信息量。 香農(nóng)信息 :信息是事物運動狀態(tài)或存在方式的不確定性的描述 。如果消息能夠正確傳送，收信者就能夠獲得這么大小的信息量。 因此 ， 雖然信源產(chǎn)生的消息可能會含有不同的信息量 。顧名思義，信源是產(chǎn)生消息和消息序列的源。 信源編碼的目的為了提高通信系統(tǒng)的 有效性 和提高信息傳輸?shù)?可靠性 。 （ 4） 譯碼器 。信宿是消息傳送的對象，即接受消息的人或機器。這部分內(nèi)容是信息論的基礎(chǔ)理論。 關(guān)于信息的度量有幾個重要的概念： （ 1） 自信息 ：一個事件 （ 消息 ） 本身所包含的信息量 ， 它是由事件的不確定性決定的 。 比如拋擲一枚硬幣的試驗所包含的信息量 。 2． 極限情況下當(dāng) =0時 ， ；當(dāng) =1時 ， =0。 設(shè)事件 的概率為 ， 則它的自信息定義為 從圖 是滿足上述公理性條件的函數(shù)形式 。當(dāng) =1/2時， =1比特，即概率等于 1/2的事件具有 1比特的自信息量。 1哈特萊 = 比特 = （ 4） 如果取以 r為底的對數(shù)（ r1），則 = 進(jìn)制單位 1r進(jìn)制單位 = 比特 )( ixp )( ixIe2log10log 2)( ixI lo g ( )rip x r?r2log 互信息 定義 一個事件 所給出關(guān)于另一個事件 的信息定義為互信息 ，用 表示。 ( ji yxI( | )( 。我們定義 平均自信息量 來表征整個信源的不確定度。 ? ?? ?XPX , 定義 隨機變量 X的每一個可能取值的自信息 的統(tǒng)計平均值定義為隨機變量 X的 平均自信息量 : 這里 q為的所有 X可能取值的個數(shù)。 )( ixI? ?1( ) ( ) ( ) l o g ( )qi i iiH X E I x p x p x?? ? ? ? 熵函數(shù)的性質(zhì) 信息熵 是隨機變量 X的概率分布的函數(shù)，所以又稱為 熵函數(shù) 。也就是說確定信源的不確定度為 0。 5. 連續(xù)性： 即信源概率空間中概率分量的微小波動，不會引起熵的變化。連續(xù)信源的最大熵則與約束條件有關(guān)。, 39。 ( ) ( 1 ) ( 39。 39。 定義 給定 時， 的 條件熵 ： 其中， 表示已知 時， 的 平均 不確定性。 (ji yxI XY1 1 1 11 1 1 1( | )( 。 : 當(dāng) 統(tǒng)計獨立 時， ( 。 ) ( ) ( | )( ) ( | )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( 。 ( 。( YXI? ?)|( ij xyp 數(shù)據(jù)處理定理 為了證明數(shù)據(jù)處理定理，我們需要引入三元隨機變量 的平均條件互信息和平均聯(lián)合互信息的概念。 | ) ( | ) ( ) l o g ( | )x y zp x y zI X Y Z E I x y z p x y zp x z?? ???Z YX? ? ( | )( 。 ) ( 。 信源輸出的消息都是隨機的 ， 因此 可用概率來描述其統(tǒng)計特性 。實際應(yīng)用時常常用一些可以處理的數(shù)學(xué)模型來近似。它用一個離散隨機變量表示。 定義 隨機變量序列中，對前 N個隨機變量的聯(lián)合熵求平均： 稱為 平均符號熵 。 對于相互間有依賴關(guān)系的 N維隨機變量的聯(lián)合熵存在以下關(guān)系（ 熵函數(shù)的 鏈規(guī)則 ） ： 定理 對于離散平穩(wěn)信源 ， 有以下幾個結(jié)論： （ 1） 條件熵 隨 N的增加是遞減的； （ 2） N給定時平均符號熵大于等于條件熵 ， 即 （ 3） 平均符號熵 隨 N的增加是遞減的； （ 4） 如果 ， 則 存在 ， 并且 121 2 1 3 1 2 1 2 1( ) ( )( ) ( | ) ( | ) ( | )NNNH H X X XH X H X X H X X X H X X X X ??? ? ? ? ?X1 2 1( | )NNH X X X X ?1 2 1( ) ( | )N N NH H X X X X ??X)(XNH1()HX ?? lim ( )NNHH? ??? X1 2 1l im ( ) ( | )N N NNH H H X X X X?????? X 有一類信源，信源在某時刻發(fā)出的符號僅與在此之前發(fā)出的有限個符號有關(guān)，而與更早些時候發(fā)出的符號無關(guān)，這稱為 馬爾可夫性 ，這類信源稱為 馬爾可夫信源 。信 源發(fā)出一個符號后，信源所處的狀態(tài)即 發(fā)生改變，這些狀態(tài)的變化組成了馬氏 鏈。 當(dāng)時間足夠長后，遍歷的馬爾可夫信源可以視作平穩(wěn)信源來處理，又因為 m階馬爾可夫信源發(fā)出的符號只與最近的 m個符號有關(guān)，所以極限熵 等于條件熵 。 定義 一個信源的熵率（極限熵）與具有相同符號集的最大熵的比值稱為 熵的相對率 ： 信源剩余度 為： 0 1 2 1l o g mq H H H H H??? ? ? ? ? ? ?0H0HH???01 1 1 l o gHHHq?? ??? ? ? ? ? ? 信源的剩余度來自兩個方面，一是信源符號間的相關(guān)性，相關(guān)程度越大，符號間的依賴關(guān)系越長，信源的實際熵越小，另一方面是信源符號分布的不均勻性使信源的實際熵越小。 信源編碼是減少或消除信源的剩余度以提高信息的傳輸效率，而信道編碼則通過增加冗余度來提高信息傳輸?shù)目垢蓴_能力。 通過對連續(xù)變量的取值進(jìn)行量化分層，可以將連續(xù)隨機變量用離散隨機變量來逼近。 : ()RX px?????? ( ) 1R p x d x ??R X( , ):()abXpx??????( ) 1ba p x d x ?? X 定義連續(xù)信源的 微分熵 為： 微分熵又稱為 差熵 。我們一般關(guān)心的是下面兩種約束下的最大熵。 的大小可以表示連續(xù)信源剩余的大小。 我們在實際通信中所利用的各種物理通道是空間傳輸信道的最典型的例子 ，時間傳輸是指將信息保存 ， 在以后讀取 ， 如磁帶 、 光盤等在時間上將信息進(jìn)行傳輸?shù)男诺?。在信息論中，信道通常表示成： ，即信道輸入隨機變量 X、輸出隨機變量 Y以及在輸入已知的情況下，輸出的條件概率分布 。 ② 多端信道 （ 多用戶信道 ）：雙向通信或三個或更多個用戶之間 相互通信的情況。 ② 隨參信道 （ 非平穩(wěn)信道 ）：信道的統(tǒng)計特性隨時間變化。 設(shè)離散單符號信道的輸入隨機變量為 ，輸出隨機變量為 ，由于信道中存在干擾，因此輸入符號在傳輸中將會產(chǎn)生錯誤，這種信道干擾對傳輸?shù)挠绊懣捎脗鬟f概率 來描述： 信道傳遞概率實際上是一個傳遞概率矩陣，稱為 信道矩陣 ，記為： ? ?12, , , , rX X x x x?? ?12, , , sY Y y y y?)|( ij xyp? ?( | ) | 1 , 2 , 。 有時把 稱為輸入 符號的 先驗概率 。 信源的不確定性為