【正文】 ，信道實(shí)際傳送的信息量必然不大于信道容量。 ???????????212100002121P圖 無損信道 無噪信道是一個(gè)輸出對(duì)應(yīng)多個(gè)輸入。 定義 若信道矩陣中，每行都是第一行元素的不同排列，每列并不都是第一列元素的不同排列，但是可以按照信道矩陣的列將信道矩陣劃分成若干對(duì)稱的子矩陣，則稱這類信道為 準(zhǔn)對(duì)稱信道 。 對(duì)于一般的離散行對(duì)稱信道 ， 信道容量 C仍然可以寫成： 但是不一定存在一種輸入分布能使輸出達(dá)到等概分布 ， 此時(shí)的信道容量 。( YXI? ?。( YXI( | )( | ) l o g l o g 1 , 2 , ,()jijij jp y xp y x e C i rpy ?? ? ? ?? 移項(xiàng)得 當(dāng) r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。( YXI)( ixp? ?。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。 圖 離散多符號(hào)信道 NNrs? 離散無記憶信道的數(shù)學(xué)模型仍然表示為： ，注意這時(shí)輸入、輸出均為隨機(jī)矢量。(m ax)。 獨(dú)立并聯(lián)信道 一般獨(dú)立并聯(lián)信道如圖 。 ) ( ) l o g( ) ( )Rp x yI X Y p x y d x d yp x p y? ??( 。(m a x )()()( NhYhXYhYhYXIC xpxpxp ????? 當(dāng)輸入隨機(jī)變量 X的概率密度是均值為 0、方差為 的高斯隨機(jī)變量，加性信道的噪聲 N是均值為 0、方差為 的高斯隨機(jī)變量時(shí)，輸出隨機(jī)變量 Y也是一個(gè)高斯隨機(jī)變量，其均值為 0、方差為 ，此時(shí)輸出隨機(jī)變量的熵 達(dá)到最大， 而信道達(dá)到信道容量： 其中 稱為信道的信噪比。假設(shè)某信道的頻帶限于（ 0，B），則其輸入、輸出信號(hào)和噪聲都是限頻的隨機(jī)過程，頻帶限于（ 0， B）。上式是加性高斯噪聲信道信息傳輸率的極限值。 ) l o g ( 1 ) , 1 , 2 , ,2iin Xiippi NPnC I I X Y i nP?? ? ? ? ??xxXY因此 2X?2N?)1lo g (2 22NXnC????則 比特 /n個(gè)樣值 * 波形信道及其信道容量 波形信道通常根據(jù)抽樣定理轉(zhuǎn)化成多維連續(xù)信道進(jìn)行處理。這種信道稱為 高斯加性連續(xù)信道 。 圖 級(jí)聯(lián)信道 *4. 5 連續(xù)信道及其信道容量 連續(xù)隨機(jī)變量的互信息 連續(xù)隨機(jī)變量和之間的平均互信息定義為 連續(xù)隨機(jī)變量的平均互信息具有和離散隨機(jī)變量的平均互信息一樣的性質(zhì)： 1． 對(duì)稱性 ： 2． 非負(fù)性： 當(dāng)且僅當(dāng)隨機(jī)變量和統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立。 在研究較復(fù)雜信道時(shí) ， 為使問題簡(jiǎn)化 ， 往往可以將它們分解成幾個(gè)簡(jiǎn)單的信道的組合 。 一般情況下，消息序列在離散無記憶 N次擴(kuò)展信道中傳輸時(shí)，其平均互信息量 )。 輸入 、 輸出隨機(jī)序列的長(zhǎng)度為 N的離 散無記憶平穩(wěn)信道通常稱為離散無記 憶信道的 N次擴(kuò)展信道 。 信道容量定理只給出了達(dá)到信道容量時(shí)，最佳輸入概率分布應(yīng)滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。 常數(shù) C即為所求的信道容量 。 在一般信道的信道容量的推導(dǎo)中我們推出了下式： ? ?? 1 ??)。( YXI( ) , 1 , 2 , ,ip x i r? 1)(1???riixp( ) 0 1 , 2 , ,()iiip x i rpx????????的條件下求 的極值。 推論： 均勻信道的信道容量為 ),(lo g ,2,1 spppHsC ???,2,1 , sppp ?)()1lo g (lo g pHrprC ???? 當(dāng)輸入為等概分布時(shí) ， 輸出為等概分布 ， 信道達(dá)到信道容量 。 定義 若信道矩陣中，每行都是第一行元素的不同排列，則稱此類信道為 行對(duì)稱信道 。 圖 BSC的信道容量 幾種 特殊信道 的信道容量 無損信道是一個(gè)輸入對(duì)應(yīng)多個(gè)輸出。(1 YXItR t ? 比特 /秒 對(duì)于固定的信道，總存在一種信源（某種輸入概率分布），使信道平均傳輸一個(gè)符號(hào)接收端獲得的信息量最大，也就是說對(duì)于每個(gè)固定信道都有一個(gè)最大的信息傳輸率，這個(gè)最大的信息傳輸率即為 信道容量 ，而相應(yīng)的輸入概率分布稱為 最佳輸入分布 。 信源的不確定性為 ， 由于干擾的存在 ， 接收端收到 后對(duì)信源仍然存在的不確定性為 ， 又稱為 信道疑義度 。 設(shè)離散單符號(hào)信道的輸入隨機(jī)變量為 ，輸出隨機(jī)變量為 ，由于信道中存在干擾，因此輸入符號(hào)在傳輸中將會(huì)產(chǎn)生錯(cuò)誤，這種信道干擾對(duì)傳輸?shù)挠绊懣捎脗鬟f概率 來描述： 信道傳遞概率實(shí)際上是一個(gè)傳遞概率矩陣，稱為 信道矩陣 ，記為： ? ?12, , , , rX X x x x?? ?12, , , sY Y y y y?)|( ij xyp? ?( | ) | 1 , 2 , 。 ② 多端信道 （ 多用戶信道 ）：雙向通信或三個(gè)或更多個(gè)用戶之間 相互通信的情況。 我們?cè)趯?shí)際通信中所利用的各種物理通道是空間傳輸信道的最典型的例子 ，時(shí)間傳輸是指將信息保存 ， 在以后讀取 ， 如磁帶 、 光盤等在時(shí)間上將信息進(jìn)行傳輸?shù)男诺?。我們一般關(guān)心的是下面兩種約束下的最大熵。 通過對(duì)連續(xù)變量的取值進(jìn)行量化分層，可以將連續(xù)隨機(jī)變量用離散隨機(jī)變量來逼近。 定義 一個(gè)信源的熵率（極限熵）與具有相同符號(hào)集的最大熵的比值稱為 熵的相對(duì)率 ： 信源剩余度 為： 0 1 2 1l o g mq H H H H H??? ? ? ? ? ? ?0H0HH???01 1 1 l o gHHHq?? ??? ? ? ? ? ? 信源的剩余度來自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性，相關(guān)程度越大，符號(hào)間的依賴關(guān)系越長(zhǎng)，信源的實(shí)際熵越小，另一方面是信源符號(hào)分布的不均勻性使信源的實(shí)際熵越小。信 源發(fā)出一個(gè)符號(hào)后，信源所處的狀態(tài)即 發(fā)生改變，這些狀態(tài)的變化組成了馬氏 鏈。 定義 隨機(jī)變量序列中，對(duì)前 N個(gè)隨機(jī)變量的聯(lián)合熵求平均： 稱為 平均符號(hào)熵 。實(shí)際應(yīng)用時(shí)常常用一些可以處理的數(shù)學(xué)模型來近似。 ) ( 。( YXI? ?)|( ij xyp 數(shù)據(jù)處理定理 為了證明數(shù)據(jù)處理定理，我們需要引入三元隨機(jī)變量 的平均條件互信息和平均聯(lián)合互信息的概念。 ) ( ) ( | )( ) ( | )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( 。 (ji yxI XY1 1 1 11 1 1 1( | )( 。 39。, 39。 5. 連續(xù)性： 即信源概率空間中概率分量的微小波動(dòng)，不會(huì)引起熵的變化。 )( ixI? ?1( ) ( ) ( ) l o g ( )qi i iiH X E I x p x p x?? ? ? ? 熵函數(shù)的性質(zhì) 信息熵 是隨機(jī)變量 X的概率分布的函數(shù)，所以又稱為 熵函數(shù) 。我們定義 平均自信息量 來表征整個(gè)信源的不確定度。 1哈特萊 = 比特 = （ 4） 如果取以 r為底的對(duì)數(shù)（ r1），則 = 進(jìn)制單位 1r進(jìn)制單位 = 比特 )( ixp )( ixIe2log10log 2)( ixI lo g ( )rip x r?r2log 互信息 定義 一個(gè)事件 所給出關(guān)于另一個(gè)事件 的信息定義為互信息 ，用 表示。 設(shè)事件 的概率為 ， 則它的自信息定義為 從圖 是滿足上述公理性條件的函數(shù)形式 。 比如拋擲一枚硬幣的試驗(yàn)所包含的信息量 。這部分內(nèi)容是信息論的基礎(chǔ)理論。 （ 4） 譯碼器 。顧名思義，信源是產(chǎn)生消息和消息序列的源。如果消息能夠正確傳送，收信者就能夠獲得這么大小的信息量。 我們把某個(gè)消息 出現(xiàn)的不確定性的大小，定義為 自信息 ，用這個(gè)消息出現(xiàn)的概率的對(duì)數(shù)的負(fù)值來表示： 自信息同時(shí)表示這個(gè)消息所包含的信息量，也就是最大能夠給予收信者的信息量。 ???? qiii xpxpXH1)(lo g)()( 信息論的研究對(duì)象、目的和內(nèi)容 信息論的研究對(duì)象是 廣義的通信系統(tǒng)，它把所有的信息流通系統(tǒng)都抽象成以下的模型： 圖 通信系統(tǒng)模型 這個(gè)通信系統(tǒng)主要分成五個(gè)部分： （ 1） 信源 。信道是指通信系統(tǒng)把載荷消息的信號(hào)從發(fā)送端送到接收端的媒介或通道，是包括收發(fā)設(shè)備在內(nèi)的物理設(shè)施。主要通過數(shù)學(xué)描述與定量分析，研究通信系統(tǒng)從信源到信宿的全過程，包括信息的測(cè)度、信道容量以及信源和信道編碼理論等問題，強(qiáng)調(diào)通過編碼和譯碼使收、發(fā)兩端聯(lián)合最優(yōu)化，并且以定理的形式證明極限的存在。 （ 3） 平均自信息 （ 信息熵 ） ：事件集 （ 用隨機(jī)變量表示 ） 所包含的平均信息量 ， 它表示信源的平均不確定性 。 )( ixI )( ixp)( ixI )( ixp 12( ) ( )p x p x? 12( ) ( )I x I x?)( ixp ()iIx ?? )( ixp )( ixI 定義 隨機(jī)事件的 自信息量 定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值 。若以 10為對(duì)數(shù)底，則自信息量的單位為哈特萊（ Hartley）。因此自信息量不能用來表征整個(gè)信源的不確定度。 一般情況下，信息熵并不等于收信者平均獲得的信息量， 收信者不能全部消除信源的平均不確定性，獲得的信息量將小于信息熵。 4. 擴(kuò)展性： 這個(gè)性質(zhì)的含義是增加一個(gè)基本不會(huì)出現(xiàn)的小概率事件，信源的熵保持不變。 ( 39。 39。 ( | ) ( ) ( | )H Y X H X H Y X??1 2 1 2 1 1 2 1( ) ( ) ( | ) ( | )N N NH X X X H X H X X H X X X X ?? ? ? ?( ) ( ) ( )H X Y H X H Y??( | ) ( ) , ( | ) ( )H X Y H X H Y X H Y??( ) ( ) ( )H X Y H X H Y?? 平均互 信息 平均互信息的概念 為了從整體上表示從一個(gè)隨機(jī)變量 Y所給出關(guān)于另一個(gè)隨機(jī)變量 的信息量，我們定義互信息 在的 聯(lián)合概率空間中的統(tǒng)計(jì)平均值為隨機(jī)變量 X和 Y間的 平均互信息 ： 定義 X )。 )I X Y I Y X?( 。( YXI? ?)( ixp? ?)( ixp )。 ( 。 一個(gè)實(shí)際信源的統(tǒng)計(jì)特性往往是相當(dāng)復(fù)雜的，要想找到精確的數(shù)學(xué)模型很困難。 12, , , ,nX X Xi j i j?,2,1,0?N ?? Niii XXX ??1?? Njjj XXX ?? 11111( ) ( )( ) ( )( ) ( )iji i j ji i i N j j j NP X P XP X X P X XP X X X P X X X??? ? ? ???? 對(duì)于離散多符號(hào)信源 , 我們引入 熵率 的概念，它表示信源輸出的符號(hào)序列中，平均每個(gè)符號(hào)所攜帶的信息量。因此我們把前面 若干個(gè)符號(hào)看作一個(gè)狀態(tài) ， 可以認(rèn)為信 源在某一時(shí)刻發(fā)出某一符號(hào)的概率除了 與該符號(hào)有關(guān)外，只與該時(shí)刻信源所處 的狀態(tài)有關(guān)，而與過去的狀態(tài)無關(guān)。當(dāng)信源輸出符號(hào)間彼此不存在依賴關(guān)系且為等概率分布時(shí)，信源的實(shí)際熵等于最大熵 。 對(duì)于取值范圍有限的連續(xù)信源還可以表示成： ， 并滿足 ，（ a,b）是 的取值范