【文章內(nèi)容簡(jiǎn)介】 稱為 熵率 ，或稱為 極限熵 ，記為 121( ) ( )NNH H X X XN?X??Nl im ( )d e f NNHH? ??? X)(lim XNN H?? 離散平穩(wěn)無(wú)記憶信源 離散平穩(wěn)無(wú)記憶信源輸出的符號(hào)序列是平穩(wěn)隨機(jī)序列 ， 并且符號(hào)之間是無(wú)關(guān)的 ， 即是統(tǒng)計(jì)獨(dú)立的 。 假定信源每次輸出的是 N長(zhǎng)符號(hào)序列 ， 則它的數(shù)學(xué)模型是 N維離散隨機(jī)變量序列： ， 并且每個(gè)隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立 。 同時(shí) ， 由于是平穩(wěn)信源 ， 每個(gè)隨機(jī)變量的統(tǒng)計(jì)特性都相同 ， 我們還可以把一個(gè)輸出 N長(zhǎng)符號(hào)序列的信源記為： 根據(jù)統(tǒng)計(jì)獨(dú)立的多維隨機(jī)變量的聯(lián)合熵與信息熵之間的關(guān)系，可以推出： 離散平穩(wěn)無(wú)記憶信源的熵率： NXXX ?21?X12 NNX X X X??X( ) ( ) ( )NH H X N H X??X1l i m ( ) l i m ( ) ( )NNNH H X N H X H XN? ?? ??? ? ? 離散平穩(wěn)有記憶信源 實(shí)際信源往往是有記憶信源。 對(duì)于相互間有依賴關(guān)系的 N維隨機(jī)變量的聯(lián)合熵存在以下關(guān)系（ 熵函數(shù)的 鏈規(guī)則 ） ： 定理 對(duì)于離散平穩(wěn)信源 ， 有以下幾個(gè)結(jié)論： （ 1） 條件熵 隨 N的增加是遞減的； （ 2） N給定時(shí)平均符號(hào)熵大于等于條件熵 ， 即 （ 3） 平均符號(hào)熵 隨 N的增加是遞減的； （ 4） 如果 ， 則 存在 ， 并且 121 2 1 3 1 2 1 2 1( ) ( )( ) ( | ) ( | ) ( | )NNNH H X X XH X H X X H X X X H X X X X ??? ? ? ? ?X1 2 1( | )NNH X X X X ?1 2 1( ) ( | )N N NH H X X X X ??X)(XNH1()HX ?? lim ( )NNHH? ??? X1 2 1l im ( ) ( | )N N NNH H H X X X X?????? X 有一類信源，信源在某時(shí)刻發(fā)出的符號(hào)僅與在此之前發(fā)出的有限個(gè)符號(hào)有關(guān)，而與更早些時(shí)候發(fā)出的符號(hào)無(wú)關(guān)，這稱為 馬爾可夫性 ，這類信源稱為 馬爾可夫信源 。馬爾可夫信源可以在 N不很大時(shí)得到 。如果信源在某時(shí)刻發(fā)出的符號(hào)僅與在此之前發(fā)出的 m個(gè)符號(hào)有關(guān)，則稱為 m階馬爾可夫信源，它的熵率： ?H1 2 1111 1 2l im ( | )l im ( | )( | )NNNN N m N m NNmmH H X X X XH X X X XH X X X X????? ? ? ???????（馬爾可夫性） （平穩(wěn)性） )|( 211 mm XXXXH ?? 1?mH通常記作 馬爾可夫信源 馬爾可夫信源 是一類相對(duì)簡(jiǎn)單的有記 憶信源，信源在某一時(shí)刻發(fā)出某一符號(hào) 的概率除與該符號(hào)有關(guān)外，只與此前發(fā) 出的有限個(gè)符號(hào)有關(guān)。因此我們把前面 若干個(gè)符號(hào)看作一個(gè)狀態(tài) ， 可以認(rèn)為信 源在某一時(shí)刻發(fā)出某一符號(hào)的概率除了 與該符號(hào)有關(guān)外，只與該時(shí)刻信源所處 的狀態(tài)有關(guān)，而與過(guò)去的狀態(tài)無(wú)關(guān)。信 源發(fā)出一個(gè)符號(hào)后，信源所處的狀態(tài)即 發(fā)生改變，這些狀態(tài)的變化組成了馬氏 鏈。 圖 馬爾可夫信源 對(duì)于一般的 階馬爾可夫信源，它的概率空間可以表示成： 令 ， 從而得到馬爾 可夫信源的狀態(tài)空間： 狀態(tài)空間由所有狀態(tài)及狀態(tài)間的狀態(tài)轉(zhuǎn)移概率組成。通過(guò)引入狀態(tài)轉(zhuǎn)移概率，可以將對(duì)馬爾可夫信源的研究轉(zhuǎn)化為對(duì)馬爾可夫鏈的研究。 m? ? 1 1 21( | )mmiqi i i iX x x xp x x x xPX?? ? ? ??? ? ? ?? ? ? ?? ?12 12, , , , 1 , 2 , ,mi i i i ms x x x i i i q????????)|(1ijmqisspsss ?? 下面計(jì)算遍歷的 m階馬爾可夫信源的熵率。 當(dāng)時(shí)間足夠長(zhǎng)后，遍歷的馬爾可夫信源可以視作平穩(wěn)信源來(lái)處理，又因?yàn)?m階馬爾可夫信源發(fā)出的符號(hào)只與最近的 m個(gè)符號(hào)有關(guān)，所以極限熵 等于條件熵 。 對(duì)于齊次遍歷的馬爾可夫鏈，其狀態(tài) 由 唯一確定，因此有 所以 ?H 1?mHis miii xxx ?211 1 2 1( | ) ( | ) ( | )m m mj i i i i i i ip s s p x x x x p x s????1 1 21 1 111 1 1 211( | ) ( | )( | ) ( ) ( | ) l og ( | )( ) ( | ) ( ) ( | ) l og ( | )mmmm m mmm m m i i i iqqi i i i i i iiii i i j i j ii i jH H X X X X E p x x x xE p x s p s p x s p x sp s H X s p s p s s p s s?? ? ??????????????? ? ???? ? ? ???? ? ? 信源的相關(guān)性和剩余度 根據(jù)定理 由此看出，由于信源輸出符號(hào)間的依賴關(guān)系也就是信源的相關(guān)性使信源的實(shí)際熵減小。信源輸出符號(hào)間統(tǒng)計(jì)約束關(guān)系越長(zhǎng)，信源的實(shí)際熵越小。當(dāng)信源輸出符號(hào)間彼此不存在依賴關(guān)系且為等概率分布時(shí)，信源的實(shí)際熵等于最大熵 。 定義 一個(gè)信源的熵率（極限熵）與具有相同符號(hào)集的最大熵的比值稱為 熵的相對(duì)率 ： 信源剩余度 為： 0 1 2 1l o g mq H H H H H??? ? ? ? ? ? ?0H0HH???01 1 1 l o gHHHq?? ??? ? ? ? ? ? 信源的剩余度來(lái)自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性，相關(guān)程度越大，符號(hào)間的依賴關(guān)系越長(zhǎng)，信源的實(shí)際熵越小，另一方面是信源符號(hào)分布的不均勻性使信源的實(shí)際熵越小。 為了更經(jīng)濟(jì)有效的傳送信息，需要盡量壓縮信源的剩余度，壓縮剩余度的方法就是盡量減小符號(hào)間的相關(guān)性，并且盡可能的使信源符號(hào)等概率分布。 從提高信息傳輸效率的觀點(diǎn)出發(fā)，人們總是希望盡量去掉剩余度。但是從提高抗干擾能力角度來(lái)看，卻希望增加或保留信源的剩余度，因?yàn)槭Ｓ喽却蟮南⒖垢蓴_能力強(qiáng)。 信源編碼是減少或消除信源的剩余度以提高信息的傳輸效率，而信道編碼則通過(guò)增加冗余度來(lái)提高信息傳輸?shù)目垢蓴_能力。 * 連續(xù) 信源 連續(xù)信源的微分熵 連續(xù)隨機(jī)變量的取值是連續(xù)的，一般用概率密度函數(shù)來(lái)描述其統(tǒng)計(jì)特征。 單變量連續(xù)信源的數(shù)學(xué)模型為 ， 并滿足 ， 是實(shí)數(shù)域，表示 的取值范圍。 對(duì)于取值范圍有限的連續(xù)信源還可以表示成： ， 并滿足 ，（ a,b）是 的取值范圍。 通過(guò)對(duì)連續(xù)變量的取值進(jìn)行量化分層，可以將連續(xù)隨機(jī)變量用離散隨機(jī)變量來(lái)逼近。量化間隔越小，離散隨機(jī)變量與連續(xù)隨機(jī)變量越接近。當(dāng)量化間隔趨于 0時(shí)，離散隨機(jī)變量就變成了連續(xù)隨機(jī)變量。通過(guò)這種方式，我們來(lái)推導(dǎo)連續(xù)隨機(jī)變量的 熵。 : ()RX px?????? ( ) 1R p x d x ??R X( , ):()abXpx??????( ) 1ba p x d x ?? X 定義連續(xù)信源的 微分熵 為： 微分熵又稱為 差熵 。雖然已不能代表連續(xù)信源的平均不確定性，也不能代表連續(xù)信源輸出的信息量，但是它具有和離散熵相同的形式，也滿足離散熵的主要特性，比如可加性，但是不具有非負(fù)性。 同樣，我們可以定義兩個(gè)連續(xù)隨機(jī)變量的 聯(lián)合熵 ： 以及 條件熵 ( ) ( ) l og ( )Rh X p x p x dx?? ?2( ) ( ) l o g ( )Rh X Y p x y p x y d x d y?? ??22( | ) ( ) l o g ( | )( | ) ( ) l o g ( | )RRh Y X p x y p y x d x d yh X Y p x y p x y d x d y???????? 連續(xù)信源的最大熵 離散信源當(dāng)信源符號(hào)為等概分布時(shí)有最大熵。連續(xù)信源微分熵也有極大值，但是與約束條件有關(guān)，當(dāng)約束條件不同時(shí)，信源的最大熵不同。我們一般關(guān)心的是下面兩種約束下的最大熵。 定理 在輸出幅度受限的情況，服從均勻分布的隨機(jī)變量 X具有最大輸出熵。 定理 對(duì)于平均功率受限的連續(xù)隨機(jī)變量，當(dāng)服從高斯分布時(shí)具有最大熵。 （對(duì)于均值為 m ，方差為 的連續(xù)隨機(jī)變量，平均功率 p=直流功率 +交流功率 = ） 2?22m ?? 連續(xù)信源的熵功率 均值為零，平均功率限定為 p的連續(xù)信源當(dāng)服從高斯分布時(shí)達(dá)到最大熵： 也就是說(shuō)高斯信源的熵值與 p有確定的對(duì)應(yīng)關(guān)系： 現(xiàn)在假定限定的平均功率為 p，某連續(xù)信源的熵為 h(X)，則與它具有相同熵的高斯信源的平均功率 定義為 熵功率 即 所以， ，當(dāng)該連續(xù)信源為高斯信源時(shí)等號(hào)成立。 的大小可以表示連續(xù)信源剩余的大小。如果熵功率等于信源平均功率，表示信源沒(méi)有剩余；熵功率和信源的平均功率相差越大，說(shuō)明信源的剩余越大。所以信源平均功率和熵功率之差 稱為連續(xù)信源的 剩余度 。 ePeXh ??? 2lo g2lo g)( 2 ??)(22 1 XheeP ??P)(22 1 XheeP ??PP?P()pp? 信道 是指信息傳輸?shù)耐ǖ?， 包括 空間傳輸 和 時(shí)間傳輸 。 我們?cè)趯?shí)際通信中所利用的各種物理通道是空間傳輸信道的最典型的例子 ，時(shí)間傳輸是指將信息保存 ， 在以后讀取 ， 如磁帶 、 光盤等在時(shí)間上將信息進(jìn)行傳輸?shù)男诺?。 有時(shí)我們把為了某種目的而使信息不得不經(jīng)過(guò)的通道也看作信道 ， 這里最關(guān)鍵的是信道有一個(gè)輸入以及一個(gè)與輸入有關(guān)的輸出 。 至于信道本身的物理結(jié)構(gòu)可能是千差萬(wàn)別的 ， 信息論研究的信道其輸入點(diǎn)和輸出點(diǎn)在一個(gè)實(shí)際物理通道中所處位置的選擇完全取決于研究的目的 。 關(guān)于信道的主要問(wèn)題有： （ 信道的統(tǒng)計(jì)特性的描述 ） 3. 在有噪信道中能不能實(shí)現(xiàn)可靠傳輸？怎樣實(shí)現(xiàn)可靠傳輸？ 信道的分類 信息論不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程，它假定信道的傳輸特性是已知的，這樣信道就可以用圖 描述。在信息論中，信道通常表示成： ，即信道輸入隨機(jī)變量 X、輸出隨機(jī)變量 Y以及在輸入已知的情況下，輸出的條件概率分布 。 根據(jù)實(shí)際應(yīng)用的需要 ， 信道有幾種 分類方法： (1)按其輸入 /輸出信號(hào)在幅度和時(shí)間 上的取值是離散或連續(xù)來(lái)劃分 如表 ： }),|(,{ YXYPX( | )P Y X圖 信道模型 表 按其輸入 /輸出信號(hào)在幅度和時(shí)間上的取值是離散或連續(xù)來(lái)劃分 （ 2）按其輸入 /輸出信號(hào)之間關(guān)系的記憶特性分為 有記憶信道 和 無(wú)記憶信道 。 （ 3）按輸入 /輸出信號(hào)之間的關(guān)系是否確定關(guān)系分為 有噪聲信道 和 無(wú)噪聲信道 。 幅度 時(shí)間 信道名稱 離散 離散 離散信道（數(shù)字信道） 連續(xù) 離散 連續(xù)信道 連續(xù) 連續(xù) 模擬信道（波形信道） 離散 連續(xù) （理論和實(shí)用價(jià)值均很?。? （ 4）另外，根據(jù)信道輸入和輸出的個(gè)數(shù)可分為 ① 兩端信道 （ 單用戶信道 ）：只有一個(gè)輸入端和一個(gè)輸出端的單 向通信的信道。 ② 多端信道 （ 多用戶信道 ）：雙向通信或三個(gè)或更多個(gè)用戶之間 相互通信的情況。 本課程主要研究?jī)啥诵诺赖那闆r