【正文】 引出 數(shù)據(jù)處理定理 ? 信道容量 數(shù)據(jù)處理定理 ? 串聯(lián)信道 ? 數(shù)據(jù)處理定理 ? 串聯(lián)信道 ? 在一些實(shí)際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。 ? 輸出端 Y往往只能獲得關(guān)于輸入 X的部分信息，這是由于平均互信息性質(zhì)決定的： I(X。 ? 信道的信息傳輸率 ： 就是平均互信息 R=I(X。 :離散無記憶信道及其信道容量 5 ? 如果信源熵為 H(X)，希望在信道輸出端接收的信息量就是 H(X)，由于干擾的存在，一般只能接收到 I(X。 167。 表示 發(fā)出隨機(jī)變量 X后，對(duì)隨機(jī)變量 Y仍然存在的平均不確定度 。 從 Y獲得的關(guān)于 X的平均信息量 。 ? I(X。代表了在信道中損失的信息。 Y關(guān)于 X的后驗(yàn)不確定度 。 :離散無記憶信道及其信道容量 3 H(X) H(Y) H(Y|X) H(X|Y) I(X。 167。 :離散無記憶信道及其信道容量 ?離散無記憶信道及其信道容量 ?一般離散無記憶信道容量的計(jì)算 ?離散無記憶信道的信道容量定理 ?對(duì)稱的離散無記憶信道容量的計(jì)算 ?香農(nóng)第一定理的物理意義 167。 :信道分類與描述－ 8 ? 當(dāng) K=1時(shí)，退化為 單個(gè)消息（符號(hào)）信道 ；進(jìn)一步當(dāng) n=m=2時(shí)，退化為 二進(jìn)制單個(gè)消息信道 。 :信道分類與描述－ 6 ? 信道描述 –信道可以引用 三組變量 來描述： 信道輸入概率空間： 信道輸出概率空間： 信道概率轉(zhuǎn)移矩陣： 即： 它可簡(jiǎn)化為： ]),(,[ KK YPX[ , ( ) ]KXp x[ , ( ) ]KYq y( / )p yx{ [ , ( ) ] , ( / ) , [ , ( ) ] }KKX p p Y qx y x y167。 :信道分類與描述－ 4 信道劃分是人為的，比如 信源 干擾 編碼 譯碼 信宿 傳輸媒介 A BC DABCCDCADC其中： 為狹義的傳輸型信道，研究調(diào)制解調(diào)理論或模擬通信時(shí)常引用它，為連續(xù)信道； ABC 為廣義的傳輸型信道，研究數(shù)字通信、編碼解碼時(shí)常引用它，為離散信道； CDCCBC 為半離散半連續(xù)的傳輸型信道 CBC???變參信道（時(shí)變信道））恒參信道（時(shí)不變信道〉信道參量類型3167。:信道分類與描述－2 ????????????????????????????????????????????????????????????碼間干擾衰落交調(diào)乘性干擾脈沖噪聲有源散彈噪聲無源熱噪聲線性疊加干擾有干擾略；無干擾：干擾少到可忽干擾類型有記憶無記憶半連續(xù)半離散連續(xù)離散信號(hào)類型〉信號(hào)與干擾類型2167。 :信道的分類與描述 ? 信道分類 ? 信道描述 167。 :概述－ 4 ? 研究信道的目的 – 實(shí)現(xiàn)信息傳輸?shù)?有效性 和 可靠性 ? 有效性：充分利用信道容量，使傳輸?shù)男畔⒘勘M可能大 ? 可靠性：通過信道編碼降低誤碼率 – 結(jié)合通信系統(tǒng)研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量，即極限傳輸能力，并分析其特性。 – 信道容量研究?jī)?nèi)容： 在什么條件下，通過信道的信息量最大 。 :概述－ 3 ? 信道的作用 – 在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機(jī)，收、發(fā)間的空間就是信道。 :概述－ 2 ? 什么是信道？ –信道是傳送信息的載體 ——信號(hào)所通過的通道。 )NiiiI I X Y?? ?XY? 信息論對(duì)信道研究的內(nèi)容 – 信道的建模：用恰當(dāng)?shù)妮斎?/輸出兩個(gè)隨機(jī)過程來描述 – 信道容量 – 不同條件下充分利用信道容量的各種辦法 ? 什么是信道？ ? 信道的作用 ? 研究信道的目的 167。 )NiiiI I X Y?? ?XY即： 則： 回顧－互信息函數(shù)的性質(zhì) 5 ? 性質(zhì) 性質(zhì) 4的推論： 信道的輸入和信道本身都是離散無記憶的 1( 。 )NiiiI I X Y?? ?XY即： 則： 回顧－互信息函數(shù)的性質(zhì) 4 ? 互信息與信道輸入符號(hào)相關(guān)性的關(guān)系 性質(zhì) 4: 信道是離散無記憶的 , 1 2 1 21 1 2 21( / ) ( .. .. / .. .. )( / ) ( / ) .. .. ( / ) ( / )NNNN N i iip p y y y x x xp y x p y x p y x p y x???? ?yx1( 。 Y)是信道轉(zhuǎn)移概率分布 p(y/x)的下凹函數(shù) . 信道 1 信道 2 信道 P XY1Y2Y1Q2回顧－互信息函數(shù)的性質(zhì) 3 ? 互信息與信道輸入符號(hào)相關(guān)性的關(guān)系 性質(zhì) 3: 信道的輸入是離散無記憶的 , 12121( ) ( .. .. )( ) ( ) .. .. ( ) ( )NNNiip p x x xp x p x p x p x???? ?x1( 。第五章： 信道與信道容量 本章節(jié)達(dá)到的目的 ? 了解信息論研究信道的目的、內(nèi)容 ? 了解信道的基本分類并掌握信道的基本描述方法 ? 掌握信道容量 /信道容量代價(jià)函數(shù)的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系 ? 能夠計(jì)算簡(jiǎn)單信道的信道容量 /信道容量代價(jià)函數(shù)（對(duì)稱離散信道、無記憶加性高斯噪聲信道） ? 了解信道容量 /容量代價(jià)函數(shù)在研究通信系統(tǒng)中的作用 ? 理解香農(nóng)第一定理又稱無噪信道編碼的物理意義 ? 進(jìn)一步從信息論的角度理解香農(nóng)公式及其用途 概念問題 ? 熵 ?熵率 ?無失真信源編碼定理中的作用 ? 互信息 ?信道容量 ?信道編碼定理中的作用 回顧－互信息函數(shù)的性質(zhì) 1 ? 互 信息與信道輸入概率分布的關(guān)系 性質(zhì) 1 ： I(X。 Y)是信道輸入概率分布 p(x)的上凸函數(shù) . 信道 P XY1Y2YQ1X2X1P2P回顧－互信息函數(shù)的性質(zhì) 2 ? 互信息與信道轉(zhuǎn)移概率分布的關(guān)系 性質(zhì) 2 ： I(X。 ) ( 。 ) ( 。 ) ( 。 :概述－ 1 167。 – 信息是抽象的，信道則是具體的。 167。 – 信道傳輸信息的速率： 與物理信道本身的特性 、 載荷信息的信號(hào)形式 和 信源輸出信號(hào)的統(tǒng)計(jì)特性 有關(guān)。 167。 ? 通信技術(shù)研究－－信號(hào)在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性 ? 信息論研究－－信息的傳輸問題（假定傳輸特性已知） 167。 :信道分類與描述－ 1 ? 信道分類 – 從工程物理背景 ——傳輸媒介類型 ； – 從數(shù)學(xué)描述方式 ——信號(hào)與干擾描述方式 ； – 從信道本身的參數(shù)類型 ——恒參與變參 ； – 從用戶類型 ——單用戶與多用戶 ； ?????????????????????????????????????????????????????????????????????????光纜波導(dǎo)混合介質(zhì)光波衛(wèi)星電離層對(duì)流層散射視距接力移動(dòng)微波超短波短波中波長(zhǎng)波空氣介質(zhì)中同軸（長(zhǎng)途）小同軸（長(zhǎng)途）對(duì)稱平衡電纜（市內(nèi)）電纜明線固體介質(zhì)傳輸媒介類型1167。 :信道分類與描述－ 3 167。 :信道分類與描述－ 5 ???多用戶信道（通信網(wǎng)）信）二用戶信道（點(diǎn)對(duì)點(diǎn)通〉用戶類型4167。 :信道分類與描述－ 7 其中： 而 11. . . . . . . . . .. . . . . . . . . .( ) ( )kkKKnmXYp p q qpq? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?x x y yxy入 出信 道Ki X?x },2,1{kni ??Kj Y?y },2,1{ kmj ??1 1 11( ) ( )( ) ( )kk k knm m nPPPP???????y x y xPy x y x167。若它滿足對(duì)稱性，即構(gòu)成最常用的 二進(jìn)制單消息對(duì)稱信道 BSC： 0101()Xpppx???? ??????? ??1()1P?????????? ??? ?????????????????10 ,1,0)( qqyqY且： 輸入 輸出 {0,1}x ?{0,1}y ?0101eP ??eP ??11eP ?? ? ?11eP ?? ? ?167。 :離散無記憶信道及其信道容量 1 ? 離散消息序列信道 有記憶信道平穩(wěn)，有限狀態(tài)有記憶信道有干擾無記憶無干擾信道無記憶信道離散消息序列信道 : 信道中的記憶現(xiàn)象來源于物理信道中的慣性，如電纜信道中的電感電容、無線信道中電波傳布的衰落現(xiàn)象等。 :離散無記憶信道及其信道容量 2 信道的任務(wù) 盡可能有效且可靠地 傳輸 信源的信息 離散通信信道 X={x1,x2,…,x r} 信息流 信息流通過特定信道（信道容量和噪聲特性已定） 傳輸可靠性 ? 信道噪聲 信道容量 ? 傳輸有效性 167。Y) Source entropy Received information 噪聲 熵 信道疑 義 度 （損 失 熵 ） Transmitted part of information ? H(X/Y) — 信道疑義度 /損失熵。表示收到變量 Y后，對(duì)隨機(jī)變量 X仍然存在的不確定度。 ? H(X) — X的先驗(yàn)不確定度 /無條件熵 。Y)— 收到 Y前、后 關(guān)于 X的不確定度減少的量。 ? H(Y/X)— 噪聲熵。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對(duì)應(yīng)關(guān)系，發(fā)出 X后必能確定對(duì)應(yīng)的 Y，而現(xiàn)在不能完全確定對(duì)應(yīng)的 Y，這顯然是由信道噪聲所引起的。 :離散無記憶信道及其信道容量 4 167。Y)。Y)。Y)≤H(X)。例如 ? 微波中繼接力通信就是一種串聯(lián)信道。 ? 下圖表示兩個(gè)單符號(hào)離散信道串聯(lián)的情況。 ? 級(jí)聯(lián)的結(jié)構(gòu)決定了 Z的取值在給定 Y以后與 X將不再有關(guān) ? 在概率論中稱 XYZ的這種關(guān)系為 XYZ組成馬爾科夫鏈。 | ) ( | ) ( | ) ( | ) 0I X Z Y H XZ Y H X Y H Z Y? ? ? ? ?( 。 ) ( 。 ) ( 。 ) ( 。 | )I X Y I X Z I X Y Z??( 。 )I X Z I X Y?( 。即 I(X。Y) I(X。Z) 結(jié)論： ?兩級(jí)串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會(huì)超過第 Ⅰ 級(jí)信道輸入與輸出消息之間的平均互信息量，也不會(huì)超過第 Ⅱ 級(jí)信道輸入與輸出消息之間的平均互信息量。這就是所謂的 信息不增原理 。Y)。也就是說在任何信息流通系統(tǒng)中，最后獲得的信息量，至多是信源提供的信息。 167。Y)是信源無條件概率 p(xi)和信道轉(zhuǎn)移概率 p(yj /xi)的二元函數(shù)： ? 當(dāng)信道特性 p(yj /xi)固定后， I(X。 ? 調(diào)整 p(xi)，在接收端就能獲得不同的信息量。Y)是 p(xi)的上凸函數(shù)，因此總能找到一種概率分布 p(xi)（即某一種信源），使信道所能傳送的信息率為最大。()/()()()/()()(167。 ? 單位時(shí)間的信道容量 Ct： 若信道平均傳輸一個(gè)符號(hào)需要 t秒鐘，則單位時(shí)間的信道容