【正文】 單符號(hào)離散信道的信道容量 ( 。 ) m a x ( ) l o giip x p xI X Y H X n??單符號(hào)離散信道的信道容量 離散無(wú)噪信道的信道容量 ? 具有并歸性能的無(wú)噪信道 —— 確定信道 ? 矩陣中每一行僅有一個(gè)非零元素 ? H（ Y/X） =0； H （ X/Y） ≠0 ? I（ X； Y） = H （ Y） H （ X） ? 信道容量： 1 0 01 0 00 1 0P=0 1 00 1 00 0 1??????????????????1 y1 x1 x2 y2 x3 x4 y3 x5 x6 1 1 1 1 1 ( ) ( )C = m a x ( 。 )ipxC I X Y?()1 m a x ( 。Y)是信道輸入概率分布 p(x)的上凸函數(shù) . ? 信息量與信道轉(zhuǎn)移概率分布的關(guān)系 性質(zhì) 2 ： I(X。 信源 編碼 媒介 譯碼 信宿 干擾 C1 C2 C3 C4 A B 信 道 劃 分 是 人 為 的 ！ 信道的數(shù)學(xué)模型和分類(lèi) ? 信道描述 ? 信道可以引用三組變量來(lái)描述： 信道輸入概率空間： 信道輸出概率空間： 信道概率轉(zhuǎn)移矩陣： 即： { ， ， }， 它可簡(jiǎn)化為： 。 概述 ? 研究信道的目的 ? 實(shí)現(xiàn)信息傳輸?shù)?有效性 和 可靠性 ? 有效性：充分利用信道容量 ? 可靠性：通過(guò)信道編碼降低誤碼率 ? 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類(lèi)型信道，計(jì)算其容量，即極限傳輸能力，并分析其特性。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；聽(tīng)收音機(jī)，收、發(fā)間的空間就是信道。第三章 信道容量 胡君紅 本章內(nèi)容 概述 信道的數(shù)學(xué)模型和分類(lèi) 單符號(hào)離散信道的信道容量 多符號(hào)離散信道 多用戶信道 連續(xù)信道 信道編碼定理 概述 ? 信息論對(duì)信道研究的內(nèi)容 ? 什么是信道？ ? 信道的作用 ? 研究信道的目的 ? 本章學(xué)習(xí)達(dá)到的目的 概述 ? 信息論對(duì)信道研究的內(nèi)容： ? 信道的建模：用恰當(dāng)?shù)妮斎?/輸出兩個(gè)隨機(jī)過(guò)程來(lái)描述 ? 信道容量 ? 不同條件下充分利用信道容量的各種辦法 概述 ? 什么是信道 ？ ? 信道是傳送信息的載體 —— 信號(hào)所通過(guò)的通道。 ? 信息是抽象的，信道則是具體的。 ? 信道的作用 ? 在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸。 ? 通信技術(shù)研究－－信號(hào)在信道中傳輸?shù)倪^(guò)程所遵循的物理規(guī)律，即傳輸特性 ? 信息論研究－－信息的傳輸問(wèn)題（假定傳輸特性已知） 概述 ? 本章達(dá)到的目的 ? 了解信息論研究信道的目的、內(nèi)容 ? 了解信道的基本分類(lèi)并掌握信道的基本描述方法 ? 掌握信道容量的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系 ? 能夠計(jì)算簡(jiǎn)單信道的信道容量（對(duì)稱(chēng)離散信道、無(wú)記憶加性高斯噪聲信道） ? 了解信道容量在研究通信系統(tǒng)中的作用 ? 理解無(wú)噪信道編碼的物理意義 ? 進(jìn)一步從信息論的角度理解香農(nóng)公式及其用途 信道的數(shù)學(xué)模型和分類(lèi) ? 信道分類(lèi) ? 從工程物理背景 —— 傳輸媒介類(lèi)型； ? 從數(shù)學(xué)描述方式 —— 信號(hào)與干擾描述方式； ? 從信道本身的參數(shù)類(lèi)型 —— 恒參與變參； ? 從用戶類(lèi)型 —— 單用戶與多用戶； ? ?? ???????????????? ?? ???? ???? ?? ??? ????????????????????? ?????離 散無(wú) 記 憶連 續(xù)信 號(hào) 類(lèi) 型半 離 散有 記 憶半 連 續(xù)無(wú) 干 擾 ： 干 擾 少 到 可 忽 略 ；無(wú) 源 熱 噪 聲信 號(hào) 與 干 擾 類(lèi) 型線 性 疊 加 干 擾 有 源 散 彈 噪 聲脈 沖 噪 聲干 擾 類(lèi) 型有 干 擾交 調(diào)乘 性 干 擾 衰 落碼 間 干 擾信道的數(shù)學(xué)模型和分類(lèi) ???恒 參 信 道 （ 時(shí) 不 變 信 道 ）信 道 參 量 類(lèi) 型變 參 信 道 （ 時(shí) 變 信 道 ）信道的數(shù)學(xué)模型和分類(lèi) ???二 用 戶 信 道 （ 點(diǎn) 對(duì) 點(diǎn) 通 信 ）用 戶 類(lèi) 型多 用 戶 信 道 （ 通 信 網(wǎng) ） 信道的數(shù)學(xué)模型和分類(lèi) 其中： c1為連續(xù)信道，調(diào)制信道； c2為離散信道，編碼信道； c3為半離散、半連續(xù)信道； c4為半連續(xù)、半離散信道。 [ , ( )]X p x[ , ( )]Y p y( / )P Y X[ , ( )]X p x ( / )P Y X [ , ( )]Y p y[ , ( ) , ]X P Y信道的數(shù)學(xué)模型和分類(lèi) 其中： 11( ) ( ) ( ) ( )( ) ( )nmnmx x y yXYp x p x p y p yp x p y? ? ? ?? ? ? ???? ? ? ?? ? ? ?? ? ? ?? ? ? ?入 出→ 信 道 →ixX? {1, 2, , }in?jyY? {1, 2, , }jm?1 1 11( ) ( )( ) ( )mn m nP y x P y xPP y x P y x??????? 單符號(hào)離散信道的信道容量 ?信道容量的定義 ?幾種特殊離散信道的信道容量 ?離散信道容量的一般計(jì)算方法 信道容量的定義 ? 互信息與信道輸入概率分布的關(guān)系 性質(zhì) 1 ： I(X。Y)是信道轉(zhuǎn)移概率分布 p(y/x)的下凸函數(shù) . ? 信道容量的定義： ? 單位時(shí)間的信道容量： ()m a x ( 。 ) ( )it pxC I X Yt? 比 特 / 秒單符號(hào)離散信道的信道容量 幾種特殊離散信道的信道容量 ? 離散無(wú)噪信道的信道容量 ? 強(qiáng)對(duì)稱(chēng)離散信道的信道容量 ? 對(duì)稱(chēng)信道的信道容量 ? 準(zhǔn)對(duì)稱(chēng)信道的信道容量 單符號(hào)離散信道的信道容量 離散無(wú)噪信道的信道容量 ? 具有擴(kuò)展性能的無(wú)噪信道 —— 無(wú)損信道 ? 矩陣中每一列僅有一個(gè)非零元素 ? H（ X/Y） =0； H（ Y/X） ≠0 ? I（ X； Y） = H （ X） H （ Y） ? 信道容量： x1 y1 y2 x2 y3 y4 x3 y5 y6 1/2 1/2 3/5 3/10 1/10 1 1 / 2 1 / 2 0 0 0 0P= 0 0 3 / 5 3 / 1 0 1 / 1 0 00 0 0 0 0 1??????( ) ( )C = m a x ( 。 ) m a x ( ) l o giip x p xI X Y H Y m??單符號(hào)離散信道的信道容量 離散無(wú)噪信道的信道容量 ? 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道 —— 既無(wú)損又確定 ? 矩陣中每一行每一列僅有一個(gè)非零元素 ? H（ Y/X） =0； H （ X/Y） =0 ? I（ X； Y） = H （ Y） = H （ X） ? 信道容量： 1 0 0P= 0 1 00 0 1????????y1 x1 x2 y2 x3 y3 1 1 1 ( ) ( )C = m a x ( 。 ) ( ) ( / )I X Y H Y H Y X??? 強(qiáng)對(duì)稱(chēng)信道的信道容量 1111( / ) ( ) ( / ) l og ( / )( ) ( / ) ( / ) ( ) ( / )l og ( 1 ) l og11l og l og1nni j i j iijnni i i i iiiH Y X p x p y x p y xp x H Y x H Y x p x H Y xppp p nnnpp p pn????????? ? ? ? ???? ? ?????? ?對(duì) 稱(chēng) 性( ) ( )( 。C = l o g l o g l o g ( )1pn p p p n?? ? 比 特 / 信 道 符 號(hào)當(dāng) 輸 入 等 概 分 布 時(shí) ， 強(qiáng) 對(duì) 稱(chēng) 離 散 信 道 達(dá) 到 信 道 容 量對(duì)稱(chēng)離散信道的信道容量 單符號(hào)離散信道的信道容量 ? 對(duì)稱(chēng)信道的信道容量 ? 矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對(duì)稱(chēng)性） 2( 。 ) l o g ( , , , )