【正文】 。 1 , 2 , ...,i r j s??滿足： （ 1） 0≤ p(yj|xi) ≤ 1 (i=1,2,…, r； j=1,2,…, s) （ 2） (i=1,2,…, r) ???sjij xyp11)|(第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 （續(xù) 2） ? 信道傳遞概率可以用信道矩陣來(lái)表示： ?????????????)|()|()|()|()|()|()|()|()|(21222211121121rsrrssr xypxypxypxypxypxypxypxypxypxxx????????P1y 2y sy?sr?第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 1??第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 （續(xù) 3） ? 對(duì)于離散單符號(hào)信道來(lái)說(shuō)，信道的輸入輸出均為單個(gè)符號(hào)的消息：設(shè)信道的輸入隨機(jī)變量 X的取值集合為X={x1,x2,…, xr}， 相應(yīng)的概率分布為 p(xi ) ， i=1,2,…, r ；輸出隨機(jī)變量 Y的取值集合為 Y={y1,y2,…, ys}， 相應(yīng)的概率分布為 p (yj )， j=1,2,…, s 信道特性可以用轉(zhuǎn)移概率矩陣來(lái)表示： P=[p(yj|xi)]r s ? 信道的數(shù)學(xué)模型為 {X, P(Y|X),Y} 例 1： 二元對(duì)稱(chēng)信道 （ BSC： binary symmetric channel） 輸入符號(hào)集 A={0,1}, 輸出符號(hào)集 B={0,1}， r＝ s＝ 2． 傳遞概率： pppp??)1|0()0|0((1 | 0)(1 | 1 )pppp??pppp???????P?0 1 0 1 pppp 信道轉(zhuǎn)移概率圖 ?第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 （續(xù) 4） 例 2：二元?jiǎng)h除信道 輸入符號(hào)集 A={0,1}，符號(hào)輸出集 B={0,?,1}， r=2, s=3 信道矩陣為： 1001ppqq?????????P 0 1 0 ? 1 p1 p?1 q?q 信道轉(zhuǎn)移概率圖 ?第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 （續(xù) 5） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 離散信道常用的概率關(guān)系 : 已知：先驗(yàn)概率 : p(xi) ， i=1,2,…, r 前向概率 (信道傳遞概率） : p(yj| xi)， i=1,2,…, r，j=1,2,…, s 求： 1. 聯(lián)合概率 : p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…, r； j=1,2,…, s （續(xù) 6） 2. 輸出符號(hào)概率 : j=1,2,…, s 11( ) ( ) ( ) ( | )rrj i j i j iiip y p x y p x p y x??????? ? ? ? P?? )()()()()()( 2121 rs xpxpxpypypyp ??XYXY |PPP ?矩陣表示： ?????????????????????????)()()()()()(2121rTs xpxpxpypypyp??P（續(xù) 7） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 3. 后驗(yàn)概率（后向概率） : 貝葉斯公式 ????riijiijijjijixypxpxypxpypyxpyxp1)|()()|()()()()|(（ i =1， 2， … ， r。 多用戶信道 ： 雙向通信或三個(gè)或更多個(gè)用戶之間相互通信的情況 ，例如多元接 入信道、廣播信道、網(wǎng)絡(luò)通信信道等。 有記憶信道 ：信道在某時(shí)刻的輸出與其他時(shí)刻的輸入、輸出有關(guān)。 信息論中的 信道劃分是人為的?？臻g傳輸：電纜、光纖、電波傳輸?shù)目臻g、載波線路。第四章：信道及信道容量 一 、 信道 分類(lèi) 二 、 離散單符號(hào)信道及其信道容量 三 、 離散多符號(hào)信道及其信道容量 四 、 組合信道及其信道容量 五 、 連續(xù)信道及其信道容量 六 、 波形信道及其信道容量 一 . 信道分類(lèi) 第四章：信道及信道容量 ? 信道的主要研究?jī)?nèi)容： ?信道的分類(lèi)和建模（信道的統(tǒng)計(jì)特性描述） √ ?信道傳輸信息的能力（信道容量） √ ?在有噪信道中能否實(shí)現(xiàn)可靠傳輸？怎樣實(shí)現(xiàn)可靠傳輸？ ? 信道是指信息傳輸?shù)耐ǖ?。包括空間傳輸和時(shí)間傳輸。 時(shí)間傳輸：磁帶、光盤(pán)。 一、信道分類(lèi) 幅度 時(shí)間 信道 分類(lèi) 名稱(chēng) 離散 離散 離散信道 /數(shù)字信道 （例如：數(shù)字電話） 連續(xù) 離散 連續(xù)信道 連續(xù) 連續(xù) 模擬信道 /波形信道 （例如：普通電話） 離散 連續(xù) （理論和實(shí)用價(jià)值均很小） ? 按輸入 /輸出信號(hào)的幅度和時(shí)間特性劃分： 一 . 信道分類(lèi)（續(xù) 1） 第四章：信道及信道容量 一、信道分類(lèi) ? 按輸入 /輸出之間的記憶性來(lái)劃分： ? 無(wú)記憶信道 ：信道在某時(shí)刻的輸出只與信道該時(shí)刻的輸入有關(guān)而與信道其他時(shí)刻的輸入、輸出無(wú)關(guān)。 ? 根據(jù)信道的 輸入 /輸出是否是確定關(guān)系 可分為 : ? 有噪聲信道 無(wú)噪聲信道 一 . 信道分類(lèi)（續(xù) 2） 第四章：信道及信道容量 一、信道分類(lèi) ? 根據(jù)信道的統(tǒng)計(jì)特性是否隨時(shí)間改變可分為 : ? 平穩(wěn)信道 （恒參信道、時(shí)不變信道，如衛(wèi)星通信） 非平穩(wěn)信道 （變參信道、時(shí)變信道，如移動(dòng)通信） 一 . 信道分類(lèi)（續(xù) 3） 第四章：信道及信道容量 一、信道分類(lèi) ? 根據(jù)輸入 /輸出的個(gè)數(shù)可分為： ? 單用戶信道 ：一個(gè)輸入一個(gè)輸出單向通信。 一 . 信道分類(lèi)（續(xù) 4） 第四章：信道及信道容量 一、信道分類(lèi) 一 . 信道分類(lèi)（續(xù) 5） 第四章：信道及信道容量 一、信道分類(lèi) 信 道 輸入 X 輸出 Y 干擾、噪聲 P(Y|X) 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 信宿 信道 信源 通信系統(tǒng)的簡(jiǎn)化模型 噪聲 信源每發(fā)一個(gè)符號(hào)平均提供的信息量： H(X) 無(wú)噪信道 → 信宿可確切無(wú)誤的接收信息 （續(xù) 1） X Y x1 x2 xr y1 y2 ys P (Y|X) )|( ij xyp1 , 2 , ..., 。j =1， 2， … ， s） 且 1)|(1???riji yxp j =1， 2， … ， s （續(xù) 8） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 ? 理想信道， H(X|Y)=0。 ? 當(dāng) 時(shí)，表示 接收到輸出變量 Y后關(guān)于輸入變量 X的平均不確定性一點(diǎn)也沒(méi)有減少。 )()|( XHYXH ?)()|( XHYXH ?（續(xù) 9） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 ? 平均互信息： ? 平均互信息 表示接收到 Y以后，平均每個(gè)符號(hào)所獲得的關(guān)于輸入變量 X的信息量 ，是信道實(shí)際傳輸信息的數(shù)量。 )|()()。 ) ( 。(ijiiijijijijijijijixypxpxypxypxpypxypxypxpYXI????? 定理 1 對(duì)于固定信道 ， 平均互信息 I(X。 物理意義： 對(duì)某一個(gè)確定信道，存在一種信源分布，使平均互信息最大。 （續(xù) 12） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 定理 2 對(duì)于給定信源 ， 平均互信息 I(X。 物理意義： 每一個(gè)信源都存在一種對(duì)應(yīng)的最差信道，此信道的干擾最大，輸出端獲得的信息量最小。 ???????4341XP???????????3231002121P( ) ( ) ( | ) ( 。 ) ( ) ( | ) X Y H X H X Y? ? ?1103( | )2013P X Y????????????2. 信道容量的概念 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 ? 信息傳輸率 R：信道中平均每個(gè)符號(hào)所傳送的信息量。所以 ( 。 ) /R I X Y? ( 比 特 符 號(hào) )1 ( 。因此，必然存在一種信源概率分布使信息傳輸率 最大。 )R I X Y?? ?()m a x ( 。 )R I X Y?相應(yīng)的輸入概率分布被稱(chēng)為 最佳輸入分布 。(ijiiijijijijijijijixypxpxypxypxpypxypxypxpYXI?????? 信道容量： ?與信源的概率分布無(wú)關(guān)； ?是完全描述信道特性的參量 ； ?是信道能夠傳輸?shù)淖畲笮畔⒘俊?) /t PXC I X Yt? 比 特 秒2. 信道容量的概念（續(xù) 2） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 第四章：離散信道及其容量 例 4 以二元對(duì)稱(chēng)信道。 1) ( 。 )I X Y? ?? ?|Y X Y Xppppp p p p??? ? ? ????? ??????? ? ?P P P( | ) ( ) ( )()H Y X H p H pHp?????( ) ( )H p p H p??? ? ?1p0 二元對(duì)稱(chēng)信道的信道容量C)(1 pHC ?? 比特 /符號(hào) 2. 信道容量的概念（續(xù) 5） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 0 .9 0 .10 .1 0 .9??????0 .1 0 .90 .9 0 .1??????3. 幾種特殊信道的信道容量 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 1. 無(wú)損信道 ： 有噪無(wú)損信道，一個(gè)輸入對(duì)應(yīng)多個(gè)輸出。 ) m a x ( ) l o gp x p xC I X Y H X r? ? ?( 。（具有歸并性能） ?????????????????1010100101P3. 幾種特殊信道的信道容量（續(xù) 2） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 ( ) ( )m a x ( 。 ) ( ) ( | ) ( )I X Y H Y H Y X H Y? ? ?( | ) 0H Y X ???3. 幾種特殊信道的信道容量（續(xù) 3） 第四章：信道及信道容量 二、 離散單符號(hào)信道及其信道容量 3. 無(wú)噪無(wú)損信道 ：輸入、輸出之間有確定的一一對(duì)應(yīng)關(guān)系。 ) m a x ( ) l o gp x p xC I X Y H X r? ? ?( 。 ?????????????3161316161613131P( | ) ( ) ( | )( ) ( | ) l og ( | )( | ) l og ( | ) ( | )iiii j i j iijj i j i ijH Y X p x H Y xp x p y x p y xp y x p y x H Y x????? ? ?????12( | )1 1 1 1 1 1 1 1( ) ( , , , ) ( ) ( , , , )3 3 6 6 6 3 6 3111