【正文】 N N NNNNNn n m mi i i j i j ii i j jj i j ip a a a p b a p b ap b a p b a? ? ? ????????? ? ? ?網(wǎng)絡(luò) 工程系 Information Theory and Coding 1 1 1 1 1112 2 2 2 222222( ) ( ) l og ( )( ) ( ) l og ( ) ... ...( ) ( ) l og ( )???????????N N N N NNNnmi j i j iijnmi j i j iijnmi j i j iijp a p b a p b ap a p b a p b ap a p b a p b a1 1 2 21( / ) ( / ) . . . ( / )( / )KKNKKKH Y X H Y X H Y XH Y X?? ? ? ?? ?網(wǎng)絡(luò) 工程系 Information Theory and Coding ???NKKK YXIYXI1)。()。(??(a) ? ? ? ? ? ? ? N K K K N K K X Y H Y H Y X I 1 1 ) / ( ) ( ) 。 ( ? ? ? N K K N Y H Y Y Y H 1 2 1 ) ( ) .. ( ? ? ? ? N K K K N X Y H Y Y Y H 1 2 1 ) / ( ) .. ( ?? ? ? ? ? N K K K X Y H Y H Y X I 1 ) / ( ) ( ) 。 ( ? ? ? 網(wǎng)絡(luò) 工程系 Information Theory and Coding 　也是無記憶的要求等號成立相互獨(dú)立，NCCYXNIYXIXaYYYKK??N 2 121)。()。( ...XX )( ... ??網(wǎng)絡(luò) 工程系 Information Theory and Coding 65 2021/6/15 (積信道 ) 定義 信道的輸入事件為全體 (x, u)，共有 KN個(gè)輸入事件； 信道的輸出事件為全體 (y, v)，共有 JM個(gè)輸出事件； 轉(zhuǎn)移概率矩陣為 [p((y, v)|(x, u))](KN) (JM)， 其中 p((y, v)|(x, u))= p1(y|x)p2(v|u)。 則稱該信道為信道 1與信道 2的 積信道 。（又稱該信道為信道 1與信道 2的獨(dú)立并行信道） （在物理上，積信道是兩個(gè)信道的并行使用） 網(wǎng)絡(luò) 工程系 Information Theory and Coding 66 2021/6/15 積信道 積信道 的信道容量為 C=C1+C2， 最佳輸入分布為 {(x, u), q(x, u)}，其中 q(x, u)=q1(x)q2(u)。 網(wǎng)絡(luò) 工程系 Information Theory and Coding 和信道 定義 信道的輸入事件為全體 {x}∪ {u}，其中 {x}與{u}不相交；共有 K+N個(gè)輸入事件； 信道的輸出事件為全體 {y}∪ {v}，其中 {y}與 {v}不相交；共有 J+M個(gè)輸出事件； 信道的轉(zhuǎn)移概率矩陣為 ? ?? ?)()(21)|(00)|(MJNKMNJKuvpxyp???????????網(wǎng)絡(luò) 工程系 Information Theory and Coding 和信道 則稱該信道為信道 1與信道 2的 和信道 （或稱 并信道 ）。任一 單位 時(shí)間可隨機(jī)地選用一個(gè)信道，而不能同時(shí)選用兩個(gè)信道 。若選用信道 1的概率為P1，選用信道 2的概率為 P2，則 P1+ P2=1。 網(wǎng)絡(luò) 工程系 Information Theory and Coding 和信道容量 )22l o g ( 21 CCC ??和信道的信道容量為).(222,)。(222,21212211uquxqxCCCCCC??為：和信道的最佳輸入分布網(wǎng)絡(luò) 工程系 Information Theory and Coding 連續(xù)信道 })/({ YXYPX],[ baX ?39。R),( ????],[ 39。39。 baY ?R),( ????P(Y/X) 連續(xù)信道的數(shù)學(xué)模型 )。(m a x)(YXICxpC?網(wǎng)絡(luò) 工程系 Information Theory and Coding 加性連續(xù)信道 ?可加噪聲信道：設(shè)平穩(wěn)的（恒參的）時(shí)間離散的無記憶連續(xù)信道為：輸入隨機(jī)變量為 X；噪聲隨機(jī)變量為 N； X與 N相互獨(dú)立；輸出隨機(jī)變量為 Y=X+N。則稱該信道為 可加噪聲信道 。 N Y=X+N p(y/x)=p(n) X 網(wǎng)絡(luò) 工程系 Information Theory and Coding 利用坐標(biāo)變換原理 ,可證 p(y/x)=p(n) X, N相互獨(dú)立。 d x d yxypxypxpXYH yxc )/(l o g)/()()/( ????d x d nnpnpxpNx )(l o g)()(????)()(l o g)( NHdnnpnp cN ????)()( NHXYH cc ?網(wǎng)絡(luò) 工程系 Information Theory and Coding 假定 N是均值為 0，方差為 NP?2?的高斯變量 22l o g21)( ?? eNHc ?噪聲功率 2)()(2l o g21)}({m ax )()}({m ax?? eYHNHYHCcxpccxp????網(wǎng)絡(luò) 工程系 Information Theory and Coding yy P?2?xx P?2?輸入平均功率 輸出平均功率 對于高斯加性信道 NXY ??Nxy PPP ??網(wǎng)絡(luò) 工程系 Information Theory and Coding )2l o g (21)2l o g (21 )}()({m ax22)(???? eeNHYHCyccxp????)1l o g (21l o g21NxNxNPPPPP ????NxPP信噪功率比 網(wǎng)絡(luò) 工程系 Information Theory and Coding 香農(nóng)公式 1??NxPP ? eNPC xt 20l o g?)1l o g (Nxt PPWC ??(bit/s) 網(wǎng)絡(luò) 工程系 Information Theory and Coding 信道編碼定理 若一離散平穩(wěn)無記憶信道，其容量為C，輸入序列長度為 L，只要待傳送的信息率 RC,總能找到一種編碼。當(dāng) L足夠長時(shí)，譯碼差錯(cuò)概率 ??ep?為任意正數(shù)，反之，當(dāng) RC,任何編碼的 ep必大于 0， 當(dāng) 1?ep,??L網(wǎng)絡(luò) 工程系 Information Theory and Coding 總結(jié) 1 信道的數(shù)學(xué)模型 2 信道的分類 3 離散信道中強(qiáng)對稱、對稱、準(zhǔn)對稱和一般信道的信道容量計(jì)算 4 連續(xù)信道的信道容量計(jì)算 5 信道編碼定理