【文章內容簡介】 iip b a k i r h i s?? ? ?? [例 3] 求二元無記憶對稱 信 道 （ BSC） 的二次擴展信道。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴展信道的輸入符號集為 A＝ {00， 01， 10， 11}， 共有22＝ 4個符號 ， 輸出符號集為 B＝ {00， 01， 10， 11}。 由于是 無記憶信道 ，可 求得 二次擴展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )P P P P pP P P P p pP P P P p pP P P P p????????? ? ?? ? ?? ? ?? ? ? 根據(jù)平均互信息的定義，可得 無記憶信道的 N次擴展信道的平均互信息 ： )。()。( NN YXIYXI ?)/()( NNN YXHXH ??)/()( NNN XYHYH ??若信道的輸入隨機序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機序列為 Y＝ (Y1Y2…Y N)。 假若信道是無記憶的 ，即信道傳遞概率滿足： 則有： 式中 Xi Yi是對應第 i 位的隨機變量。 若信源是無記憶的，則等式成立。 ???Niii xyPP1)/()/( xy???Niii YXIYXI1)。()。( 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔ⅲ沟煤竺鎮(zhèn)魉偷姆柕幕バ畔p少 若信道的輸入隨機序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機序列為 Y＝ (Y1Y2…Y N)。 假若信源是無記憶的 ，則有： ),(),(1iiNiYXII ???YX),(),(),(1YXNIYXII iiNi?? ??YX其中 Xi和 Yi是隨機序列 X和 Y中的第 i 位隨機變量。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔?，使得前面?zhèn)魉偷姆柕幕バ畔⒃黾印? 若 信道和信源都是無記憶的 ，則： ? 研究信道的 目的 是要討論信道中平均每個符號所能傳送的信息量 信息傳輸率 R ? 平均互信息 I(X。Y)就是接收到符號 Y后平均每個符號獲得的關于 X的信息量。 ? 所以： R = I(X。Y) = H(X) – H(X|Y) (比特 /符號 ) 離散信道的信道容量 ? 信道中每秒平均傳輸?shù)男畔⒘?信息 傳輸速率 Rt Rt ＝ R/t = I(X。Y)/t = H(X)/t – H(X|Y)/t （比特 /秒） 一、 信道容量的定義 由于平均互信息 I(X。Y)是輸入隨機變量的 ∩型凸函數(shù) ，所以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲得的信息量最大。 即存在一個最大的信息傳輸率 定義為 信道容量 C )}。({m a x)( YXIC XP? （比特 /符號） tCCt?(Bit/s) Ct仍稱為 信道容量 若平均傳輸一個符號需要 t 秒鐘，則信道在單位時間內平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 4] 信道容量的計算 )(1)。(m a x pHYXI ??因此，二元對稱信道的信道容量為： m a x ( 。 ) m a x [ ( ) ( ) ]1 ( )C I X Y H p p H pHp??? ? ? ???二元對稱信道， I(X。Y) ( ) ( )H p p H p??? ? ?時， I(X。Y)最大。 當 12????(比特／符號 ) 離散無噪信道 二、簡單離散信道的信道容量 例如： 其信道矩陣是單位矩陣： 滿足： I(X。Y)=H(X)=H(Y) ??????????100010001)3,2,1,(10)/()/( ???????? jijijibaPabPjiij)/(l o gl o g)(m a x)(m a x )()( s y m b o lb i tsrYHXHC yPxP ????有噪無損信道： 接收到符號 Y后，對X符號是完全確定的。 損失熵 H(X/Y)=0， 但噪聲熵 H(Y/X)≠0 其信道矩陣： 所以 ： I(X。Y)=H(X)H(Y) ?????????????????1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項后驗概率為??????baPbaPbaPbaPbaPbaPs y m b o lb i trXHC xP /l o g)(m a x)( ??無噪有損信道 滿足： I(X。Y)=H(Y)H(X) 信道的疑義度 （損失熵） H(X/Y) ≠0 而噪聲熵 H(Y/X)=0。 即接收到符號 Y后不能完全消除對 X的不確定性 ()m a x ( ) l o g ( / )PyC H Y s b i t s y m b o l?? 所謂對稱信道，是指 信道矩陣 P中每一行都是由同一集合{p1’， p2’， … ， ps’}中的諸元素不同排列組成，且每一列也都是由 {q1’， q2’， … ， qr’} 中的諸元素不同排列組成 。 具有這種對稱信道矩陣的信道稱為 對稱離散信道 。 一般 s≠r。 三、對稱離散信道的信道容量 例如： ????????????????????????????2161313121616131213131616161613131PP 和都是對稱離散信道 都不是對稱離散信道 ??????????????????3161316161613131PP 和若輸入 /輸出符號個數(shù)相同，都等于 r，且信道矩陣為： 則此信道稱為 強對稱信道或均勻信道 。 這類信道中總的錯誤概率為 p ，對稱地平均分配給 r1個輸出符號。 它是對稱離散信道的特例。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項是固定 X＝ x 時對 Y求和，即對信道矩陣的行求和。由于信道的對稱性，所以 H(Y/X= x )與 x 無關 ，為一常數(shù)，即 因此 對稱離散信道 的信道容量 ： 對稱離散信道的平均互信息為 ： I(X。Y)=H(Y)H(Y/X) )/()39。, . . . ,39。,39。(l o g)]39。, . . . ,39。,39。()([m a x2121)(sy mb o lb i tpppHspppHYHCssxP??????YX xypxypxpXYH )|( 1l o g)|()()|( ＝)/()( xXYHxpX??＝???Y xypxypxXYH )|( 1l o g)|()|()]39。, . .. ,39。,39。()/( 21 spppHxXYH ?? 在這個信道中，每個符號平均能夠傳輸?shù)淖畲笮畔椤? 只有當信道的輸入符號是等概率分布時才能達到這個最大值。 [例 5] 某對稱離散信道的信道矩陣如下，求其信道容量。 解： s=