第三章信道及其容量(編輯修改稿)
2025-08-28 12:49 本頁面
【文章內(nèi)容簡(jiǎn)介】 率空間來描述。 設(shè)離散無記憶信道的 輸入符號(hào)集 A＝ {a1， … ， ar}， 輸出符號(hào)集 B＝ {b1 ， … ， bs}，信道矩陣為 : ????sjijij pp110)|()...|...()|(12121 ijNiNN xyPxxxyyyPxyP ?????????????????rsrrsspppppppppP...:...::......212222111211則此無記憶信道的 N次擴(kuò)展信道 的數(shù)學(xué)模型如圖所示 : 而 信道矩陣 ： 其中： 1 1 1 1 1 1 1 11 1 2 2 2 1 1 2( . . . ) ( . . . )( . . . ) ( . . . )( | ): ( . . . ) ( . . . )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h h N k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k iip b a k i r h i s?? ? ?? [例 3] 求二元無記憶對(duì)稱 信 道 （ BSC） 的二次擴(kuò)展信道。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴(kuò)展信道的輸入符號(hào)集為 A＝ {00， 01， 10， 11}， 共有22＝ 4個(gè)符號(hào) ， 輸出符號(hào)集為 B＝ {00， 01， 10， 11}。 由于是 無記憶信道 ，可 求得 二次擴(kuò)展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )P P P P pP P P P p pP P P P p pP P P P p????????? ? ?? ? ?? ? ?? ? ? 根據(jù)平均互信息的定義，可得 無記憶信道的 N次擴(kuò)展信道的平均互信息 ： )。()。( NN YXIYXI ?)/()( NNN YXHXH ??)/()( NNN XYHYH ??若信道的輸入隨機(jī)序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…Y N)。 假若信道是無記憶的 ，即信道傳遞概率滿足： 則有： 式中 Xi Yi是對(duì)應(yīng)第 i 位的隨機(jī)變量。 若信源是無記憶的，則等式成立。 ???Niii xyPP1)/()/( xy???Niii YXIYXI1)。()。( 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少 若信道的輸入隨機(jī)序列為 X= (X1X2…X N)，通過信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…Y N)。 假若信源是無記憶的 ，則有： ),(),(1iiNiYXII ???YX),(),(),(1YXNIYXII iiNi?? ??YX其中 Xi和 Yi是隨機(jī)序列 X和 Y中的第 i 位隨機(jī)變量。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。 若 信道和信源都是無記憶的 ，則： ? 研究信道的 目的 是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量 信息傳輸率 R ? 平均互信息 I(X。Y)就是接收到符號(hào) Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量。 ? 所以： R = I(X。Y) = H(X) – H(X|Y) (比特 /符號(hào) ) 離散信道的信道容量 ? 信道中每秒平均傳輸?shù)男畔⒘?信息 傳輸速率 Rt Rt ＝ R/t = I(X。Y)/t = H(X)/t – H(X|Y)/t （比特 /秒） 一、 信道容量的定義 由于平均互信息 I(X。Y)是輸入隨機(jī)變量的 ∩型凸函數(shù) ，所以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。 即存在一個(gè)最大的信息傳輸率 定義為 信道容量 C )}。({ma x)( YXIC XP? （比特 /符號(hào)） tCCt?(Bit/s) Ct仍稱為 信道容量 若平均傳輸一個(gè)符號(hào)需要 t 秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 4] 信道容量的計(jì)算 )(1)。(m a x pHYXI ??因此，二元對(duì)稱信道的信道容量為： m a x ( 。 ) m a x [ ( ) ( ) ]1 ( )C I X Y H p p H pHp??? ? ? ???二元對(duì)稱信道， I(X。Y) ( ) ( )H p p H p??? ? ?時(shí)， I(X。Y)最大。 當(dāng) 12????(比特／符號(hào) ) 離散無噪信道 二、簡(jiǎn)單離散信道的信道容量 例如： 其信道矩陣是單位矩陣： 滿足： I(X。Y)=H(X)=H(Y) ??????????100010001)3,2,1,(10)/()/( ???????? jijijibaPabPjiij)/(l ogl og)(m a x)(m a x )()( s y m bolbi tsrYHXHC yPxP ????有噪無損信道： 接收到符號(hào) Y后，對(duì)X符號(hào)是完全確定的。 損失熵 H(X/Y)=0， 但噪聲熵 H(Y/X)≠0 其信道矩陣： 所以 ： I(X。Y)=H(X)H(Y) ?????????????????1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項(xiàng)后驗(yàn)概率為??????baPbaPbaPbaPbaPbaPs y m b olbi trXHC xP /l og)(m a x)( ??無噪有損信道 滿足： I(X。Y)=H(Y)H(X) 信道的疑義度 （損失熵） H(X/Y) ≠0 而噪聲熵 H(Y/X)=0。 即接收到符號(hào) Y后不能完全消除對(duì) X的不確定性 ()m a x ( ) l o g ( / )PyC H Y s b i t s y m b o l?? 所謂對(duì)稱信道，是指 信道矩陣 P中每一行都是由同一集合{p1’， p2’， … ， ps’}中的諸元素不同排列組成，且每一列也都是由 {q1’， q2’， … ， qr’} 中的諸元素不同排列組成 。
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1