【正文】 N} 輸出信號(hào)序列 {Y1Y2…Y N} 高斯噪聲 {n1n2…n N} X1 Y1=X1 +n1 n1 XN YN=XN +nN nN 上式同樣也是 N個(gè)獨(dú)立、并聯(lián)組合高斯加性信道的信道容量。這是多維無記憶高斯加性信道，其信道容量為： 211 l o g 12Lii iPC???????????0 = lo g (1 )sPWT NW? 這是重要的 香農(nóng)公式 。因?yàn)樵趯?shí)際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計(jì)算的值要小。( YXIC ?相對(duì)信道剩余度 = C YXIC )。 注： 信道容量 C和輸入信號(hào)的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。編碼技術(shù)研究人員在該理論指導(dǎo)下致力于研究實(shí)際信道中各種易于實(shí)現(xiàn)的具體編碼方法。即在保證信息傳輸率低于 (直至無限接近 )信道容量的前提下，錯(cuò)誤概率趨于 “ 0”的編碼是存在的。 ? 對(duì)于無損信道，可以通過信源編碼減少信源的剩余度，使信息傳輸率達(dá)到信道容量。當(dāng)達(dá)到信道容量時(shí)，我們稱 信源與信道達(dá)到匹配 ，否則認(rèn)為信道有剩余。若信噪功率比為 20dB(即 Ps/(NoW)=100)，代入香農(nóng)公式計(jì)算可得 電話信通的信道容量 為 22022比特／秒。 ? ? 若提高信號(hào)的總平均功率，可使有些信道相應(yīng)的輸入信號(hào)也分配到一些能量。()。 ) m a x ( 。()([m a x2121)(sy mb o lb i tpppHspppHYHCssxP??????YX xypxypxpXYH )|( 1l o g)|()()|( ＝)/()( xXYHxpX??＝???Y xypxypxXYH )|( 1l o g)|()|()]39。 ...11...11: : :...11ppprrpppP rrppprr????????????? ??????????? ? ? ?1pp?? 這一項(xiàng)是固定 X＝ x 時(shí)對(duì) Y求和，即對(duì)信道矩陣的行求和。Y)=H(X)H(Y) ?????????????????1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項(xiàng)后驗(yàn)概率為??????baPbaPbaPbaPbaPbaPs y m b o lb i trXHC xP /l o g)(m a x)( ??無噪有損信道 滿足： I(X。({m a x)( YXIC XP? （比特 /符號(hào)） tCCt?(Bit/s) Ct仍稱為 信道容量 若平均傳輸一個(gè)符號(hào)需要 t 秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛?Ct： 即： [例 4] 信道容量的計(jì)算 )(1)。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。()。 ? 平均互信息 I(X。X)=H(X)=H(Y) （ 4）凸?fàn)钚? 所以， 平均互信息 I(X。 （ 2）極值性 即 I(X。同樣，也不能從 X中獲得任何關(guān)于 Y的信息量。每個(gè)圓減去I(X。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類熵的關(guān)系 )(1l o g)()(。Y)是 I (x 。 ?它代表接收到符號(hào)集 Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l og)(1l og)/()()。 [BEC， Binary Eliminated Channel] 解： X:{0， 1} Y:{0， 1， 2} 此時(shí)， r ＝ 2， s ＝ 3， 傳遞矩陣為： ? 一般離散單符號(hào)信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號(hào)信道的另一種數(shù)學(xué)模型 的形式。 ? 一般 簡單的單符號(hào)離散信道 可以用 [X, P(y/x) ,Y] 三者加以描述。 ? 如果任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱為無記憶信道。 ? 研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信道容量。 在這一類信道中某一瞬間的輸出符號(hào) 不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)， 這樣的信道稱為有記憶信道。 Y:{0,1} 。 ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211 b1 b2 … bs a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … … ar P(b1|ar) P(b2|ar) … P(bs|ar) 信道疑義度與平均互信息 本節(jié)進(jìn)一步研究離散單符號(hào)信道的數(shù)學(xué)模型下的信息傳輸問題。 yj) = 0； 二、平均互信息 )()|(l o g)()。 y) 代表收到某消息 y后獲得關(guān)于某事件 x的信息量。 若 I(X。Y) H(Y|X) = H(Y) I(X。 ? H(X|Y) = H(Y|X) = 0 [損失熵和噪聲熵都為“ 0” ] ? 由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息 : I(X。 ??????YyXxyPxyp )()|(??????YyXxxPyxp )()|(二種極限信道各類熵與平均互信息之間的關(guān)系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X。Y) = I(Y。 ) ( 。 ? 對(duì)每一種信源都存在一種最差的信道，此時(shí)干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 若信源是無記憶的，則等式成立。 ? 所以： R = I(X。Y) ( ) ( )H p p H p??? ? ?時(shí)， I(X。 具有這種對(duì)稱信道矩陣的信道稱為 對(duì)稱離散信道 。, . . . ,39。()/( 21 spppHxXYH ?? 在這個(gè)信道中，每個(gè)符號(hào)平均能夠傳輸?shù)淖畲笮畔椤? 因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達(dá)式。 此時(shí)分兩種情況： (1) 若 各單元時(shí)刻 (i＝ 1,…,N) 上的噪聲都是均值為零、方差為 Pn的高斯噪聲，得： (2) 若各單元時(shí)刻 (i＝ 1,…,N) 上的噪聲是均值為零，方差為不同 Pni的高斯噪聲，但輸入信號(hào)的總平均功率受限，其約束為： 則： 單位： (比特／ N個(gè)自由度 ) ???????? ??nsPPNC 1lo g2? ???????????? ??? Ni niniPPC11lo g21 ? ??? ???? 0 0 0 )( xxxx? ??? nisi PP ?PPXE NisiNii ???????? ???? 112??? nisi PP (常數(shù) ), i=1,2…,N 這結(jié)論說明， N個(gè)獨(dú)立并聯(lián)的組合高斯加性信道，當(dāng)各分信道 (或各時(shí)刻 )的噪聲平均功率不相等時(shí)，為達(dá)到最大的信息傳輸率，要對(duì)輸入信號(hào)的總能量適當(dāng)?shù)剡M(jìn)行分配。當(dāng)信道輸入信號(hào)是平均功率受限的高斯白噪聲信號(hào)時(shí)，信息傳輸率才達(dá)到此信道容量。 說明： 實(shí)際信道通常是非高斯波形信道。(?表示信道的實(shí)際傳信率和信道容量之差。 例如，某離散無記憶信源 通過一個(gè)無噪無損二元離散信道進(jìn)行傳輸。二十世紀(jì)六十年代以來，這方面的研究非?；钴S，出現(xiàn)了代數(shù)編碼、循環(huán)碼、卷積碼、級(jí)聯(lián)碼、格型碼等等，為提高信息傳輸?shù)目煽啃宰鞒隽酥匾呢暙I(xiàn)。 eP??eP L??