【正文】 (max)(YXICixP＝91 DMC信道的容量 ? 對(duì)稱 DMC信道的容量：當(dāng)信道輸入符號(hào)等概分布時(shí)，可達(dá)到其信道容量 ? BSC信道的容量： m＝ 2 ? 準(zhǔn)對(duì)稱信道的容量 1l o g ( | ) l o g l o gmi i j i jjC m H Y x m p p?? ? ? ? ?92 帶限波形信道的容量 ? 條件： ? 信道帶寬 W受限 ? 噪聲為加性高斯白噪聲（均值為零，功率譜密度為 N0） ? 輸入信號(hào)平均功率受限 PS ? 若輸入信號(hào)是平均功率受限的高斯白噪聲信號(hào)，可達(dá)信道容量 ? 香農(nóng)公式： ? 香農(nóng)限： － 0l o g ( 1 ) l o g ( 1 )PC W W S N RWN? ? ? ?信息論與編碼 信道與信道容量 ? 作業(yè) 31， 33， 36， 37， 310， 312 。 信道剩余度 89 第 3章復(fù)習(xí) ? 信道參數(shù)：用轉(zhuǎn)移概率表示信道 ? 信道模型 ? 二進(jìn)制離散信道 BSC ? 離散無(wú)記憶信道 DMC ? 波形信道 90 信道容量 ? 信道上每傳送一個(gè)符號(hào) (每使用一次信道 )所能攜帶的比特?cái)?shù)，即比特 /信道符號(hào)(bits/symbol或 bits/channel use)。 ? 一般來(lái)說(shuō)，實(shí)際信源的概率分布未必就是信道的最佳輸入分布，所以 I(X。Y) ?信道相對(duì)剩余度 = ( 。 ? 符號(hào)匹配 ：信源輸出的符號(hào)必須是信道能夠傳送的符號(hào)； ? 信息匹配 ：當(dāng)信源與信道連接時(shí)，信息傳輸率達(dá)到信道容量，則稱信源與信道達(dá)到匹配。展寬的比例越大，抗干擾性就越強(qiáng)。 dBWCNE WCWCb /12l i m/0/0??????dBNE b ??0/ ?WC84 信息論與編碼 信道與信道容量 Ct/W (bit/s/Hz) 不可實(shí)現(xiàn)區(qū)域 1 可實(shí)現(xiàn)區(qū)域 0 SNR(dB) 信息論與編碼 信道與信道容量 （ iV）信噪比和帶寬的互換原則 從香農(nóng)公式可以看出，對(duì)于給定的信道容量 C，信道的帶寬 W和信噪比 S/N存在著互換關(guān)系，即若減小帶寬必須發(fā)送較大的信號(hào)功率，若有較大的傳輸帶寬，則在同樣信道容量的情況下，能夠用較小的信號(hào)功率來(lái)傳送，這表明寬帶系統(tǒng)具有較好的抗干擾性。 Hzsbi tWNCEWC b //)1l og (0??WCNE WCb/12 /0??0/ NE b信息論與編碼 信道與信道容量 由此可知： （ i） C/W=1時(shí) （每赫茲帶寬傳一比特）， 即此時(shí)要求信噪比為 0dB. （ ii） 時(shí)， 也就是說(shuō)，此時(shí)對(duì) 的要求是指數(shù)增加的。(1l i mm a x)( ?????????YXx76 連續(xù)信道及其容量 ? 限時(shí)限頻限功率加性高斯白噪聲信道 限時(shí)： tB,限頻 |f|=W，高斯噪聲過(guò)程可分解為 L維統(tǒng)計(jì)獨(dú)立的隨機(jī)序列，在 [0， tB]內(nèi)， L=WtB 多維無(wú)記憶加性高斯信道： 式中， 是每個(gè)噪聲分量的功率， 是每個(gè)信號(hào)樣本值的平均功率，設(shè)信號(hào)的平均功率受限于 Ps, 則 211 l o g ( 1 )2L ll lPC?????2 02lnNP? ??lP/ / 2 / 2l s B s B B sP P t L P t W t P W? ? ?77 連續(xù)信道及其容量 ? 限時(shí)限頻限功率加性高斯白噪聲信道 000l o g ( 1 / ) l o g ( 1 ) l o g ( 1 )2 2 2 2S S SBP N P PLLC W tW N W N W? ? ? ? ? ?信道的容量 0l im l o g ( 1 ) /BSt tBPCC W b it st N W??? ? ?單位時(shí)間的信道容量 香農(nóng)公式 Ct ＝ W log(1+SNR) 比特 /秒 輸入信號(hào) {x(t)}滿足均值為零、平均功率 Ps的高斯白噪聲的特性 信息論與編碼 信道與信道容量 另一種算法：如果信號(hào) 是平均功率受限的，即 于是有 則 )(tx222 00111 [ ( ) ] [ ( ) ]NTsiNP E x t d t E x tT T T??? ? ???20 2ssT P PNW? ??0l o g ( 1 ) l o g ( 1 ) /sPC W W S N R b it sWN? ? ? ?信息論與編碼 信道與信道容量 這就是著名的香農(nóng)公式，在通信原理里面經(jīng)常要用到，它是帶限 AWGN波形信道在平均功率受限條件下信道容量的基本公式。 ( ) ] l im ( 。 12[ , , , ]LLx x x?X12[ , , , ]LLy y y?Y}{ in iii nxy ??ix信息論與編碼 信道與信道容量 ? 如果這些隨機(jī)變量統(tǒng)計(jì)無(wú)關(guān)，則 ? 信道容量 1( / )( 。設(shè)帶寬為 W，則在 tB時(shí)間間隔內(nèi)，根據(jù)抽樣定理，應(yīng)該抽樣至少 2WtB個(gè)點(diǎn)，分別記為輸入 和輸出 以及噪聲 ，并且有 。 各個(gè)時(shí)刻的信道輸出功率（信號(hào)功率 +噪聲功率）是相等的 當(dāng)噪聲功率大時(shí)，減小信號(hào)功率，甚至使信號(hào)功率為零；當(dāng)噪聲功率小時(shí)，增大信號(hào)功率； 例 310 ??????Ll lLiiLPC1212l o g21??信息論與編碼 信道與信道容量 ?限時(shí)限頻限功率的加性高斯白噪聲信道 ? 波形信道除了輸入輸出信號(hào)的取值是連續(xù)的，而且還隨時(shí)間連續(xù)變化。(m a x?YXx比特 /L維自由度 因此當(dāng)且僅當(dāng)輸入隨機(jī)矢量 X中各分量統(tǒng)計(jì)獨(dú)立，且是均值為零、方差為 Pl的高斯變量時(shí)，才能達(dá)到此信道容量 71 連續(xù)信道及其容量 ?均值為零、方差相同 )1l og (2 2?SLC ???均值為零、方差不同，總平均功率受限 ：在總輸入功率不變的情況下， 合理分配 輸入功率，使得信道容量最大。()。 )1l og (21l og212l og212l og21 222 ????? SPeePC ?????信息論與編碼 信道與信道容量 )(2l og21)1l og (21 2 nHePCS c???? ??? 對(duì)于均值為零、平均功率為 σ 2的非高斯噪聲，其信道容量為 ? 上式說(shuō)明在同樣平均功率受限的情況下，非高斯噪聲信道的容量要大于高斯噪聲信道的容量 ? 因此，在實(shí)際處理問(wèn)題時(shí)，通常采用計(jì)算高斯噪聲信道的容量的方法保守地估計(jì)容量，且高斯噪聲信道的容量容易計(jì)算。 ? 由于信道輸入 X與噪聲統(tǒng)計(jì)獨(dú)立，且 y=x+n，所以，其功率可以相加，即 P=S+σ 2， S為信道輸入 X的平均值。 2)()()()(2l o g21)(m a x)()(m a x)]|()([m a x)。 ? 只考慮加性噪聲 信息論與編碼 信道與信道容量 ? 連續(xù)單符號(hào)加性信道 ? 由于 I(X。 ? 互信息的最大值就是信道容量。如果對(duì)離散單符號(hào)信道進(jìn)行 L次擴(kuò)展，就形成了 L次離散無(wú)記憶序列信道。(m a xxxxYX1LCC L ?1)。(m a x)。()。()。( LLLLLL XYHYHYXHXHI ????YX?? ?? )( )(l og)()( )(l og),( YY / XYX,XX / YYX pppppp信息論與編碼 信道與信道容量 可以證明，該互信息有兩個(gè)性質(zhì)： ? 如果信道無(wú)記憶，則 ? 如果輸入矢量 X中的各個(gè)分量相互獨(dú)立，則 ? 如果信道無(wú)記憶，輸入矢量 X中的各個(gè)分量相互獨(dú)立，則上式取等號(hào)。1( ?? YxI i信息論與編碼 信道與信道容量 ? 它們滿足定理中的充要條件，因此，這就是我們要尋找的最佳輸入分布，該信道的信道容量為 C=log2=1 ? 對(duì)于一般的 DMC信道，很難用上述定理來(lái)求其信道容量和對(duì)應(yīng)的最佳輸入概率分布，此時(shí)只能用求極大值的