【正文】 ?????? ?? nnnnnnnni ni PPPPPPPPPC?????????(比特／ 10個(gè)自由度 ) 信道容量： ? ?111 3 0 .1 0 .2 ... 1 .0 0 .8 51 0 1 0LniiPP????? ? ? ? ? ? ? ????? ?13 ( )L iiPW???比較得最后兩個(gè)信道應(yīng)排除，令： P9 =0 ， P10 =0 ? ? .. . ???????三、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為 W，在這種波形信道中，信號(hào)滿足限頻、限時(shí)、限功率的條件，可通過(guò)取樣將輸入和輸出信號(hào)轉(zhuǎn)化為 L維的隨機(jī)序列： 12( , , . . . , )Lx x x x? 12( , , ..., )Ly y y y?和 y x n??而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有： 2L WT?按照采樣定理，在 [0,T]范圍內(nèi)要求： 這種信道叫高斯白噪聲加性信道，是一種假設(shè)的波形信道。 i niPP???這一結(jié)論可以形象地解釋為容器中水流動(dòng)的情況。 ?非高斯噪聲信道的信道容量要大于高斯噪聲信道的信道容量，所以在實(shí)際中，我們常常采用計(jì)算高斯噪聲信道容量的方法來(lái)保守地 估計(jì)信道容量 ，這樣做同時(shí)還可以帶來(lái)信道容量的計(jì)算比較容易的好處。 因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達(dá)式。()/( 21 spppHxXYH ??? 當(dāng) p(x)等概分布時(shí)，達(dá)到 信道容量 ． 在這個(gè)信道中，每個(gè)符號(hào)平均能夠傳輸?shù)淖畲笮畔椤? 39。 三、對(duì)稱離散信道的信道容量 例如： ????????????????????????????2161313121616131213131616161613131PP 和都是對(duì)稱離散信道 都不是對(duì)稱離散信道 ??????????????????3161316161613131PP 和若輸入 /輸出符號(hào)個(gè)數(shù)相同，都等于 r，且信道矩陣為： 則此信道稱為 強(qiáng)對(duì)稱信道或均勻信道 。Y)=H(Y)H(X) 信道的疑義度 （損失熵） H(X/Y) ≠0 而噪聲熵 H(Y/X)=0。Y) ( ) ( )H p p H p??? ? ?時(shí)， I(X。Y)就是接收到符號(hào) Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量。 假若信道是無(wú)記憶的 ，即信道傳遞概率滿足： 則有： 式中 Xi Yi是對(duì)應(yīng)第 i 位的隨機(jī)變量。 ? 該 結(jié)論 說(shuō)明，當(dāng) 信源固定 后，選擇不同的信道來(lái)傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。Y)＝ H(?p + ?p) H (p) 若信源固定， I (X。 ??????YXXYXxypxpxypxypxpypxypxypXYIYXI,)|()()|(l o g)|()()()|(l o g)()。X)=H(X)=H(Y) ( / )( 。Y) = H(X) 當(dāng) H(X/Y)=0 時(shí)，即信道中傳輸信息無(wú)損時(shí)，等式成立。 ( | ) ( ) xXp y x p y yY??? ? ?? ( | ) ( ) xXp x y p xyY??? ???二種極限信道各類熵與平均互信息之間的關(guān)系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X。 ? H(X|Y) = H(Y|X) = 0 [損失熵和噪聲熵都為“ 0” ] ? 由于噪聲熵 /損失熵等于零，因此，輸出端接收的信息就等于平均互信息 : I(X。Y) H(Y|X) = H(Y) I(X。 ? I(X。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類熵的關(guān)系 )(1l o g)()(。 y)的統(tǒng)計(jì)平均 ，所以 I(X。(ijiji xpyxpyxI ?關(guān)于平均互信息 I(X。()()。 如果是一一對(duì)應(yīng)信道，那么接收到符號(hào) Y后，對(duì) X的不確性完全消除，則信道疑義度 H(X/Y)＝ 0。 信道疑義度與平均互信息 本節(jié)進(jìn)一步研究離散單符號(hào)信道的數(shù)學(xué)模型下的信息傳輸問(wèn)題。 ????????qqpp1001 0 2 1 0 1 ? 如果信道干擾不是很嚴(yán)重的話，則“ 1→0” 和“ 0→1” 的可能性比“ 0→2” 和“ 1→2” 的可能性小得多，所以假設(shè)： p(y=1/x=0)＝ p(y=0/x=1)＝ 0是合理的。 [例 1] 二元對(duì)稱信道， [BSC， Binary Symmetrical Channel] 解： 此時(shí)， X:{0,1} 。 三、單符號(hào)離散信道 ?單符號(hào)離散信道： ?輸入符號(hào)為 X，取值于 {a1,a2, …, ar}。 ? 如果任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱為無(wú)記憶信道。第三章 信道及其容量 ? 信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息。即： y ＝ f (x) 1 ( )( | )0 ( )y f xp y xy f x???? ??(2)有干擾無(wú)記憶信道 ? 信道輸入和輸出之間的條件概率是一般的概率分布。 此時(shí)，信道的統(tǒng)計(jì)特性可用在已知時(shí)刻的輸入符號(hào)和前時(shí)刻信道所處的 狀態(tài) 的條件下，信道的輸出符號(hào)和所處的 狀態(tài) 的聯(lián)合條件概率來(lái)描述，即用 p(ynSn/xnSn1) 來(lái)描述。 ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211 b1 b2 … bs a1 p(b1|a1) p(b2|a1) … p(bs|a1) a2 p(b1|a2) p(b2|a2) … p(bs|a2) … …. … … ar p(b1|ar) p(b2|ar) … p(bs|ar) 在這里直觀表示矩陣 P中每行之和應(yīng)等于 “ l” 表明：在信道輸入為 ai時(shí)，在輸出端接收到的一定是符號(hào) b1， b2 ， … ， bs中一個(gè)。 [BEC， Binary Eliminated Channel] 解： X:{0,1} Y:{0,1,2} 此時(shí)， r ＝ 2， s ＝ 3， 傳遞矩陣為： ? 設(shè)有一個(gè)信道，其輸入為正、負(fù)方波信號(hào)，那么，信道輸出送入譯碼器的將是受干擾后的方波信號(hào) R(t)，如圖 (b)。1( / ) 1 ( 1 , 2 , . . . , )rijip a b j s????表明：在信道輸出端接收到任一符號(hào) bj，一定是輸入符號(hào) a1， a2 ， … ， ar中的某一個(gè)送入到信道。 這個(gè)不確定性是由于干擾 (噪聲 )引起的。 yj) = 0； 二、平均互信息 )()|(l o g)()。 )()|(lo g)。Y)是 I (x 。Y) = H(Y) H(Y|X) I(X。Y)，等于接收到輸出 Y的前、后關(guān)于 X的平均不確定性的消除 。 平均互信息與各類熵之間關(guān)系的集合圖 （ 維拉圖 ） 表示： H(X|Y) = H(X) I(X。 信道疑義度（損失熵） 噪聲熵 (或散布度 ) ? 兩種特殊信道 （ 1）、離散無(wú)干擾信道 (無(wú)噪無(wú)損信道 ) ? 信道的輸入和輸出一一對(duì)應(yīng)，信息無(wú)損失地傳輸， 無(wú)噪無(wú)損信道 。Y)等于零，表明了 信道兩端隨機(jī)變量的統(tǒng)計(jì)約束程度等于零 。 ) 0I X Y?? （ 2）極值性 即 I(X。Y)=I(Y。Y)是信道傳遞的概率 p(y/x)的 ∪ 型凸函數(shù)。 ( )H p p???p)p(1lo gp)p( ???? ??? 本例中 I(X。Y)是信道傳遞的概率 p(y/x)的 ∪ 型凸函數(shù)。 )NNI X Y I X Y?)/()( NNN YXHXH ??)/()( NNN XYHYH ???若信道的輸入隨機(jī)序列為 X= (X1X2… XN)，通過(guò)信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…YN)。 若 信道和信源都是無(wú)記憶的 ，則： ? 研究信道的 目的 是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量 信息傳輸率 R ? 平均互信息 I(X。 ) m a x [ ( ) ( ) ]1 ( )C I X Y H p p H pHp??? ? ? ???二元對(duì)稱信道， I(X。 滿足： I(X。 一般 s≠r。) ] m a x [ ( ) ] ( 39。,39。Y） ? NC 連續(xù)信道的信道容量 在連續(xù)信源的情況下，如果取兩個(gè)相對(duì)熵之差，則連續(xù)信源具有與離散信源一致的信息特征； 而互信息就是兩個(gè)熵的差值，與離散信道類似，可定義互信息的最大值為信道容量。 ?如果在通信系統(tǒng)中噪聲不是高斯型的，但為加性的，則可以根據(jù)式 ()求出信道容量的上下限；如為乘性噪聲，則很難進(jìn)行定量分析。 這與實(shí)際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。 ? ? 若提高信號(hào)的總平均功率，可使有些信道相應(yīng)的輸入信號(hào)也分配到一些能量。此時(shí)的信道容量 )dB( 9 0b ???????? WCWCNEWWCWNCEWNP b 00??第 3章 信道容量和編碼 Enjoy Science 它說(shuō)明，即使在信號(hào)功率小于噪聲功率的情況下，只要有足夠的帶寬，信道容量就不會(huì)為零。 說(shuō)明：實(shí)際信道通常是非高斯波形信道。 信源與信道的匹配 ? 在一般情況下，當(dāng)信源與信道相連接時(shí)，其信息傳輸率并未達(dá)到最大。 在無(wú)損 信 道中， 信 道容量 C＝ logr (r是信道輸入符號(hào)數(shù) )。 ? ? 1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC1:C對(duì)于碼 1 () 0 . 6 4 63HXR ?? (比特／信道符號(hào) ) 2() 0 .4 8 44HXR ??2:C對(duì)于碼 (比特／信道符號(hào) ) 信道編碼定理 定理 有噪信道編碼定理 (香農(nóng)第二定理 )： 若有一離散無(wú)記憶平穩(wěn)信道，其容量為 C，輸入序列長(zhǎng)度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當(dāng) L足夠長(zhǎng)時(shí)，譯碼錯(cuò)誤概率 ， ?為任意大于零的正數(shù)。