【正文】 1P1 1 1 22 3 2 4 2 536( / ) 1 ( / ) 1( / ) 1 ( / ) 1 ( / ) 1( / ) 1p a b p a bp a b p a b p a bp a b??? ? ?? 其 他 各 項 后 驗 概 率 為 零()m a x ( ) l o g ( / )PxC H X r b i t s y m b o l?? 如果信道的 前向概率 p(y/x)等于 0或 1，即輸出 y是 x的確定函數(shù)，但不是一一對應的，而是多一對應關系。 滿足： I(X。 即接收到符號 Y后不能完全消除對 X的不確定性 ()m a x ( ) l o g ( / )pxC H Y s b i t s y m b o l??無噪有損信道 在 維拉圖 上 ,有噪無損信道和無噪有損信道中平均互信息、損失熵、噪聲熵以及信源熵 之間的關系 。 m a x ( ) l o g ( / )pxC H X r b i t s y m b o l??()39。 m a x ( ) l o g ( / )pxC H Y s b i t s y m b o l??? 損失熵 H(X/Y) = 0 的信道稱為 無損信道 ，其信道容量為： ? 噪聲熵 H(Y/X) = 0 的信道稱為 無噪信道 ，其信道容量為： 所謂對稱信道，是指 信道矩陣 P中每一行都是由同一集合{p1， p2， … ， ps}中諸元素的不同排列組成，且每一列也都是由 {q1， q2， … ， qr} 中諸元素的不同排列組成 。 一般 s≠r。 這類信道中總的錯誤概率為 p ，對稱地平均分配給 r1個輸出符號。由于信道的對稱性，所以 H(Y/X= x )與 x 無關 ，為一常數(shù)，即 因此 對稱離散信道 的信道容量 ： 對稱離散信道的平均互信息為 ： I(X。, 39。) ] m a x [ ( ) ] ( 39。, . . . , 39。, 39。) ( / )ssP x P xsC H Y H p p p H Y H p p ps H p p p b it s y m b o l? ? ? ?????YX xypxypxpXYH )|( 1l o g)|()()|( ＝)/()( xXYHxpX??＝)]39。,39。 只有當信道的輸入符號是等概率分布時 才能達到這個最大值。 解： s=4, r=2 ???????????3131616161613131P1 1 1 1l o g ( , , , )3 3 6 6C s H??1 1 1 1l o g 4 ( , , , )3 3 6 6H??1 1 1 1 1 1 1 12 ( l o g l o g l o g l o g )3 3 3 3 6 6 6 6? ? ? ? ?0 . 0 8 1 7 ( / )b i t s y m b o l?四、離散無記憶 N次擴展信道的信道容量 一般離散無記憶信道的 N次擴展信道 1( , ) ( , )N iiiI I X Y?? ?XY即： CN = NC 所以，對于 一般的離散無記憶信道的 N次擴展信道 ，其 信道容量 是： ()()1()11m a x ( 。 ) m a x ( 。Y） ? NC 連續(xù)信道的信道容量 在連續(xù)信源的情況下，如果取兩個相對熵之差，則連續(xù)信源具有與離散信源一致的信息特征； 而互信息就是兩個熵的差值，與離散信道類似，可定義互信息的最大值為信道容量。 一、連續(xù)單符號加性高斯噪聲信道的信道容量 單符號連續(xù)信道的平均互信息為： 信息傳輸率為： (比特 /符號 ) 信道容量為： ( 。 )R I X Y?( ) ( )m a x ( 。所以： ( ) ( )m a x [ ( ) ( / ) ] m a x ( ) ( )p X p XC h Y h Y X h Y h n? ? ? ?? 設信道迭加的噪聲 n是均值為零，方差為 ? 2 的一維高斯噪聲，則噪聲信源的熵為： 22lo g)( ?? enh ?? 如果信道輸出信號 Y的平均功率限制在 P0以下，由第二章知，當 Y是均值為零的高斯變量時，其熵 h(Y)為最大。 ?如果在通信系統(tǒng)中噪聲不是高斯型的，但為加性的，則可以根據(jù)式 ()求出信道容量的上下限；如為乘性噪聲，則很難進行定量分析。 211l o g 1 l o g 2 ( )22S C e P h n??? ? ? ? ??????二、多維無記憶高斯加性連續(xù)信道的信道容量 11( ) ( / ) ( / ) ( )LLi i iiip p p y x p n??? ? ???n y x1( 。 )L iiiI X Y I X Y?? ?11 l o g 12Lii niPP??????????11 l o g 12Lii niPP??????????()m a x ( 。 此時分兩種情況： (1) 若 各單元時刻 (i＝ 1,…, Ｌ )上的噪聲都是均值為零、方差為Pn的高斯噪聲，而 Pi=S， 則： (2) 若各單元時刻 (i＝ 1,…, Ｌ )上的噪聲是均值為零，方差為不同 Pni的高斯噪聲，但輸入信號的總平均功率受限，其約束為： 則： 單位： (比特／Ｌ個自由度 ) l o g 12 nLSCP????????? ?11 l o g 12Lnii niPCP? ??????? ????? ??? ???? 0 0 0 )( xxxx? ?i n iPP? ???211LLiiiiE X P P???? ????????i n iPP ???(常數(shù) ), i=1,2…, Ｌ 這結論說明，Ｌ個獨立并聯(lián)的組合高斯加性信道，當各分信道 (或各時刻 )的噪聲平均功率不相等時，為達到最大的信息傳輸率，要對輸入信號的總能量適當?shù)剡M行分配。 這與實際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。 將 容器底部 看成是 由噪聲平均功率 Pni(即方差 )所形成 的高低不平的底部，將信號的總能量 P看作總水量，將這些水倒入容器中，水流動達到平衡。若總能量 P減少時，水面 (?)降低，圖中第 5單元可能也沒有水了。 輸入信號 X是 10個相互統(tǒng)計獨立、均值為零、方差為 Pi的高斯變量，且： 求各子信道的信號功率分配。 ? ? 若提高信號的總平均功率，可使有些信道相應的輸入信號也分配到一些能量。此 信道的輸入和輸出信號是隨機過程 {x(t)} 和 {y(t)} ，而加入信道的噪聲是加性高斯白噪聲 {n(t)} (其均值為零、功率譜密度為 N0/2)。 高斯白噪聲加性信道 單位時間的信道容量： ???????? ????? WNPWTCC sTt 01lo glim)1l og ()1l og (2)1l og (210s0s1 WNPWTWNPLPPC Li nii?????? ??第 3章 信道容量和編碼 Enjoy Science 例 4 設信道傳輸每比特的能量為 Eb，請根據(jù)帶寬效率C/W與 Eb/N0的曲線圖，說明信息傳輸率和信噪比的關系。假設 R=C，則傳輸數(shù)據(jù)的平均功率為 依此將信道容量定理寫為 CEREP bb ??WCNEWNCEWC WC/12 )1(l o g /0b0b2?????第 3章 信道容量和編碼 Enjoy Science 依此畫出 C/W與 Eb/N0的曲線圖 從曲線來看，即使在 Eb/N0小于 1的情況下， C/W也是一個正數(shù)。此時的信道容量 )dB( 9 0b ???????? WCWCNEWWCWNCEWNP b 00??第 3章 信道容量和編碼 Enjoy Science 它說明，即使在信號功率小于噪聲功率的情況下，只要有足夠的帶寬，信道容量就不會為零。這是擴頻通信系統(tǒng)的理論基礎。一般電話信號的帶寬為 。 而實際信道能達到的最大信息傳輸率約為 ／秒。 說明：實際信道通常是非高斯波形信道。 在香農公式中決定信道容量的是三個物理參量： 三個參數(shù)的乘積是一個 “ 可塑 ” 性的體積，三者之間可以互換。 ② 用信噪比換取頻帶 在衛(wèi)星、數(shù)字微波通信中常采用多電平調制、多相調制、高維星座調制等等，它們利用高質量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。 2,T , l o g (1 )sPW ??香農公式的 物理意義 為： 當信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求； 反之，當信道頻帶較窄時，可以通過提高信噪功率比來補償。 信源與信道的匹配 ? 在一般情況下，當信源與信道相連接時，其信息傳輸率并未達到最大。由此可見，當信道確定后，信道的信息傳輸率與信源分布是密切相關的。 信道剩余度定義為： 信道剩余度 = )。 相對信道剩余度 = C YXIC )。 在無損 信 道中， 信 道容量 C＝ logr (r是信道輸入符號數(shù) )。Y)＝ H(X)，因而 ： 無損 信 道 的相對 剩余度 = rXHlog)(1?? 上式說明提高無損信道信息傳輸率就等于減少信源的剩余度。 ? 因此引入問題 ：在一般通信系統(tǒng)中，如何將信源發(fā)出的消息 (符號 )轉換成適合信道傳輸?shù)姆?(信號 )從而達到信源與信道的匹配。 例如，某離散無記憶信源 通過一個無噪無損二元離散信道進行傳輸。 ? ? 1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC1:C對于碼 1 () 0 . 6 4 63HXR ?? (比特／信道符號 ) 2() 0 .4 8 44HXR ??2:C對于碼 (比特／信道符號 ) 信道編碼定理 定理 有噪信道編碼定理 (香農第二定理 )： 若有一離散無記憶平穩(wěn)信道，其容量為 C，輸入序列長度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當 L足夠長時，譯碼錯誤概率 ， ?為任意大于零的正數(shù)。 eP??eP L??1eP ?即在任何信道中，信道容量是保證信息可靠傳輸?shù)淖畲笮畔鬏斅省? 與無失真信源編碼定理 (香農第一定理 )類似，香農第二定理只是一個存在性定理，它指出在保證信息傳輸率低于信道容量的前提下，錯誤概率趨于 “ 0”的編碼是存在的。 二十世紀六十年代以來，這方面的研究非?；钴S，出現(xiàn)了代數(shù)編碼、循環(huán)碼、卷積碼、級聯(lián)碼、格型碼等等，為提高信息傳輸?shù)目煽啃宰鞒隽酥匾呢暙I。