【正文】 ydl o gddyl o gy,XYHCRnNNyYR RYXXyYR RY,XC?????????????????????????????????????? ?? ?xppxpxpxpxpxpxpxx條件熵對于連續(xù)信道正是噪聲熵 2022/6/3 17 有干擾有記憶信道 有兩種簡化處理的方法： (1)將記憶很強的 L個符號用一個矢量符號表示 (看作一個符號 )，各個矢量符號之間認為是無記憶的 .L越大 ,引入誤差與小。Y)=H(X)H(X|Y) bit/符號 信息傳輸速率 Rt 信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?。P ?iiijxxxy ?2022/6/3 19 信道容量的另一種定義： 定義信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛樾诺廊萘?, 為傳送一個符號的用時T YXIm a xT1TCRCim ax p ( xtt )。Y) =H(Y)H(Y|X) =H(Y)H(X) ∴C=maxI(X。()))XYHYHm a x XYHY[Hm a xYXIm a xCiiip (ap (ap (a?????那么：???????????m1jijijm1jijijjl o g PPl o g mabl o g PabPl o g m XYHl o g mC l o g mYm a x Hb2)|()|()|(:)()( 則服從等概分布，如果怎樣使 bj服從等概分布？ 常數(shù)輸出對稱則：那么：服從等概分布，如果由于 abPn1bP1 / n ,)aPa ab)PaPb,aPbPiijjiiiijiijij???????)|()(()|(()()(2022/6/3 23 結(jié)論 ： 的行向量）信道的容量為：有最大值。串聯(lián)級數(shù)越大，信道容量會越小。22 ))(,),??????????? ；可求得 mm信道容量越小。(lll??????????? ???????符號代入上式。39。??????????????????????????????????????2022/6/3 30 五、一般 DMC信道的容量 平均互信息 I(X。Y) 達到信道容量時，除了概率為零的符號外，輸入符號集中的每一個符號對輸出端提供相同的信息量。Y)減小（？）， 2022/6/3 32 第三節(jié) 離散序列信道及其容量 一、回顧 離散單符號擴展信道。),. ..,),. ..,:????，則存在：。噪聲熵為：，方差為均值為為一維加性高斯噪聲，p平均互信息 (信息傳輸率 ) 信道容量 )()()()()()()()。是噪聲熵的功率；為輸出符號的功率為輸入符號的非高斯噪聲。Y)=H(X)=H(Y)； C=maxI(X。 2）、劃分為若干個互不相交的對稱的子矩陣后，求信道容量。那么序列轉(zhuǎn)移概 率 P(Y1,Y2,…Y L|X1,X2,…X L)=P(Y1|X1)…P(Y L|XL), 因而是無記憶序列信道。此謂“的功率分配。、。())()。香農(nóng)公式給出了不同 的 SNR下，所能達到的最大頻帶利用率。設(shè)該信道以 1500個二元符號 /秒的速度傳輸輸入 符號。（舉例：擴頻通信） 例題：電話信道， w=,SNR=20dB=100,則 Ct=wlog(1+SNR) =22kbps。 秒時，/)()(/)()(b i tl n 2NPx1lnl n 21NP x1lbNP wNPx wNP1w l o gPNNPwNP1w l o gCCw0sx10s0xx10s0x0s0ss00sw0swtwl i ml i ml i ml i ml i m???????????????????????????總結(jié) ： 當(dāng)信道頻帶受限于 w，信道噪聲為功率譜密度為 N0/2的加性高斯白噪聲，輸入信號的平均功率受限為 Ps時，如果 輸入信號服從高斯分布，那么信道中的信息傳輸率 Rt達到最大值（即信道容量 Ct）。反之，噪聲大的子信道分配到的輸入功率小，信噪比小，抵抗噪聲的能力差，可以傳輸?shù)谋忍財?shù)少，最終，每個子信道的誤碼率都相同。說明此分量，此時的信號功率太大，大于常數(shù)量如果某個時刻的噪聲分之和是個常數(shù)。 。 I(ai。H(Y|X)0 I(X。Xm a x I (Cl ll )(???信道容量：分以下兩種情況討論。服從高斯分布，要是高斯噪聲。???1L1LL21LCCCCCC??????ll則：同，各時刻的轉(zhuǎn)移概率都相信道平穩(wěn)時，各符號在 ...？道的容量信道，二次擴展后，信例 ?? 2CB S C 732022/6/3 35 序列則：符號信道：/../....),(,解0 6 2 b i t15 3 1022CC5 3 1 b i t099 l b 001l b 01 0 .1P P1PHl b 2CB S C 2 ???????????序列，其信道容量為信道。XI(LLLL21L21L21)|()(),. ..,|,. ..,),. ..,????? ?????2022/6/3 33 定義）((( )XP( )X|YP() l o gY,XP)YP( )Y|XP() l o gY,XP)Y。理解 ：在某種給定的輸入分布下，對輸出 Y所提供的互信息I(X。 Y)=C 對于所有的滿足 p(ai)0的 i。 ????????????????????????? 61613131316161311 / 31 / 6 1 / 61 / 6 1 / 3613131P/////////// 和、分解成舉例：??????????????????? 0 . 10 . 10 . 7200 . 20 . 70 . 7 0 . 2 10201070P 和分解成.....2022/6/3 29 是子矩陣的個數(shù)個子矩陣中列元素之和是第；個子矩陣中行元素之和是第元素；是轉(zhuǎn)移矩陣的任一行的數(shù)；為輸入符號集中的符號其中：互信息達到信道容量當(dāng)輸入分布為等概時，rkMkN. . . . PPPnl o g MN. . . . PPPHl o g nC kks21r1kkks2139。其它變量用型凸函數(shù)。W) 所以： C(1,2)≥C(1,2,3)≥……≥C(1,2,3…) 。即為的特例信道：對稱B S C2n1n1,n1,n,H ( 1l o g nC D M C??? ). . . .,解 ????串聯(lián)信道的信道容量： (1)串聯(lián)信道 舉例：微波 中繼通信 2022/6/3 25 信道 1容量為： C(1)=maxI(X。Y)=maxH(X)=logn 三、對稱 DMC信道的容量： 對稱性：如果轉(zhuǎn)移概率矩陣 P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是 輸入對稱 的； 如果轉(zhuǎn)移概率矩陣 P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是 輸出對稱 的。 二、無干擾離散信道的容量： 輸出與輸入之間有確定的對應(yīng)關(guān)系；有三種不同的關(guān)系： (1)無噪無損 信道（ 一一對應(yīng)的關(guān)系 ） H(Y|X)=H(X|Y)=0 I(X。最大。如果分析性能的理論極限，則使用離散輸入連續(xù)輸出模型則較合適。 e 21 aamYaX e 21n)N, NXY22i222a(yiY2ii2nN???????))|((??????ypp的高斯隨機變量，方差仍為是均值為時，當(dāng)給定的概率密度函數(shù)是，舉例：加性高斯白噪聲 (AWGN)信道 (Addable White Goss Noise) 2022/6/3 15 (4) 波形信道 輸入信號和輸出信號用隨機過程表示，所以信道模型為 : 經(jīng)過限時 (tB)和限頻 (fm)后，經(jīng)過抽樣輸入和輸出信號分別變換成連續(xù)型隨機序列： 和 抽樣點數(shù)為 L=2 fm tB，相應(yīng)地 ,波形信道被分解成 L維連續(xù)信道 , 其轉(zhuǎn)移特性為： ),..., N21 XX(XX ?? ), . . . ,N21 YY(YY ??1d(yL21L21R R RL21L21YL21L21Y??? ? ? ), . . . . ,|, . . . . ,(), . . . . ,|, . . . . ,(), . . . . ,|, . . . . ,)|(xxxyyyxxxyyypxxxyyypxp????完備性????L1i