【正文】 ?????????????????????????????????????2022/6/3 30 五、一般 DMC信道的容量 平均互信息 I(X。 定理 ：一般離散無記憶信道的平均互信息 I(X。 Y)=C 對于所有的滿足 p(ai)0的 i。 Y)≤C 對于所有的滿足 p(ai)=0的 i。Y) 達到信道容量時，除了概率為零的符號外，輸入符號集中的每一個符號對輸出端提供相同的信息量。所以經過不斷調整后，輸入符號的概率分布使得每個概率不為零的輸入符號對于輸出Y提供的平均互信息是相同的。理解 ：在某種給定的輸入分布下，對輸出 Y所提供的互信息I(X。Y)=ΣP(ai)I(ai。Y)減小（？）， 2022/6/3 32 第三節(jié) 離散序列信道及其容量 一、回顧 離散單符號擴展信道。只討論無記憶離散序列信道的容量。XI(LLLL21L21L21)|()(),. ..,|,. ..,),. ..,????? ?????2022/6/3 33 定義）((( )XP( )X|YP() l o gY,XP)YP( )Y|XP() l o gY,XP)Y。),. ..,),. ..,:????，則存在：。),. ..,),. ..,:????，則存在：。??2022/6/3 34 信道容量 信息通過信道傳輸的最大互某時刻 llllllllll?????? ??????CCYm a x I ( XYI ( Xm a x)Y|XI(m a xCL1L1L1)XP(L )。???1L1LL21LCCCCCC??????ll則：同，各時刻的轉移概率都相信道平穩(wěn)時，各符號在 ...？道的容量信道，二次擴展后，信例 ?? 2CB S C 732022/6/3 35 序列則：符號信道：/../....),(,解0 6 2 b i t15 3 1022CC5 3 1 b i t099 l b 001l b 01 0 .1P P1PHl b 2CB S C 2 ???????????序列，其信道容量為信道。那么序列轉移概 率 P(Y1,Y2,…Y L|X1,X2,…X L)=P(Y1|X1)…P(Y L|XL), 因而是無記憶序列信道。噪聲熵為：，方差為均值為為一維加性高斯噪聲，p平均互信息 (信息傳輸率 ) 信道容量 )()()()()()()()。()()()()(xpxpxpxp量達到最大值，即信道容。服從高斯分布，要是高斯噪聲。這里且方差等于各變量方差仍服從正態(tài)分布。是噪聲熵的功率；為輸出符號的功率為輸入符號的非高斯噪聲。 2022/6/3 39 二、多維無記憶高斯加性連續(xù)信道及其容量 回顧 ????????L1NL21NNL1L21L21(NNN(NN(YX XXXYY(YXYlllllpppppp)), . . . . ,))|(), . . . . ,|, . . . . ,)|(???等價于 L個獨立并聯加性信道 2022/6/3 40 信道容量 ???L1YXIXYIlll )|()|(?? 據 ，無記憶信道有下式成立： 而每個單符號高斯信道 有： 所以： )()|( 2P1l o g21YXIllll???????L1 2P1l o g21)Y。Xm a x I (Cl ll )(???信道容量：分以下兩種情況討論。() YXIm a xCip ( x? 或：信道單位時間內平均傳輸的最大信息量為信道容量 , 為傳送一個符號的用時T YXIm a xT1TCRCim ax p ( xtt )。Y)=H(X)=H(Y)； C=maxI(X。Y)=H(Y)H(Y|X)=H(Y)H(X) ∴ C=maxI(X。H(Y|X)0 I(X。Y)=maxH(X)=logn 對稱 DMC的信道容量 C： 的行向量）PHl o g ml o g PPl o g mCm1jijij (???? ??串聯信道的信道容量： （數據處理定理 ) 串聯級數越大，信道容量會越小。 2）、劃分為若干個互不相交的對稱的子矩陣后，求信道容量。Y) 達到極大值的充要條件是，輸入分布滿足： I(ai。 I(ai。 2022/6/3 43 第三節(jié) 離散序列信道及其容量 無記憶離散序列信道的信道容量 信息通過信道傳輸的最大互某時刻 lllllll????? ????CCYI ( Xm a x)Y|XI(m a xCL1L1)XP(L )。那么序列轉移概 率 P(Y1,Y2,…Y L|X1,X2,…X L)=P(Y1|X1)…P(Y L|XL), 因而是無記憶序列信道。Xm a x I (Cl ll )(???分以下兩種情況討論。 。理解：)( 2L12L12L122LPl o g21C LPPliilliill ??????????????????? 且注水法”原理。此謂“的功率分配。然后重，即不分配功率，或言置使用。說明此分量，此時的信號功率太大，大于常數量如果某個時刻的噪聲分之和是個常數。不同，注入的水量不同容器的底容器的底各子信道的噪聲功率（常數注水后達到同一平面向容器注水向信道分配信號功率盛水的容器各個單元時刻的信道L)21PP 222, . . .,()???????????????????llllll????2022/6/3 48 050P850P95010051P1021l 051LP5,P1 1 . 00 . 9807,00 . 6504,00 . 32022 3 . 81022221121012210292827262524232221., . . . . . ....... . . .,.:,..,..,..????????????????????????????????????????????別為：配功率。、。分配的可以為所有的子信道分量，大于所有的噪聲功率分重新計算平均輸出功率104 b i t2P1l o g21C40P30P0 . 2P10P0P 0 . 6 5LP0PPPP41221122223324425561210987/.)(.,.,..:。反之，噪聲大的子信道分配到的輸入功率小，信噪比小，抵抗噪聲的能力差，可以傳輸的比特數少，最終，每個子信道的誤碼率都相同。())()。())()。(。 秒時，/)()(/)()(b i tl n 2NPx1lnl n 21NP x1lbNP wNPx wNP1w l o gPNNPwNP1w l o gCCw0sx10s0xx10s0x0s0ss00sw0swtwl i ml i ml i ml i ml i m???????????????????????????總結 ： 當信道頻帶受限于 w，信道噪聲為功率譜密度為 N0/2的加性高斯白噪聲，輸入信號的平均功率受限為 Ps時，如果 輸入信號服從高斯分布，那么信道中的信息傳輸率 Rt達到最大值（即信道容量 Ct）。稱。香農公式給出了不同 的 SNR下，所能達到的最大頻帶利用率。大的系統(tǒng)帶寬 可以降低對輸入信噪比的要求。（舉例：擴頻通信） 例題：電話信道， w=,SNR=20dB=100,則 Ct=wlog(1+SNR) =22kbps。 (串音、回波等干擾因素使 Ct 小于理論值 ) 。設該信道以 1500個二元符號 /秒的速度傳輸輸入 符號。問從信息傳輸 的角度來考慮， 10秒鐘內能否將這消息序列無失真地 傳送完？ 2022/6/3 56 解： 消息序列的信息量 14000 * H(X)=*104 比特 二元對稱信道的信道容量 C=1H(p,1p)= bit/符號 信道最大信息傳輸速率 Rt=1500* =1288 bit/s 10秒鐘能無失真?zhèn)鬏數淖畲笮畔⒘? 10*1288=12880 bit 14000 12880 所以， 10s內不能將這消息序列無失真地傳送完