【正文】 ???高斯白噪聲是最惡劣的噪聲，相應(yīng)的信道容量最小。的兩個隨機(jī)變量，其和根據(jù)概率論，統(tǒng)計獨立YXNNXNXY , ??2022/6/3 38 )()()(,),()(S N R1l o g21S1l o g21el o g 221ePl o g 221CePl o g 221Ym a x HSPYSS0NxpX22C2X????????????????的功率為則：輸出符號為功率（即方差）的概率密度函數(shù)為設(shè)：輸入符號結(jié)論： 連續(xù)單符號信道的信道容量取決于輸入信噪比 加性噪聲不是高斯噪聲時的信道容量 。所以，只相互獨立，與之和。此時，互信息正態(tài)分布，具有最大熵時，若它服從平均功率受限為出根據(jù)最大熵定理，當(dāng)輸ePl o g 221Ym a x HPY C ??)(怎樣才能保證輸出 Y服從正態(tài)分布？ 就服從高斯分布。(YX,HYHXHY|XHXHX|YHYHYXIRCCCCCCC????????2022/6/3 37 2CnCCCel o g 221YHm a xHYHm a xX|YHYHm a xYXIm a xm a x RCXXXX??????????)()()()()。其容量 C1,2,…L =ΣCl 2022/6/3 36 第四節(jié) 連續(xù)信道及信道容量 一、連續(xù)單符號加性信道及其容量： 回顧 22n2el o g 221XYHnHe 21n) 0n22?????? ??? )|()(( 。轉(zhuǎn)移矩陣為：是對稱的信道的二次擴(kuò)展信道仍驗證：/))()()((,)()()()()()()()()()()()(1 . 0 6 2 b i t. . . . . . . 0 . 1P PP1PP1PP1Hl b 4CP1P1PP1PPP1PP1PP1PP1PPP1P1PPP1PP1PP1PD M CB S C22222222222??????????????????????????????????獨立并聯(lián)信道的信道容量（例如：時分復(fù)用） 將 L個相互獨立的信道并聯(lián)后，每個信道的輸 出 Yl只與本信道的輸入 Xl有關(guān)。)。假設(shè)信道是無記憶的的序列為通過信道傳輸接收到隨機(jī)序列為定理二、若信道的輸入結(jié)論 ??? L1YI(X)Y|XI(l ll)。假設(shè)信道是無記憶的的序列為通過信道傳輸接收到隨機(jī)序列為定理一、若信道的輸入?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。XI( ?????????????? ??三、無記憶離散序列信道的容量 定理 ?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。 )|(), . . .,|, . . ., lllXYPXXXYYP ( Y)Y|XP( L1L21L21??????無記憶：二、無記憶離散序列信道的平均互信息 關(guān)系式）( YXHXHYYYXXH ( XXXH ( X)Y|XH()XH()Y。分為無記憶和有記憶兩種。Y)增大；但是，這會改變輸入符號的分布，而使該符號的平均互信息 I(ai。Y)，若其中有一個符號 ai比其它輸入符號大，那么就可以更多地使用該符號，即增大該符號 ai出現(xiàn)的概率 P(ai)，使得加權(quán)平均后的 I(X。 ??j iijiji )P ( a)a|P ( b) l o ga|P ( bYI ( a )。 2022/6/3 31 而其它符號所提供的信息量增大。 解釋 ：當(dāng)平 均互信息 I(X。 I(ai。Y) 達(dá)到極大值的充要條件是，輸入分布滿足： I(ai。Y)是關(guān)于 P(a1),P(a2),…P(a n)的多元函數(shù)，求其最大值的方法有很多，如前述拉格朗日乘子法， BlahutArimoto算法等，大都比較復(fù)雜，下面只給出相關(guān)定理。39。和分解成：0 3 6 b i t /0 2n l o g MNPPPHl o g nC402020M803050M20N803050N2r0 . 20 . 20 . 5300 . 30 . 50 . 2 0 . 2 50303050Pr1kkk3212121.. . . . . . . .),(...............解39。用第二種方法求其信道，信道，轉(zhuǎn)移矩陣中的準(zhǔn)對稱例例題 ???????????205030203050DM C 43 53......P符號。39。39。39。(0 3 6 b i t0 21 YXm a x IC210YXI?????????劃分為若干個互不相交的對稱的子矩陣后，求信道容量。所以：，得令/./)。由轉(zhuǎn)移矩陣可得聯(lián)合，：令2022/6/3 28 0 . 2bP 0 . 20 . 5bP0 . 20 . 3baPbPbaPbP32i1i1ijij??????? ??)()(),()(),()(，得：由??30og3050og50 2050og20502030l o g2030abl o g PaP ( baPbl o g PP ( bYXIjijijiijjj....)..()..()..()..()|()|)()())。令的關(guān)于思路：???????????)()()|()|)()())]|()([)。輸出符號輸入符號，是一個準(zhǔn)對稱已知信道的轉(zhuǎn)移矩陣?yán)}}.,},......???????????? P表示，求出極值點。互信息越小，越大如圖所示，信息曲線個相同信道串聯(lián)后的互,2022/6/3 27 四、準(zhǔn)對稱 DMC信道的容量 準(zhǔn)對稱信道 ：只滿足輸入對稱的信道 信道容量的計算，有兩種方法： 引入拉格朗日算子求極值。)1H(1Y)I ( X 。 。Z)≥…I(X。 由 （信息不增定理）知道：H(X)≥I(X。Z) (2)串聯(lián)信道的信道容量可能會減少。Y) 信道 1,2,3… 串聯(lián)后等價為 容量為： C(1,2,…)=maxI(X。）強(qiáng)對稱信道（均勻信道???????????????????????????????????? 例 題信道。此時，分布，那么輸出符號也等概，如果輸入符號等概分布PHl o g ml o g PPl o g mabl o g PabPl o g m XYHl o g mXYHYm a x HCl o g mYHm1bP1 / n)aP m1jijijm1jijijji()|()|()|()|()(,)(/)((????????????????M是輸出符號集中的符號數(shù) 對轉(zhuǎn)移矩陣的行向量作求熵運算 3131616161613131P 13 求信道容量。對于各行來說，的值與中各行的元素都相同，轉(zhuǎn)移概率矩陣iabl o g PabPP1jijij?? )|()|()(是個常數(shù)所以噪聲熵???? ??????jijjijijjiiii jijjiabl o g Pb|aPabl o g Pb|aPaPabl o g Pb,aPXYH)|()()|()()()|()()|(2022/6/3 22 )|()()]|()()。 2022/6/3 21 如果輸入、輸出都對稱，則稱該 DMC為 對稱的 DMC信道 。Y)= H(X) H(X|Y)=H(X)H(Y) ∴ C=maxI(X。Y) =maxH(Y)=logm (3)有噪無損 信道（ 一對多的對應(yīng)關(guān)系 ） 噪聲熵 H(Y|X)0 ,損失熵 H(X|Y)=0,故名之。 I(X。Y)=H(X)=H(Y) maxI(X。從這個意義上也可以理解信源與信道 匹配 的含義。()???對于某個特定的信道，其信道容量是一定的。()(型凸的函數(shù))()|(YXIRPPY)I ( X 。此最大值即是信達(dá)到確定）使得在著某種信源（由對于特定信道，一定存，有最大值。() YXIm a xCip ( x?道容量。設(shè)信道傳送一個符號用時為 T，則： Rt=I(X。 R=I(X。如果分析和設(shè)計調(diào)制 /解調(diào)器，則選擇波形信道模型。若設(shè)計和分析離散信道的編碼和解碼，當(dāng)然選擇 DMC信道模型。 (2)將序列轉(zhuǎn)移概率看作是馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率，用馬爾科夫鏈的分析方法去處理?？梢钥醋魇俏ㄒ坏卮_定信道中的噪聲所需要的平均信息量。 條件熵 H(Y|X)又叫做 噪聲熵 的進(jìn)一步理解： 確定噪聲所需要的平均信息量 就是 H(Y|X),叫作噪聲熵。 GO ON 2022/6/3 14 (3) 離散輸入連續(xù)輸出信道 仍是單符號信道，屬于半連續(xù)半離散信道。