【正文】 1L21R R RL21L21YL21L21Y??? ? ? ), . . . . ,|, . . . . ,(), . . . . ,|, . . . . ,(), . . . . ,|, . . . . ,)|(xxxyyyxxxyyypxxxyyypxp????完備性????L1iiiYL21L21Y (y時 )|(), . . . . ,|, . . . . ,)|( 憶 無 記 xypxxxyyypxp ????：2022/6/3 16 )()(/)()|(所以)()(),()(且有)()()( ),()()(加性噪聲條件下：ny,yn NX ny,tntxtytNtXtY N,XY,XYN,XN,XY,X???????????????????????pxpxpxppxpxpxp???????：獨(dú)立和：樣本結(jié)論： 信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù) 。最大。Y)=maxH(X)=logn 三、對稱 DMC信道的容量： 對稱性：如果轉(zhuǎn)移概率矩陣 P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是 輸入對稱 的； 如果轉(zhuǎn)移概率矩陣 P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是 輸出對稱 的。W) 所以： C(1,2)≥C(1,2,3)≥……≥C(1,2,3…) 。 ????????????????????????? 61613131316161311 / 31 / 6 1 / 61 / 6 1 / 3613131P/////////// 和、分解成舉例：??????????????????? 0 . 10 . 10 . 7200 . 20 . 70 . 7 0 . 2 10201070P 和分解成.....2022/6/3 29 是子矩陣的個數(shù)個子矩陣中列元素之和是第；個子矩陣中行元素之和是第元素；是轉(zhuǎn)移矩陣的任一行的數(shù)；為輸入符號集中的符號其中：互信息達(dá)到信道容量當(dāng)輸入分布為等概時，rkMkN. . . . PPPnl o g MN. . . . PPPHl o g nC kks21r1kkks2139。 Y)=C 對于所有的滿足 p(ai)0的 i。XI(LLLL21L21L21)|()(),. ..,|,. ..,),. ..,????? ?????2022/6/3 33 定義）((( )XP( )X|YP() l o gY,XP)YP( )Y|XP() l o gY,XP)Y。服從高斯分布，要是高斯噪聲。H(Y|X)0 I(X。 。反之，噪聲大的子信道分配到的輸入功率小，信噪比小，抵抗噪聲的能力差，可以傳輸?shù)谋忍財?shù)少，最終，每個子信道的誤碼率都相同。（舉例：擴(kuò)頻通信） 例題：電話信道， w=,SNR=20dB=100,則 Ct=wlog(1+SNR) =22kbps。香農(nóng)公式給出了不同 的 SNR下，所能達(dá)到的最大頻帶利用率。、。那么序列轉(zhuǎn)移概 率 P(Y1,Y2,…Y L|X1,X2,…X L)=P(Y1|X1)…P(Y L|XL), 因而是無記憶序列信道。Y)=H(X)=H(Y)； C=maxI(X。噪聲熵為：，方差為均值為為一維加性高斯噪聲，p平均互信息 (信息傳輸率 ) 信道容量 )()()()()()()()。Y)減?。?？）， 2022/6/3 32 第三節(jié) 離散序列信道及其容量 一、回顧 離散單符號擴(kuò)展信道。??????????????????????????????????????2022/6/3 30 五、一般 DMC信道的容量 平均互信息 I(X。(lll??????????? ???????符號代入上式。串聯(lián)級數(shù)越大，信道容量會越小。Y) =H(Y)H(Y|X) =H(Y)H(X) ∴C=maxI(X。Y)=H(X)H(X|Y) bit/符號 信息傳輸速率 Rt 信道在單位時間內(nèi)平均傳輸?shù)男畔⒘俊? 二、冗余度產(chǎn)生的原因 理解 一是信源符號間的相關(guān)性，二是信源符號分布的不均勻性 三、冗余的定義 )()(XX110??HH ????? ??四、冗余的壓縮 第三章 信道及信道容量 第一節(jié) 信道分類及表示參數(shù) 參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的 轉(zhuǎn)移概率 。知道了這種關(guān)系，信道的全部特性就確定了 .所以 ,它是信道的參數(shù)。 2022/6/3 4 隨機(jī)差錯信道：噪聲獨(dú)立地、隨機(jī)地影響每個傳輸?shù)拇a元。 在接收端獲取的關(guān)于發(fā)送端信源 X的信息量是： I(X。 根據(jù)輸入 /輸出信號的特點(diǎn)，分為離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道。 2022/6/3 8 ????????????????nmn2n12m22211m1211ijPPPPPPPPP P [P :P???????]陣）轉(zhuǎn)移概率矩陣（傳遞矩? ?? ???m1jm1jijij 1PabP1 )|(。 條件熵 H(Y|X)又叫做 噪聲熵 的進(jìn)一步理解： 確定噪聲所需要的平均信息量 就是 H(Y|X),叫作噪聲熵。此最大值即是信達(dá)到確定）使得在著某種信源（由對于特定信道，一定存，有最大值。 2022/6/3 21 如果輸入、輸出都對稱，則稱該 DMC為 對稱的 DMC信道 。 。39。 I(ai。XI( ?????????????? ??三、無記憶離散序列信道的容量 定理 ?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。所以，只相互獨(dú)立，與之和。Y)= H(X) H(X|Y)=H(X)H(Y) ∴ C=maxI(X。用拉格朗日乘子法求解的最大值求下即：在約束條件達(dá)到最大值？才能使信道容量（在各單元時刻如何分配率受限時：當(dāng)輸入信號總平均功.,?)]][:關(guān) 心CPPCPPPE [ XXEL1L1L12L12?????????????lllllllll（常數(shù)），解得：拉格朗日乘子，令：：引入輔助函數(shù)???????????????????????? ? ?? ?21P0P121 L2100PPPPf PPl o g ( 121PPPf2221L1L1221lllllLl llllLl . . . .,). . . .,()). . . .,(解2022/6/3 46 個時刻）總輸出功率常數(shù)都相等，大小為出功率各個單元時刻信道的輸L( LPLP21PL12L1L122/)(?? ??? ?????????lll lllll??????2P ll ?? ??功率分配。 2022/6/3 50 三、高斯白噪聲加性波形信道及其容量 回顧： 平均互信息： )。實(shí)際信道約為 。信噪比為信息，所需要的最低地傳輸帶寬不受限時，無失真結(jié)論：秒，可求得設(shè)：1 . 6 d B 1 . 6 d B1 b i t 1 . 6 d Bl n 2NP1 b i tC0s ???? /（ 3）頻帶利用率： Ct/w=log(1+SNR) 單位頻帶的信息傳輸速率， bps/Hz， 信道的利用程度。分配的功率分可以為所有的子信道分，大于所有的的平均輸出功率則信道）若輸入信號總功率（，分別為：，各子信道的噪聲方差有一并聯(lián)高斯加性信道例題lll，不分配功率。???獨(dú)立并聯(lián)信道的信道容量（例如：時分復(fù)用） 將 L個相互獨(dú)立的信道并聯(lián)后，每個信道的輸 出 Yl只與本信道的輸入 Xl有關(guān)。()???無干擾離散信道的容量： (1)無噪無損信道（一一對應(yīng)） H(Y|X)=H(X|Y)=0； I(X。其容量 C1,2,…L =ΣCl 2022/6/3 36 第四節(jié) 連續(xù)信道及信道容量 一、連續(xù)單符號加性信道及其容量： 回顧 22n2el o g 221XYHnHe 21n) 0n22?????? ??? )|()(( 。Y)增大；但是，這會改變輸入符號的分布，而使該符號的平均互信息 I(ai。39。由轉(zhuǎn)移矩陣可得聯(lián)合，：令2022/6/3 28 0 . 2bP 0 . 20 . 5bP0 . 20 . 3baPbPbaPbP32i1i1ijij??????? ??)()(),()(),()(，得：由??30og3050og50 2050og20502030l o g2030abl o g PaP ( baPbl o