【正文】 (串音、回波等干擾因素使 Ct 小于理論值 ) 。稱。())()。不同，注入的水量不同容器的底容器的底各子信道的噪聲功率（常數(shù)注水后達(dá)到同一平面向容器注水向信道分配信號功率盛水的容器各個單元時刻的信道L)21PP 222, . . .,()???????????????????llllll????2022/6/3 48 050P850P95010051P1021l 051LP5,P1 1 . 00 . 9807,00 . 6504,00 . 32022 3 . 81022221121012210292827262524232221., . . . . . ....... . . .,.:,..,..,..????????????????????????????????????????????別為：配功率。理解：)( 2L12L12L122LPl o g21C LPPliilliill ??????????????????? 且注水法”原理。 2022/6/3 43 第三節(jié) 離散序列信道及其容量 無記憶離散序列信道的信道容量 信息通過信道傳輸?shù)淖畲蠡ツ硶r刻 lllllll????? ????CCYI ( Xm a x)Y|XI(m a xCL1L1)XP(L )。Y)=maxH(X)=logn 對稱 DMC的信道容量 C： 的行向量）PHl o g ml o g PPl o g mCm1jijij (???? ??串聯(lián)信道的信道容量： （數(shù)據(jù)處理定理 ) 串聯(lián)級數(shù)越大，信道容量會越小。() YXIm a xCip ( x? 或：信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛樾诺廊萘?, 為傳送一個符號的用時T YXIm a xT1TCRCim ax p ( xtt )。這里且方差等于各變量方差仍服從正態(tài)分布。那么序列轉(zhuǎn)移概 率 P(Y1,Y2,…Y L|X1,X2,…X L)=P(Y1|X1)…P(Y L|XL), 因而是無記憶序列信道。),. ..,),. ..,:????，則存在：。Y)=ΣP(ai)I(ai。 Y)≤C 對于所有的滿足 p(ai)=0的 i。39。39。(1ijijijiijjjaPaPabl o g PaP ( baPbl o g PP ( bm a x [ XYHYHm a xYXm a x IC?? ? ???????????????)(.)(.)(....),()()(解????????12022013020 30 50baP1aPaPji21 概率矩陣。求串聯(lián)后的信道容量矩陣為信道串聯(lián)，它們的轉(zhuǎn)移兩個相同的??????????????11 PPB S C 33 21 例 題2022/6/3 26 (11212(12222?????????????????????))()() 1111PPP 21?????????????????????????串聯(lián)后的轉(zhuǎn)移矩陣為： 12H ( ( 11Z)I ( X 。W) 信道 1,2串聯(lián)后等價為 容量為： C(1,2)=maxI(X。 3161316161613131, 2161311 / 3211 / 661311 / 3 3131616161613131只是輸入對稱而對稱和??????????????????????????????????//////對稱 DMC的信道容量 C： 它是個常數(shù)無關(guān)。Y)=logn ∴ C=logn 2022/6/3 20 (2)無噪有損 信道（ 多對一的對應(yīng)關(guān)系 ） 噪聲熵 H(Y|X)=0 損失熵 H(X|Y)0 故名之。是關(guān)于一定時，當(dāng)回顧：)。 2022/6/3 18 第二節(jié) 離散單符號信道及其容量 一、幾個概念： 信息傳輸率 R 信道中平均每個符號所 傳輸?shù)男畔⒘?。正像區(qū)分 X中的每個符號所需要的平均信息量就是信源的熵 H(X).因而又叫噪聲熵。 )l o g ()(l o g)()( abdxxpxpXH XXc ???? ? ? ?? 2限平均功率最大熵定理 服從正態(tài)分布時具有最大相熵。元素之和等于轉(zhuǎn)移概率矩陣中各行的2022/6/3 9 復(fù)習(xí)與作業(yè)講評 符號的使用： 自信息量 I 熵 H H2不能隨便使用 向孔祥品學(xué)習(xí) 應(yīng)畫出信源（模型） ，求 H(X)，而非 I(x) ，求自信息量或條件信息量。 對于單符號信道，即 ,對于符號序列信道，即 。 離散信道：輸入 /輸出信號在時間和幅度上都是離散的。 只有一個輸入端和一個輸出端；單向 至少有一端存在兩個用戶；雙向 根據(jù)信道輸入端和輸出端的關(guān)系 ,分為無反饋信道和反饋信道 無反饋信道 : 輸出信號對輸入無影響。Y)＝ H(X)H(X|Y) 即：信道中平均每個符號傳送的信息量。對于信道 ,所關(guān)心的問題是平均每個符號傳送的最大信息量。 根據(jù)信道的參數(shù)可以分為固定參數(shù)信道和時變參數(shù)信道 （參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的轉(zhuǎn)移概率 .后面詳述） 固定參數(shù)信道：如光纖、電纜 時變參數(shù)信道：如無線信道 .會因天氣或周圍環(huán)境的變化而變化 根據(jù)信道中所受的噪聲種類不同，分為隨機(jī)差錯信道和突發(fā)差錯信道。 連續(xù)信道：輸入 /輸出信號都是在時間上離散而幅度上連續(xù)。 )X|YP ??(X)|YP ( 由于信道引入的干擾 ,使得輸入和輸出之間沒有確定的對應(yīng)關(guān)系，而只有 統(tǒng)計 上的依賴關(guān)系 (用轉(zhuǎn)移概率來描述 )。個別同學(xué) H(y|x) (2)有些同學(xué)計算 H(X,Y)太復(fù)雜。 )()()()(,)(e x p)(2C22222222l o g21ogP,0mPm221????????????????????????? ???????dxxplxpXHmmxxp此時有：通常為方差為均值，2022/6/3 12 第五節(jié) 冗余度 一、冗余度的概念 表示給定信源在實(shí)際發(fā)出消息時所包含的多余信息。可以看作是唯一地確定信道中的噪聲所需要的平均信息量。 R=I(X。()(型凸的函數(shù))()|(YXIRPPY)I ( X 。 I(X。對于各行來說，的值與中各行的元素都相同，轉(zhuǎn)移概率矩陣iabl o g PabPP1jijij?? )|()|()(是個常數(shù)所以噪聲熵???? ??????jijjijijjiiii jijjiabl o g Pb|aPabl o g Pb|aPaPabl o g Pb,aPXYH)|()()|()()()|()()|(2022/6/3 22 )|()()]|()()。Z) (2)串聯(lián)信道的信道容量可能會減少。)1H(1Y)I ( X 。由轉(zhuǎn)移矩陣可得聯(lián)合，：令2022/6/3 28 0 . 2bP 0 . 20 . 5bP0 . 20 . 3baPbPbaPbP32i1i1ijij??????? ??)()(),()(),()(，得：由??30og3050og50 2050og20502030l o g2030abl o g PaP ( baPbl o g PP ( bYXIjijijiijjj....)..()..()..()..()|()|)()())。39。39。 解釋 ：當(dāng)平 均互信息 I(X。Y)增大；但是，這會改變輸入符號的分布，而使該符號的平均互信息 I(ai。假設(shè)信道是無記憶的的序列為通過信道傳輸接收到隨機(jī)序列為定理一、若信道的輸入?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。其容量 C1,2,…L =ΣCl 2022/6/3 36 第四節(jié) 連續(xù)信道及信道容量 一、連續(xù)單符號加性信道及其容量： 回顧 22n2el o g 221XYHnHe 21n) 0n22?????? ??? )|()(( 。的兩個隨機(jī)變量，其和根據(jù)概率論，統(tǒng)計獨(dú)立YXNNXNXY , ??2022/6/3