【正文】 平均功率受限為出根據(jù)最大熵定理，當(dāng)輸ePl o g 221Ym a x HPY C ??)(怎樣才能保證輸出 Y服從正態(tài)分布？ 就服從高斯分布。其容量 C1,2,…L =ΣCl 2022/6/3 36 第四節(jié) 連續(xù)信道及信道容量 一、連續(xù)單符號加性信道及其容量： 回顧 22n2el o g 221XYHnHe 21n) 0n22?????? ??? )|()(( 。)。假設(shè)信道是無記憶的的序列為通過信道傳輸接收到隨機(jī)序列為定理一、若信道的輸入?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。 )|(), . . .,|, . . ., lllXYPXXXYYP ( Y)Y|XP( L1L21L21??????無記憶：二、無記憶離散序列信道的平均互信息 關(guān)系式）( YXHXHYYYXXH ( XXXH ( X)Y|XH()XH()Y。Y)增大；但是，這會改變輸入符號的分布，而使該符號的平均互信息 I(ai。 ??j iijiji )P ( a)a|P ( b) l o ga|P ( bYI ( a )。 解釋 ：當(dāng)平 均互信息 I(X。Y) 達(dá)到極大值的充要條件是，輸入分布滿足： I(ai。39。用第二種方法求其信道，信道，轉(zhuǎn)移矩陣中的準(zhǔn)對稱例例題 ???????????205030203050DM C 43 53......P符號。39。(0 3 6 b i t0 21 YXm a x IC210YXI?????????劃分為若干個互不相交的對稱的子矩陣后，求信道容量。由轉(zhuǎn)移矩陣可得聯(lián)合，：令2022/6/3 28 0 . 2bP 0 . 20 . 5bP0 . 20 . 3baPbPbaPbP32i1i1ijij??????? ??)()(),()(),()(，得：由??30og3050og50 2050og20502030l o g2030abl o g PaP ( baPbl o g PP ( bYXIjijijiijjj....)..()..()..()..()|()|)()())。輸出符號輸入符號，是一個準(zhǔn)對稱已知信道的轉(zhuǎn)移矩陣?yán)}}.,},......???????????? P表示，求出極值點。)1H(1Y)I ( X 。Z)≥…I(X。Z) (2)串聯(lián)信道的信道容量可能會減少。）強(qiáng)對稱信道（均勻信道???????????????????????????????????? 例 題信道。對于各行來說，的值與中各行的元素都相同，轉(zhuǎn)移概率矩陣iabl o g PabPP1jijij?? )|()|()(是個常數(shù)所以噪聲熵???? ??????jijjijijjiiii jijjiabl o g Pb|aPabl o g Pb|aPaPabl o g Pb,aPXYH)|()()|()()()|()()|(2022/6/3 22 )|()()]|()()。Y)= H(X) H(X|Y)=H(X)H(Y) ∴ C=maxI(X。 I(X。從這個意義上也可以理解信源與信道 匹配 的含義。()(型凸的函數(shù))()|(YXIRPPY)I ( X 。() YXIm a xCip ( x?道容量。 R=I(X。若設(shè)計和分析離散信道的編碼和解碼，當(dāng)然選擇 DMC信道模型?？梢钥醋魇俏ㄒ坏卮_定信道中的噪聲所需要的平均信息量。 GO ON 2022/6/3 14 (3) 離散輸入連續(xù)輸出信道 仍是單符號信道，屬于半連續(xù)半離散信道。 )()()()(,)(e x p)(2C22222222l o g21ogP,0mPm221????????????????????????? ???????dxxplxpXHmmxxp此時有：通常為方差為均值，2022/6/3 12 第五節(jié) 冗余度 一、冗余度的概念 表示給定信源在實際發(fā)出消息時所包含的多余信息。 2022/6/3 10 復(fù)習(xí) ：第四節(jié) 連續(xù)信源的熵和互信息 一、單符號連續(xù)信源的熵 相對熵（差熵） ? ????? dxxpxp XX )(l o g)(( X )H c? ?? ?????????????????d x d yxypxypd x d yxypxyp)/(l o g)()(l o g)(( Y / X )H( X Y )HccI(X。個別同學(xué) H(y|x) (2)有些同學(xué)計算 H(X,Y)太復(fù)雜。 )Xf(Y 0XYP )Xf(Y 1XYP ???? ????????)|()|(2022/6/3 6 有干擾無記憶信道 無記憶 ：任意時刻的輸出符號，只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，而與其它時刻的輸入符號、輸出符號無關(guān) . ?????N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|, . . . . ,|,|), . . . . ,|, . . . . ,)|(yyyyyyy??這種信道根據(jù)輸入信號與輸出信號的 符號數(shù)目 進(jìn)一步劃分為以下四種信道： 指符號集中符號的個數(shù) (1)二進(jìn)制離散 信道 (又叫 二進(jìn)制對稱信道 BSC，轉(zhuǎn)移概率對稱 ) 2022/6/3 7 ???????????????p1ppp1PPPP P [P :P22211211ij ]陣）轉(zhuǎn)移概率矩陣（傳遞矩 傳遞矩陣也完全確定了輸入與輸出間的統(tǒng)計依賴關(guān)系，也是信道的數(shù)學(xué)模型。 )X|YP ??(X)|YP ( 由于信道引入的干擾 ,使得輸入和輸出之間沒有確定的對應(yīng)關(guān)系，而只有 統(tǒng)計 上的依賴關(guān)系 (用轉(zhuǎn)移概率來描述 )。據(jù)隨機(jī)過程的理論，經(jīng)過限時和限頻后，經(jīng)抽樣變成連續(xù)型隨機(jī)變量。 連續(xù)信道：輸入 /輸出信號都是在時間上離散而幅度上連續(xù)。錯誤成串出現(xiàn)，且是突發(fā)性的。 根據(jù)信道的參數(shù)可以分為固定參數(shù)信道和時變參數(shù)信道 （參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的轉(zhuǎn)移概率 .后面詳述） 固定參數(shù)信道：如光纖、電纜 時變參數(shù)信道：如無線信道 .會因天氣或周圍環(huán)境的變化而變化 根據(jù)信道中所受的噪聲種類不同，分為隨機(jī)差錯信道和突發(fā)差錯信道。否則 。對于信道 ,所關(guān)心的問題是平均每個符號傳送的最大信息量。2022/6/3 1 第三章 信道及信道容量 第一節(jié) 信道分類及表示參數(shù) 第二節(jié) 單符號離散信道及其容量 第三節(jié) 離散序列信道及其容量 第四節(jié) 連續(xù)信道及其容量 2022/6/3 2 信道是信息傳輸?shù)耐ǖ?。Y)＝ H(X)H(X|Y) 即：信道中平均每個符號傳送的信息量。信源輸出的信息速率為Rt=H(X)/T bit/s 符號在信道中傳送時，傳送一個符號所用的時間為 t,則最大信息傳輸速率為 Ct=C/t bit/s. 若 Rt≤Ct，那么就可以實現(xiàn)無失真?zhèn)魉?。 只有一個輸入端和一個輸出端；單向 至少有一端存在兩個用戶；雙向 根據(jù)信道輸入端和輸出端的關(guān)系 ,分為無反饋信道和反饋信道 無反饋信道 : 輸出信號對輸入無影響。 突發(fā)差錯信道：大的脈沖干擾或閃電對碼元的影響是前后相關(guān)的。 離散信道：輸入 /輸出信號在時間和幅度上都是離散的。 此時，輸入和輸出信號一般用隨機(jī)過程來描述。 對于單符號信道，即 ,對于符號序列信道，即 。輸出與輸入之間有完全確定的對應(yīng)關(guān)系。元素之和等于轉(zhuǎn)移概率矩陣中各行的2022/6/3 9 復(fù)習(xí)與作業(yè)講評 符號的使用： 自信息量 I 熵 H H2不能隨便使用 向孔祥品學(xué)習(xí) 應(yīng)畫出信源（模型） ，求 H(X)，而非 I(x) ，求自信息量或條件信息量。課上已經(jīng)強(qiáng)調(diào)過，仍出錯。 )l o g ()(l o g)()( abdxxpxpXH XXc ???? ? ? ?? 2限平均功率最大熵定理 服從正態(tài)分布時具有最大相熵。 )X|YP ??(X)|YP (2022/6/3 13 根據(jù)信道的參數(shù)，將信道分為三大類： 無干擾信道 有干擾無記憶信道 ?????N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|, . . . . ,|,|), . . . . ,|, . . . . ,)|(yyyyyyy??根據(jù)輸入信號與輸出信號的 符號數(shù)目 進(jìn)一步劃分為以下四種信道： (1)二進(jìn)制離散 信道 (又叫 二進(jìn)制對稱信道 BSC，轉(zhuǎn)移概率對稱 ) (2) 離散無記憶 信道 (DMCDiscrete Memoryless Channel) 仍是單符號離散信