【正文】 2022/6/3 1 第三章 信道及信道容量 第一節(jié) 信道分類及表示參數(shù) 第二節(jié) 單符號離散信道及其容量 第三節(jié) 離散序列信道及其容量 第四節(jié) 連續(xù)信道及其容量 2022/6/3 2 信道是信息傳輸?shù)耐ǖ?。由于干擾而丟失的信息為 H(X|Y )。 在接收端獲取的關(guān)于發(fā)送端信源 X的信息量是： I(X。Y)＝ H(X)H(X|Y) 即：信道中平均每個(gè)符號傳送的信息量。對于信道 ,所關(guān)心的問題是平均每個(gè)符號傳送的最大信息量。這就是信道容量 C=max I(X。Y) bit/符號 信源在一定的時(shí)間 T內(nèi)輸出符號。信源輸出的信息速率為Rt=H(X)/T bit/s 符號在信道中傳送時(shí)，傳送一個(gè)符號所用的時(shí)間為 t,則最大信息傳輸速率為 Ct=C/t bit/s. 若 Rt≤Ct，那么就可以實(shí)現(xiàn)無失真?zhèn)魉?。否則 。不能 無失真?zhèn)魉? 所以，對于信道主要是研究信道容量。不同的信道，其容量不同 . 研究信道容量的 意義 ? 2022/6/3 3 第一節(jié) 信道分類及表示參數(shù) 一、信道的分類 根據(jù)信道的用戶數(shù)量，可以分為兩端（單用戶）信道和多端信道（多用戶信道）。 只有一個(gè)輸入端和一個(gè)輸出端；單向 至少有一端存在兩個(gè)用戶；雙向 根據(jù)信道輸入端和輸出端的關(guān)系 ,分為無反饋信道和反饋信道 無反饋信道 : 輸出信號對輸入無影響。 根據(jù)信道的參數(shù)可以分為固定參數(shù)信道和時(shí)變參數(shù)信道 （參數(shù)：表示輸入和輸出統(tǒng)計(jì)依賴關(guān)系的轉(zhuǎn)移概率 .后面詳述） 固定參數(shù)信道：如光纖、電纜 時(shí)變參數(shù)信道：如無線信道 .會(huì)因天氣或周圍環(huán)境的變化而變化 根據(jù)信道中所受的噪聲種類不同，分為隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道。 2022/6/3 4 隨機(jī)差錯(cuò)信道：噪聲獨(dú)立地、隨機(jī)地影響每個(gè)傳輸?shù)拇a元。如加性高斯白噪聲 (AGWN)信道。 突發(fā)差錯(cuò)信道：大的脈沖干擾或閃電對碼元的影響是前后相關(guān)的。錯(cuò)誤成串出現(xiàn)，且是突發(fā)性的。如移動(dòng)信道。 根據(jù)輸入 /輸出信號的特點(diǎn)，分為離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道。 離散信道：輸入 /輸出信號在時(shí)間和幅度上都是離散的。 連續(xù)信道：輸入 /輸出信號都是在時(shí)間上離散而幅度上連續(xù)。 半離散半連續(xù)信道：輸入 /輸出信號有一個(gè)在幅度上離散（時(shí)間上都連續(xù)）。 波形信道：輸入 /輸出信號在時(shí)間和幅度上都是連續(xù)的。 此時(shí)，輸入和輸出信號一般用隨機(jī)過程來描述。據(jù)隨機(jī)過程的理論，經(jīng)過限時(shí)和限頻后，經(jīng)抽樣變成連續(xù)型隨機(jī)變量。相應(yīng)地，波形信道被分解成連續(xù)信道。 2022/6/3 5 二、信道的參數(shù) 參數(shù)：表示輸入和輸出統(tǒng)計(jì)依賴關(guān)系的 轉(zhuǎn)移概率 。 對于單符號信道，即 ,對于符號序列信道，即 。 )X|YP ??(X)|YP ( 由于信道引入的干擾 ,使得輸入和輸出之間沒有確定的對應(yīng)關(guān)系，而只有 統(tǒng)計(jì) 上的依賴關(guān)系 (用轉(zhuǎn)移概率來描述 )。知道了這種關(guān)系，信道的全部特性就確定了 .所以 ,它是信道的參數(shù)。 根據(jù)信道的參數(shù)，將信道分為三大類： 無干擾信道 理想信道，信道中沒有隨機(jī)干擾 或干擾很小。輸出與輸入之間有完全確定的對應(yīng)關(guān)系。 )Xf(Y 0XYP )Xf(Y 1XYP ???? ????????)|()|(2022/6/3 6 有干擾無記憶信道 無記憶 ：任意時(shí)刻的輸出符號，只統(tǒng)計(jì)依賴于對應(yīng)時(shí)刻的輸入符號，而與其它時(shí)刻的輸入符號、輸出符號無關(guān) . ?????N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|, . . . . ,|,|), . . . . ,|, . . . . ,)|(yyyyyyy??這種信道根據(jù)輸入信號與輸出信號的 符號數(shù)目 進(jìn)一步劃分為以下四種信道： 指符號集中符號的個(gè)數(shù) (1)二進(jìn)制離散 信道 (又叫 二進(jìn)制對稱信道 BSC，轉(zhuǎn)移概率對稱 ) 2022/6/3 7 ???????????????p1ppp1PPPP P [P :P22211211ij ]陣）轉(zhuǎn)移概率矩陣（傳遞矩 傳遞矩陣也完全確定了輸入與輸出間的統(tǒng)計(jì)依賴關(guān)系，也是信道的數(shù)學(xué)模型。 (2) 離散無記憶 信道 (DMCDiscrete Memoryless Channel) 仍是單符號離散信道，符號集中的符號數(shù)目大于 2 。 2022/6/3 8 ????????????????nmn2n12m22211m1211ijPPPPPPPPP P [P :P???????]陣）轉(zhuǎn)移概率矩陣（傳遞矩? ?? ???m1jm1jijij 1PabP1 )|(。元素之和等于轉(zhuǎn)移概率矩陣中各行的2022/6/3 9 復(fù)習(xí)與作業(yè)講評 符號的使用： 自信息量 I 熵 H H2不能隨便使用 向孔祥品學(xué)習(xí) 應(yīng)畫出信源（模型） ，求 H(X)，而非 I(x) ，求自信息量或條件信息量。個(gè)別同學(xué) H(y|x) (2)有些同學(xué)計(jì)算 H(X,Y)太復(fù)雜。 xi顏色，構(gòu)成信源 X, yi數(shù)字，構(gòu)成信源 Y. 每個(gè)數(shù)字對應(yīng)一種顏色（反之未必），數(shù)字已知，則顏色確定， H(X|Y)=0。 H(X,Y)=H(Y)=….. （ 3）信號放大問題。課上已經(jīng)強(qiáng)調(diào)過，仍出錯(cuò)。 2022/6/3 10 復(fù)習(xí) ：第四節(jié) 連續(xù)信源的熵和互信息 一、單符號連續(xù)信源的熵 相對熵（差熵） ? ????? dxxpxp XX )(l o g)(( X )H c? ?? ?????????????????d x d yxypxypd x d yxypxyp)/(l o g)()(l o g)(( Y / X )H( X Y )HccI(X。Y)＝ I(Y。X)＝ Hc(X) Hc(X|Y) ＝ Hc(X)＋ Hc(Y) Hc(XY) ＝ Hc(Y) Hc(Y|X) Hc(XY)＝ Hc(X)＋ Hc(Y|X)＝ Hc(Y) ＋ Hc(X|Y) 2022/6/3 11 二、波形信源的熵 理解討論方法即可 )()( XHlim( t )H cLc ????x三、 連續(xù)信源最大熵定理 峰值功率受限的最大熵定理 對于定義域?yàn)橛邢薜碾S機(jī)變量 X，當(dāng)它是均勻分布時(shí)，其熵 最大。 )l o g ()(l o g)()( abdxxpxpXH XXc ???? ? ? ?? 2限平均功率最大熵定理 服從正態(tài)分布時(shí)具有最大相熵。 )()()()(,)(e x p)(2C22222222l o g21ogP,0mPm221????????????????????????? ???????dxxplxpXHmmxxp此時(shí)有：通常為方差為均值，2022/6/3 12 第五節(jié) 冗余度 一、冗余度的概念 表示給定信源在實(shí)際發(fā)出消息時(shí)所包含的多余信息。 二、冗余度產(chǎn)生的原因 理解 一是信源符號間的相關(guān)性，二是信源符號分布的不均勻性 三、冗余的定義 )()(XX110??HH ????? ??四、冗余的壓縮 第三章 信道及信道容量 第一節(jié) 信道分類及表示參數(shù) 參數(shù)：表示輸入和輸出統(tǒng)計(jì)依賴關(guān)系的 轉(zhuǎn)移概率 。 對于單符號信道，即 ,對于符號序列信道，即 。 )X|YP ??(X)|YP (2022/6/3 13 根據(jù)信道的參數(shù)，將信道分為三大類： 無干擾信道 有干擾無記憶信道 ?????N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|, . . . . ,|,|), . . . . ,|, . . . . ,)|(yyyyyyy??根據(jù)輸入信號與輸出信號的 符號數(shù)目 進(jìn)一步劃分為以下四種信道： (1)二進(jìn)制離散 信道 (又叫 二進(jìn)制對稱信道 BSC，轉(zhuǎn)移概率對稱 ) (2) 離散無記憶 信道 (DMCDiscrete Memoryless Channel) 仍是單符號離散信道，符號集中的符號數(shù)目大于 2 。 GO ON 2022/6/3 14 (3) 離散輸入連續(xù)輸出信道 仍是單符號信道，屬于半連續(xù)半離散信道。 e 21 aamYaX e 21n)N, NXY22i222a(yiY2ii2nN???????))|((??????ypp的高斯隨機(jī)變量，方差仍為是均值為時(shí)，當(dāng)給定的概率密度函數(shù)是，舉例：加性高斯白噪聲 (AWGN)信道 (Addable White Goss Noise) 2022/6/3 15 (4) 波形信道 輸入信號和輸出信號用隨機(jī)