【正文】 過程表示，所以信道模型為 : 經(jīng)過限時 (tB)和限頻 (fm)后，經(jīng)過抽樣輸入和輸出信號分別變換成連續(xù)型隨機序列： 和 抽樣點數(shù)為 L=2 fm tB，相應(yīng)地 ,波形信道被分解成 L維連續(xù)信道 , 其轉(zhuǎn)移特性為： ),..., N21 XX(XX ?? ), . . . ,N21 YY(YY ??1d(yL21L21R R RL21L21YL21L21Y??? ? ? ), . . . . ,|, . . . . ,(), . . . . ,|, . . . . ,(), . . . . ,|, . . . . ,)|(xxxyyyxxxyyypxxxyyypxp????完備性????L1iiiYL21L21Y (y時 )|(), . . . . ,|, . . . . ,)|( 憶 無 記 xypxxxyyypxp ????：2022/6/3 16 )()(/)()|(所以)()(),()(且有)()()( ),()()(加性噪聲條件下：ny,yn NX ny,tntxtytNtXtY N,XY,XYN,XN,XY,X???????????????????????pxpxpxppxpxpxp???????：獨立和：樣本結(jié)論： 信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù) 。 條件熵 H(Y|X)又叫做 噪聲熵 的進一步理解： 確定噪聲所需要的平均信息量 就是 H(Y|X),叫作噪聲熵。正像區(qū)分 X中的每個符號所需要的平均信息量就是信源的熵 H(X).因而又叫噪聲熵?？梢钥醋魇俏ㄒ坏卮_定信道中的噪聲所需要的平均信息量。 )()()()|()|()()()|()()|(:,nHdnl o gndyl o gydl o gddyl o gy,XYHCRnNNyYR RYXXyYR RY,XC?????????????????????????????????????? ?? ?xppxpxpxpxpxpxpxx條件熵對于連續(xù)信道正是噪聲熵 2022/6/3 17 有干擾有記憶信道 有兩種簡化處理的方法： (1)將記憶很強的 L個符號用一個矢量符號表示 (看作一個符號 )，各個矢量符號之間認(rèn)為是無記憶的 .L越大 ,引入誤差與小。 (2)將序列轉(zhuǎn)移概率看作是馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率，用馬爾科夫鏈的分析方法去處理。 本課程主要討論編碼和解碼，一般使用 DMC信道模型 到底選用哪種信道模型，取決于分析問題的目的。若設(shè)計和分析離散信道的編碼和解碼，當(dāng)然選擇 DMC信道模型。如果分析性能的理論極限，則使用離散輸入連續(xù)輸出模型則較合適。如果分析和設(shè)計調(diào)制 /解調(diào)器，則選擇波形信道模型。 2022/6/3 18 第二節(jié) 離散單符號信道及其容量 一、幾個概念： 信息傳輸率 R 信道中平均每個符號所 傳輸?shù)男畔⒘俊?R=I(X。Y)=H(X)H(X|Y) bit/符號 信息傳輸速率 Rt 信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?。設(shè)信道傳送一個符號用時為 T，則： Rt=I(X。Y)/T bit/s 信道容量 C 定義最大的信息傳輸速率為信道容量 , )。() YXIm a xCip ( x?道容量。最大。此最大值即是信達(dá)到確定）使得在著某種信源（由對于特定信道，一定存，有最大值。是關(guān)于一定時，當(dāng)回顧：)。()(型凸的函數(shù))()|(YXIRPPY)I ( X 。P ?iiijxxxy ?2022/6/3 19 信道容量的另一種定義： 定義信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛樾诺廊萘?, 為傳送一個符號的用時T YXIm a xT1TCRCim ax p ( xtt )。()???對于某個特定的信道，其信道容量是一定的。在信息傳輸時，能否達(dá)到這個最大傳輸能力，取決于輸入端的信源。從這個意義上也可以理解信源與信道 匹配 的含義。 二、無干擾離散信道的容量： 輸出與輸入之間有確定的對應(yīng)關(guān)系；有三種不同的關(guān)系： (1)無噪無損 信道（ 一一對應(yīng)的關(guān)系 ） H(Y|X)=H(X|Y)=0 I(X。Y)=H(X)=H(Y) maxI(X。Y)=logn ∴ C=logn 2022/6/3 20 (2)無噪有損 信道（ 多對一的對應(yīng)關(guān)系 ） 噪聲熵 H(Y|X)=0 損失熵 H(X|Y)0 故名之。 I(X。Y) =H(Y)H(Y|X) =H(Y)H(X) ∴C=maxI(X。Y) =maxH(Y)=logm (3)有噪無損 信道（ 一對多的對應(yīng)關(guān)系 ） 噪聲熵 H(Y|X)0 ,損失熵 H(X|Y)=0,故名之。 I(X。Y)= H(X) H(X|Y)=H(X)H(Y) ∴ C=maxI(X。Y)=maxH(X)=logn 三、對稱 DMC信道的容量： 對稱性：如果轉(zhuǎn)移概率矩陣 P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是 輸入對稱 的； 如果轉(zhuǎn)移概率矩陣 P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是 輸出對稱 的。 2022/6/3 21 如果輸入、輸出都對稱，則稱該 DMC為 對稱的 DMC信道 。 3161316161613131, 2161311 / 3211 / 661311 / 3 3131616161613131只是輸入對稱而對稱和??????????????????????????????????//////對稱 DMC的信道容量 C： 它是個常數(shù)無關(guān)。對于各行來說，的值與中各行的元素都相同，轉(zhuǎn)移概率矩陣iabl o g PabPP1jijij?? )|()|()(是個常數(shù)所以噪聲熵???? ??????jijjijijjiiii jijjiabl o g Pb|aPabl o g Pb|aPaPabl o g Pb,aPXYH)|()()|()()()|()()|(2022/6/3 22 )|()()]|()()。()))XYHYHm a x XYHY[Hm a xYXIm a xCiiip (ap (ap (a?????那么：???????????m1jijijm1jijijjl o g PPl o g mabl o g PabPl o g m XYHl o g mC l o g mYm a x Hb2)|()|()|(:)()( 則服從等概分布，如果怎樣使 bj服從等概分布？ 常數(shù)輸出對稱則：那么：服從等概分布，如果由于 abPn1bP1 / n ,)aPa ab)PaPb,aPbPiijjiiiijiijij???????)|()(()|(()()(2022/6/3 23 結(jié)論 ： 的行向量）信道的容量為：有最大值。此時，分布，那么輸出符號也等概，如果輸入符號等概分布PHl o g ml o g PPl o g mabl o g PabPl o g m XYHl o g mXYHYm a x HCl o g mYHm1bP1 / n)aP m1jijijm1jijijji()|()|()|()|()(,)(/)((????????????????M是輸出符號集中的符號數(shù) 對轉(zhuǎn)移矩陣的行向量作求熵運算 3131616161613131P 13 求信道容量。已知傳遞矩陣 ????????//////// 例 題符號的行向量）的信道，直接代入公式：對稱/.)/,/,/,/((解0 8 2 b i t061613131Hl o g 4PHl o g m C ?????2022/6/3 24 1 1n 1n 1n 1 1n 1n1n1 P 23求信道容量。）強對稱信道（均勻信道???????????????????????????????????? 例 題信道。，即為的特例信道：對稱B S C2n1n1,n1,n,H ( 1l o g nC D M C??? ). . . .,解 ????串聯(lián)信道的信道容量： (1)串聯(lián)信道 舉例：微波 中繼通信 2022/6/3 25 信道 1