【正文】 xxxyyyxxxyyypxxxyyypxp????完備性????L1iiiYL21L21Y (y時 )|(), . . . . ,|, . . . . ,)|( 憶 無 記 xypxxxyyypxp ????：2022/6/3 16 )()(/)()|(所以)()(),()(且有)()()( ),()()(加性噪聲條件下：ny,yn NX ny,tntxtytNtXtY N,XY,XYN,XN,XY,X???????????????????????pxpxpxppxpxpxp???????：獨立和：樣本結(jié)論： 信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù) 。 二、冗余度產(chǎn)生的原因 理解 一是信源符號間的相關(guān)性，二是信源符號分布的不均勻性 三、冗余的定義 )()(XX110??HH ????? ??四、冗余的壓縮 第三章 信道及信道容量 第一節(jié) 信道分類及表示參數(shù) 參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的 轉(zhuǎn)移概率 。Y)＝ I(Y。 xi顏色，構(gòu)成信源 X, yi數(shù)字，構(gòu)成信源 Y. 每個數(shù)字對應(yīng)一種顏色（反之未必），數(shù)字已知，則顏色確定， H(X|Y)=0。 (2) 離散無記憶 信道 (DMCDiscrete Memoryless Channel) 仍是單符號離散信道，符號集中的符號數(shù)目大于 2 。知道了這種關(guān)系，信道的全部特性就確定了 .所以 ,它是信道的參數(shù)。相應(yīng)地，波形信道被分解成連續(xù)信道。 半離散半連續(xù)信道：輸入 /輸出信號有一個在幅度上離散（時間上都連續(xù)）。如移動信道。 2022/6/3 4 隨機差錯信道：噪聲獨立地、隨機地影響每個傳輸?shù)拇a元。不能 無失真?zhèn)魉? 所以，對于信道主要是研究信道容量。這就是信道容量 C=max I(X。由于干擾而丟失的信息為 H(X|Y )。 在接收端獲取的關(guān)于發(fā)送端信源 X的信息量是： I(X。Y) bit/符號 信源在一定的時間 T內(nèi)輸出符號。不同的信道，其容量不同 . 研究信道容量的 意義 ? 2022/6/3 3 第一節(jié) 信道分類及表示參數(shù) 一、信道的分類 根據(jù)信道的用戶數(shù)量，可以分為兩端（單用戶）信道和多端信道（多用戶信道）。如加性高斯白噪聲 (AGWN)信道。 根據(jù)輸入 /輸出信號的特點，分為離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道。 波形信道：輸入 /輸出信號在時間和幅度上都是連續(xù)的。 2022/6/3 5 二、信道的參數(shù) 參數(shù)：表示輸入和輸出統(tǒng)計依賴關(guān)系的 轉(zhuǎn)移概率 。 根據(jù)信道的參數(shù)，將信道分為三大類： 無干擾信道 理想信道，信道中沒有隨機干擾 或干擾很小。 2022/6/3 8 ????????????????nmn2n12m22211m1211ijPPPPPPPPP P [P :P???????]陣）轉(zhuǎn)移概率矩陣（傳遞矩? ?? ???m1jm1jijij 1PabP1 )|(。 H(X,Y)=H(Y)=….. （ 3）信號放大問題。X)＝ Hc(X) Hc(X|Y) ＝ Hc(X)＋ Hc(Y) Hc(XY) ＝ Hc(Y) Hc(Y|X) Hc(XY)＝ Hc(X)＋ Hc(Y|X)＝ Hc(Y) ＋ Hc(X|Y) 2022/6/3 11 二、波形信源的熵 理解討論方法即可 )()( XHlim( t )H cLc ????x三、 連續(xù)信源最大熵定理 峰值功率受限的最大熵定理 對于定義域為有限的隨機變量 X，當它是均勻分布時，其熵 最大。 對于單符號信道，即 ,對于符號序列信道，即 。 條件熵 H(Y|X)又叫做 噪聲熵 的進一步理解： 確定噪聲所需要的平均信息量 就是 H(Y|X),叫作噪聲熵。 (2)將序列轉(zhuǎn)移概率看作是馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率，用馬爾科夫鏈的分析方法去處理。如果分析和設(shè)計調(diào)制 /解調(diào)器，則選擇波形信道模型。設(shè)信道傳送一個符號用時為 T，則： Rt=I(X。此最大值即是信達到確定）使得在著某種信源（由對于特定信道，一定存，有最大值。()???對于某個特定的信道，其信道容量是一定的。Y)=H(X)=H(Y) maxI(X。Y) =maxH(Y)=logm (3)有噪無損 信道（ 一對多的對應(yīng)關(guān)系 ） 噪聲熵 H(Y|X)0 ,損失熵 H(X|Y)=0,故名之。 2022/6/3 21 如果輸入、輸出都對稱，則稱該 DMC為 對稱的 DMC信道 。此時，分布，那么輸出符號也等概，如果輸入符號等概分布PHl o g ml o g PPl o g mabl o g PabPl o g m XYHl o g mXYHYm a x HCl o g mYHm1bP1 / n)aP m1jijijm1jijijji()|()|()|()|()(,)(/)((????????????????M是輸出符號集中的符號數(shù) 對轉(zhuǎn)移矩陣的行向量作求熵運算 3131616161613131P 13 求信道容量。Y) 信道 1,2,3… 串聯(lián)后等價為 容量為： C(1,2,…)=maxI(X。 由 （信息不增定理）知道：H(X)≥I(X。 ?；バ畔⒃叫?，越大如圖所示，信息曲線個相同信道串聯(lián)后的互,2022/6/3 27 四、準對稱 DMC信道的容量 準對稱信道 ：只滿足輸入對稱的信道 信道容量的計算，有兩種方法： 引入拉格朗日算子求極值。令的關(guān)于思路：???????????)()()|()|)()())]|()([)。所以：，得令/./)。39。39。和分解成：0 3 6 b i t /0 2n l o g MNPPPHl o g nC402020M803050M20N803050N2r0 . 20 . 20 . 5300 . 30 . 50 . 2 0 . 2 50303050Pr1kkk3212121.. . . . . . . .),(...............解39。Y)是關(guān)于 P(a1),P(a2),…P(a n)的多元函數(shù)，求其最大值的方法有很多，如前述拉格朗日乘子法， BlahutArimoto算法等，大都比較復(fù)雜，下面只給出相關(guān)定理。 I(ai。 2022/6/3 31 而其它符號所提供的信息量增大。Y)，若其中有一個符號 ai比其它輸入符號大，那么就可以更多地使用該符號，即增大該符號 ai出現(xiàn)的概率 P(ai)，使得加權(quán)平均后的 I(X。分為無記憶和有記憶兩種。XI( ?????????????? ??三、無記憶離散序列信道的容量 定理 ?????L1L21L21YI ( X)Y|XI(YY(YYXX(XXlll )。假設(shè)信道是無記憶的的序列為通過信道傳輸接收到隨機序列為定理二、若信道的輸入結(jié)論 ??? L1YI(X)Y|XI(l ll)。轉(zhuǎn)移矩陣為：是對稱的信道的二次擴展信道仍驗證：/))()()((,)()()()()()()()()()()()(1 . 0 6 2 b i t. . . . . . . 0 . 1P PP1PP1PP1Hl b 4CP1P1PP1PPP1PP1PP1PP1PPP1P1PPP1PP1PP1PD M CB S C22222222222??????????????????????????????????獨立并聯(lián)信道的信道容量（例如：時分復(fù)用） 將 L個相互獨立的信道并聯(lián)后，每個信道的輸 出 Yl只與本信道的輸入 Xl有關(guān)。(YX,HYHXHY|XHXHX|YHYHYXIRCCCCCCC????????2022/6/3 37 2CnCCCel o g 221YHm a xHYHm a xX|YHYHm a xYXIm a xm a x RCXXXX??????????)()()()()。所以，只相互獨立，與之和。方差為噪聲是均值為)|()(,)()(XYHnHYPXS0nHePl o g 221CS1l o g21 CC2C2??????高斯白噪聲是最惡劣的噪聲，相應(yīng)的信道容量最小。有關(guān)輸入信噪比信道容量與不同時刻的功率）個噪聲變量的方差（或第），個變量的方差（或功率輸入序列中第這里：,/ 22 P Pllllll?? ????(1)每個時刻的噪聲相同 (均值為零 ,方差為 δ2) 當輸入矢量的各個分量 Xl相互獨立，且各 分量均值為 0 方差都為 Pl = S時， )( 2S1l o g2LC