【正文】 2023/1/20 56 信道達到充分利用時，輸入和輸出符號的概率分布唯一嗎？ 2023/1/20 57 課堂練習 ? 設在平均功率受限高斯加性噪聲連續(xù)信道中，信道帶寬為 3KHZ，又設（信號功率＋噪聲功率） /噪聲功率＝ 10db。② 減小信息傳輸速率 R。 ? 由上式可知，要減少誤碼率 Pe就應當增大碼長 N或增大可靠性函數Er(R) 。在工程上， Pe通常指二進制信道的誤比特率，有時也稱誤碼率。因為在證明的過程中是完全“隨機地”去選擇一個碼。 ? 連續(xù)信道也有類似結論。 結 論 連續(xù)信道 2023/1/20 53 ? 信道編碼定理： 若有一離散無記憶平穩(wěn)信道，其容量為 C，輸入序列長度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當 L足夠長時，譯碼差錯概率 Peε， ε為任意大于零的正數。 該結論實際上指出了信號有效帶寬與發(fā)射功率互換的有效性問題。 ? 當信道上的信噪比小于 1時（低于 0db），信道的信道容量并不等于 0，這說明此時信道仍具有傳輸消息的能力。 結 論 連續(xù)信道 2023/1/20 49 ? 香農公式說明： ? 當信道容量一定時，增大信道帶寬，可以降低對信噪功率比的要求；反之，當信道頻帶較窄時，可以通過提高信噪功率比來補償 。由概率論可知：若輸入 X是均值為 0、方差為 σ2X= PX的高斯隨機變量，即 X的概率密度函數為 p(x) ，則可以證明，輸出 Y的概率密度函數就等于 平均功率受限的加性信道的信道容量 連續(xù)信道 2023/1/20 45 ? 即當輸入隨機變量 X的概率密度是均值為 0、方差 σ2X的高斯隨機變量； ? 加性信道的噪聲 N是均值為 0、方差為 σ2的高斯隨機變量時； ? 輸出隨機變量 Y也是一個高斯隨機變量，其均值為 0、方差為 σ2Y = σ2X + σ2 = PY 。(max )()()( NHYHXYHYHYXIC ccxpccxpxp ????? ? ? )()(max)( NHYHC ccxp ?? 加性連續(xù)信道的信道容量 2023/1/20 42 ? 高斯加性連續(xù)信道： 高斯噪聲為 N，均值為 0，方差為 σ2 ，噪聲功率為 PN； ? 信道的傳遞概率密度函數： p(y/x)=p(n) ? 如果把 x看成是一個常數，則上式就變成了隨 y變化的高斯函數，即當已知 X=x時， Y也是一個高斯變量，均值為x，方差為 σ2。 該結論說明了條件熵是由于信道中噪聲引起的，它完全等于噪聲信源的不確定性，即噪聲信源的熵，所以稱它為噪聲熵。如下圖所示。 ? 連續(xù)信道的信道容量 C：信源 X等于某一概率密度函數p0(x)時，信道平均互信息的最大值，即 ? 一般連續(xù)信道的容量并不容易計算，當信道為加性信道時，情況要簡單一些。 2023/1/20 35 連續(xù)信道的定義及數學模型 連續(xù)信道的信道容量 加性連續(xù)信道的信道容量 高斯加性連續(xù)信道的信道容量 平均功率受限的加性信道的信道容量 結論 連續(xù)信道 2023/1/20 36 ? 連續(xù)信道定義 ：輸入和輸出隨機變量都取值于連續(xù)集合的信道。對于離散無損信道，如何進行轉換，才能使信道的信息傳輸率達到信道容量，達到信源與信道的匹配呢？－香農無失真信源編碼定理。 ? 信道冗余度定義： 信道冗余度＝ CI(X。 ? 兩個相關信源用兩個獨立信道傳送的多用戶信道模型。 2023/1/20 32 ? 定義： 具有一個輸入和多個輸出的信道稱為廣播信道。 ? U1至 U’1的信息率 R1，信道容量 C1 ? U2至 U’2的信息率 R2，信道容量 C2 ? 總信道容量 C12 多址接入信道 多用戶信道 2023/1/20 29 ? 二址接入信道信息率和信道容量之間滿足如下條件 ? 這些條件確定了二址接入信道以 R1和 R2為坐標的二維空間中的某個區(qū)域（圖中陰影部分），這個區(qū)域的界線就是二址接入信道的容量。例如：計算機通信、衛(wèi)星通信、廣播通信、有線電視等。 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 2023/1/20 26 ? 單路通信系統(tǒng) ：不論是單符號的還是多符號的，都只有一個輸入端和一個輸出端的信道稱為單用戶信道，相應的通信系統(tǒng)稱為單路通信系統(tǒng)。 ? 用 C表示離散無記憶信道容量，用 CN表示其擴展信道容量， CN=NC 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 2023/1/20 24 ?獨立并聯(lián)信道 ? 獨立并聯(lián)信道 /獨立并列 /獨立平行 /積信道 ：輸入和輸出隨機序列中的各隨機變量取值于不同的符號集，就構成了獨立并聯(lián)信道。 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 )。(,2,1,1)()()()()()()()(log)()()()(log)()(log)()(1 1112211121121YXYYXY所以其中 ????????2023/1/20 22 ? 單符號離散無記憶信道與其 N次擴展信道信道容量之間的關系 ? 由于離散無記憶信源的 N次擴展信源中的隨機變量都取自同一符號集 Xk∈ {x1x2… xN}(k=1,2, …, N) ，并具有相同的概率分布，而且都通過同一個離散無記憶信道 [X P(Y/X) Y] ， 信道輸出端隨機變量序列中的隨機變量 Yk(k=1,2, …, N)也取自同 一符號集并具有相同的概率分布，而且相互統(tǒng)計獨立。 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 ?????? ??? ??? ??????? ??? ??? ?????????????????????????????????NkkkNkkNkkkmjjNkkNmjmjjjjmjjmjmjjjjmjjjjjmjmjjjjYXIIYHHYXIINkypYHYHYHYHypypypypypypypypyyypyyypHkkNNNNNNNNNN11111211 1211 1211 12)。( ????2023/1/20 20 ? 當且僅當信源 X =X1X2… XN無記憶，或者說信源 X是離散無記憶信源X的 N次擴展信源 XN =X1X2… XN時，即 ? 即輸出端各 Yk(k =1,2,…, N)相互獨立。()。 ? 離散無記憶信道的 N次擴展信道的數學模型可以用下圖表示 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 2023/1/20 18 ? 單符號離散無記憶信道與其 N次擴展信道平均互信息之間的關系 ? 離散無記憶信道 N次擴展信道兩端的平均互信息為 I(X。 ? 無預感性 ： k時刻之前的輸出隨機變量序列 Y1Y2… Yk1只與 k時刻之前的輸入隨機變量序列 X1X2… Xk1有關，與以后的第 k時刻的輸入隨機變量 Xk無關。 ?多符號離散信道數學模型 ? 設信源矢量 X的每一個隨機變量 Xk(k=1,2,…, N)均取自并取遍于信道的輸入符號集 {x1,x2,…, xn} ，則信源共有 nN個不同的元素ai(i=1,2,…, nN)。 ?????? ??? 1 0121111 2 2 212 2 2 21221( / ) ( / ) l og ( / ) 0( 1 ) l og ( 1 ) l og ( 1 )l og l og ( 1 ) l og ( 1 )1l og 2 l og 1 ( 1 )j