【正文】 并取遍于信道的輸入符號集 {x1,x2,…, xn} ，則信源共有 nN個不同的元素ai(i=1,2,…, nN)。 ? ?NNmjjjjjjjmjmjjjyyyyyyyyyb NN,2,1,2,1,)(21212121?????????? 多符號離散信道的數學模型 多符號離散信道 ??????????????)/()/()/()/()/()/()/()/()/(212222111211NNNNNNnmnnmmabpabpabpabpabpabpabpabpabp??????? 多符號離散信道 /單符號離散信 道的 N次擴展信道數學模型如 圖所示。 ? 無預感性 ： k時刻之前的輸出隨機變量序列 Y1Y2… Yk1只與 k時刻之前的輸入隨機變量序列 X1X2… Xk1有關，與以后的第 k時刻的輸入隨機變量 Xk無關。 ? 離散無記憶信道的 N次擴展信道既是無記憶的，又是無預感的。 ? 離散無記憶信道的 N次擴展信道的數學模型可以用下圖表示 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 2023/1/20 18 ? 單符號離散無記憶信道與其 N次擴展信道平均互信息之間的關系 ? 離散無記憶信道 N次擴展信道兩端的平均互信息為 I(X。( ?XYYYX2023/1/20 19 ? 第 k個隨機變量 Xk單獨通過單符號離散信道時的平均互信息 ? N個輸入、輸出變量的平均互信息之和為 ? 上兩式相減得 ? ? ? ? ? ?? ? ??? ? ???????NkNkNk kkkNk kkkkkNkXYHYHXYHYHYXI1 1 11,2,1,)/()()/()()。()。()。( ????2023/1/20 20 ? 當且僅當信源 X =X1X2… XN無記憶，或者說信源 X是離散無記憶信源X的 N次擴展信源 XN =X1X2… XN時，即 ? 即輸出端各 Yk(k =1,2,…, N)相互獨立。( )()()()/()()/()()/()()/()/()()()()/()()()(,2,1,)()()()()(21222211111112111112121211111 11 121NNNNNNNNNNNNNNNNjjjijniiijniiijniiijijniniiiininiiijjiijjjjNiiiiiiiypypypxypxpxypxpxypxpxypxypxpxpxpxxyypxxpyyypbpniiixpxpxpxxxpap?????????????????????????? ?? ????? ?? ?才有? 結論 1： 離散無記憶信道的 N次擴展信道的平 均互信息，不大于 N個隨機變量 X1X2… XN單 獨通過信道 {X P(Y/X) Y}的平均互信息之和 。 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 ?????? ??? ??? ??????? ??? ??? ?????????????????????????????????NkkkNkkNkkkmjjNkkNmjmjjjjmjjmjmjjjjmjjjjjmjmjjjjYXIIYHHYXIINkypYHYHYHYHypypypypypypypypyyypyyypHkkNNNNNNNNNN11111211 1211 1211 12)。(0)()()。(,2,1,1)()()()()()()()(log)()()()(log)()(log)()(1 1112211121121YXYYXY所以其中 ????????2023/1/20 22 ? 單符號離散無記憶信道與其 N次擴展信道信道容量之間的關系 ? 由于離散無記憶信源的 N次擴展信源中的隨機變量都取自同一符號集 Xk∈ {x1x2… xN}(k=1,2, …, N) ，并具有相同的概率分布，而且都通過同一個離散無記憶信道 [X P(Y/X) Y] ， 信道輸出端隨機變量序列中的隨機變量 Yk(k=1,2, …, N)也取自同 一符號集并具有相同的概率分布，而且相互統(tǒng)計獨立。 Yk)= I(X。 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 )。()。 ? 用 C表示離散無記憶信道容量，用 CN表示其擴展信道容量， CN=NC 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 2023/1/20 24 ?獨立并聯(lián)信道 ? 獨立并聯(lián)信道 /獨立并列 /獨立平行 /積信道 ：輸入和輸出隨機序列中的各隨機變量取值于不同的符號集，就構成了獨立并聯(lián)信道。 ?輸入隨機序列 X=X1X2… XN ， Xk∈ {x1k,x2k,…, xnk} ?輸出隨機序列 Y=Y1Y2… YN ， Yk∈ {y1k,y2k,…, ynk} ? N個獨立并聯(lián)信道的容量 CN ?第 k個單符號離散無記憶信道的信道容量 Ck ?當輸入端各隨機變量統(tǒng)計獨立，且每個輸入隨機變量 Xk (k=1,2, …, N) 的概率分布達到各自信道容量 Ck(k=1,2, …, N)的最佳分布時， CN達到其最大值： 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 ??????? Nk kNN CCCCC 121 ???? Nk kNC1ma x2023/1/20 25 ? 獨立并聯(lián)信道推廣到更一般情況： ? 輸入各隨機變量不但取值于不同的符號集，而且各集合的元素個數也不相同； ? 輸出隨機變量也取值于不同的符號集合，各集合的元素個數也不相同； ? 這種更一般的信道可得到與上述類似的結論。 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 2023/1/20 26 ? 單路通信系統(tǒng) ：不論是單符號的還是多符號的，都只有一個輸入端和一個輸出端的信道稱為單用戶信道，相應的通信系統(tǒng)稱為單路通信系統(tǒng)。 ? 網絡信息論 /多用戶信息論：研究多路通信系統(tǒng)信息傳遞的理論。例如：計算機通信、衛(wèi)星通信、廣播通信、有線電視等。這是有多個輸入端但只有一個輸出端的多用戶信道。 ? U1至 U’1的信息率 R1，信道容量 C1 ? U2至 U’2的信息率 R2，信道容量 C2 ? 總信道容量 C12 多址接入信道 多用戶信道 2023/1/20 29 ? 二址接入信道信息率和信道容量之間滿足如下條件 ? 這些條件確定了二址接入信道以 R1和 R2為坐標的二維空間中的某個區(qū)域（圖中陰影部分），這個區(qū)域的界線就是二址接入信道的容量。(m ax)/。 2023/1/20 32 ? 定義： 具有一個輸入和多個輸出的信道稱為廣播信道。 廣播信道 多用戶信道 信 源 1信 源 2編 碼 器譯 碼 器 2信 道譯 碼 器 1U1U2XY1U ’1U ’2圖 3 . 4 . 4 單 輸 入 雙 輸 出 廣 播 信 道 模 型Y22023/1/20 33 ? 定義： 由多個單用戶信道組成的并聯(lián)信道，傳送相互有關的多路信息的信道。 ? 兩個相關信源用兩個獨立信道傳送的多用戶信道模型。 相關信源的多用戶信道問題 多用戶信道 2023/