【正文】 X)+H(Y)—H(X,Y) ? 平均互信息量總大于或等于 0，即 ? I(X。 ( 。 7 信道的分類５－按記憶特性 根據(jù)信道的記憶特性 ? 無記憶信道 ：信道輸出僅與當(dāng)前的輸入有關(guān)； ? 有記憶信道 ：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過去的輸入有關(guān)。 ? 廣播信道 ：單一輸入，多個(gè)輸出。 5 信道的分類３－按信道接入 根據(jù)信道接入的不同 ： ? 多元接入信道 ：多個(gè)不同信源的信息經(jīng)編碼后送入統(tǒng)一信道傳輸，接收端譯碼后再送給不同的信宿。 X與 Y之間是統(tǒng)計(jì)依賴關(guān)系。1 第 3章 信道容量 ? 信道的數(shù)學(xué)模型和分類 ? 單符號(hào)離散信道的信道容量 ? 信道容量的定義 ? 幾種特殊離散信道的信道容量 ? 離散信道容量的一般計(jì)算方法 ? 多符號(hào)離散信道 ? 多用戶信道 ? 連續(xù)信道 ? 信道編碼定理 2 信道的數(shù)學(xué)模型和分類 ? 信道是信息傳輸?shù)拿浇榛蛲ǖ?。信道可以看成是一個(gè)變換器，它將輸入事件 X變換成輸出事件 Y。 ? 信道的數(shù)學(xué)模型： {X P(y/x) Y} 信道 X Y 干擾 ( / )p y x3 信道的分類１－按時(shí)間特性 根據(jù)輸入輸出事件的時(shí)間特性和集合的特點(diǎn) ： ? 離散信道 ：輸入離散，輸出離散 ? 連續(xù)信道 ：輸入連續(xù)，輸出連續(xù) ? 半連續(xù)信道 ：輸入和輸出一個(gè)離散一個(gè)連續(xù) ? 時(shí)間離散的連續(xù)信道 ：輸入和輸出分別為有限個(gè)或可數(shù)無限個(gè)取自連續(xù)集的序列 4 信道的分類２－按輸入輸出個(gè)數(shù) 根據(jù)信道的輸入和輸出個(gè)數(shù) ： ? 兩端信道（兩用戶信道） ：輸入和輸出均只有一個(gè)事件集； ? 多端信道（多用戶信道） ：輸入和輸出中至少有一個(gè)具有兩個(gè)或兩個(gè)以上的事件集。如在衛(wèi)星通信系統(tǒng)中的應(yīng)用。 6 信道的分類４－按統(tǒng)計(jì)特性 根據(jù)信道的統(tǒng)計(jì)特性 ： ? 恒參信道 ：統(tǒng)計(jì)特性不隨時(shí)間變化； ? 隨參信道 ：統(tǒng)計(jì)特性隨時(shí)間變化。 8 平均互信息 ? 定義：原始信源熵與信道疑義度之差稱為平均互信息 ? 含義：接收到輸出符號(hào)集 Y以后，平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量。 ) ( ) ( / )d e fI X Y H X H X Y??9 ? 平均互信息量等于 X， Y的熵與它們的聯(lián)合熵之差，即 ? I(X。Y)=I(Y。X)=H(X) ? 對于固定的信源分布，平均互信息量 I(X。 ? 對于固定的信道，平均互信息 I(X。 平均互信息量 10 例 分析二元對稱信道 ? 考慮二元信道 01 =11X p pP w w p ppp? ? ? ? ? ?? ??? ? ? ??? ? ? ? ? ???P信 源 概 率 空 間 為 ： 信 道 矩 陣 為 ：其 中 ， 為 信 道 錯(cuò) 誤 傳 遞 概 率 。Y )是信源分布 w 的上凸函數(shù)，如下圖所示（固定二元對稱信道的平均互信息） ( 。 ) ( ) ( )I X Y H w p w p H p? ? ?12 例 ? 圖示曲線表明，對于固定的信道，輸入符號(hào)集 X的概率分布不同時(shí)，在接收端平均每個(gè)符號(hào)所獲得的信息量就不同。Y )為最大值，這時(shí)，接收每個(gè)符號(hào)所獲得的信息量最大。 1 / 2??ww13 例 ? 圖示曲線表明，對于固定的信道，輸入符號(hào)集 X的概率分布不同時(shí)，在接收端平均每個(gè)符號(hào)所獲得的信息量就不同。Y )為最大值，這時(shí)，接收每個(gè)符號(hào)所獲得的信息量最大。 1 / 2??ww14 例 ? 二元對稱信道的平均互信息為 ? 定理：當(dāng)固定信源的概率分布 w 時(shí)，則平均互信息 I (X。 ) ( ) ( )I X Y H w p w p H p? ? ?( 。Y ) 。Y ) = 0，即在信道輸出端獲得的信息最小，這意味著信源的信息全部損失在信道中，這是一種最差的信道，其噪聲最大。 16 第 3章 信道容量 ? 信道的數(shù)學(xué)模型和分類 ? 單符號(hào)離散信道的信道容量 ? 信道容量的定義 ? 幾種特殊離散信道的信道容量 ? 離散信道容量的一般計(jì)算方法 ? 多符號(hào)離散信道 ? 多用戶信道 ? 連續(xù)信道 ? 信道編碼定理 17 信道容量的定義 ? 定義：信道容量為平均互信息的最大值 ? 其單位是比特 /符號(hào)或奈特 /符號(hào)。Y ) 是輸入變量 X 概率分布 p(x) 的上凸函數(shù)。Y)最大，而相應(yīng)的概率分布 p (x) 稱為 最佳輸入分布 。 ) } 　?d e fpxC I X Y18 信道容量的概念 ? 信道容量 C僅與信道的統(tǒng)計(jì)特性有關(guān)，與信源分布無關(guān)。Y ) 的值是由信道傳遞概率決定的。Y ) 在數(shù)值計(jì)算上表現(xiàn)為輸入分布 p(x) 的上凸函數(shù)，所以存在一個(gè)使某一特定信道的信息量達(dá)到極大值信道容量 C的信源。 ? 實(shí)際中信道傳送的信息量必須小于信道容量，否則在傳送過程中將會(huì)出現(xiàn)錯(cuò)誤。單位為：比特 /符號(hào)。Y )是接收到符號(hào) Y 后平均每個(gè)符號(hào)獲得的關(guān)于 X 的信息量。Y ) ? 如果平均傳輸一個(gè)符號(hào)為 t 秒，則信道每秒平均傳輸?shù)男畔⒘? Rt（單位：比特 /秒）， 一般稱為信息傳輸速率： 1 ( 。 ? 如果平均傳輸一個(gè)符號(hào)需要 t 秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘? Ct（單位：比特 /秒）為： ()1 m a x { ( 。 { ..., }nmX x x x Y y y y??信道 ( / )jip y xX Y ( / )ij j ip p y x?23 簡單的離散無記憶信道 ? 信道矩陣為： ? 且滿足 ? 這意味著矩陣中每一行之和為 1。 1 , 2 , ,jmijp i n????24 幾種特殊離散信道的信道容量 ? 離散無噪信道的信道容量 ? 具有一一對應(yīng)關(guān)系的無噪信道 ? 具有擴(kuò)展性能的無噪信道 ? 具有歸并性能的無噪信道 ? 強(qiáng)對稱離散信道的信道容量 ? 對稱離散信道的信道容量 ? 準(zhǔn)對稱離散信道的信道容量 25 離散無噪信道 ? 離散無噪信道的輸出 Y與輸入 X之間有著確定的關(guān)系，一般有以下三類： ? 無損信道 ? 無噪（確定）信道 ? 無噪無損信道 26 損失熵 H(X/Y)與噪聲熵 H(Y/X) ? ?? ? ? ? ? ?? ?? ? ? ? ? ?| | 。稱 為 損 失 熵 ， 即 信 道 疑 義 度 。因 為損 失 熵 等 于 信 源 所 含 有 的 信 息 量 　 減 去　 　 　 　 　 信 道 輸 出 端 接 收 到 符 號(hào) 集 之 后　 　 　 　 　 平 均 每 個(gè) 符 號(hào) 所 獲 得 的 關(guān) 于 輸 入 集 的 信 息 量 。因 為噪 聲 熵 等 于 輸 出 信 源 所????H X YH X Y H X I X YXYXH Y XH Y X H Y I X YY 含 有 的 信 息 量 　 減 去　 　 　 　 　 信 道 輸 出 端 接 收 到 符 號(hào) 集 之 后　 　 　 　 　 平 均 每 個(gè) 符 號(hào) 所 獲 得 的 關(guān) 于 輸 入 集 的 信 息 量 。如右圖所示 ? ?? ?31 / 2 1/ 2 0 0 0 0 0 0 3/ 5 3/ 10 1/ 10 0 0 0 0 0 0 10 y|1 y|0jiijjinPBp x yBH X Y?????????????? ?????當(dāng) 時(shí) ， 其 信 道 矩 陣 為信 道 的 后 向 概 率故 知 損 失 熵1/10 my?5y3x 6y?3B1x1y2y1B1/2 1/2 1 ?2x3y4y 2B3/5 3/10 nxnBX Y28 無損信