【正文】 時(shí) ， 信 道 矩 陣 為 :　 　前 向 概 率因 此 ， 噪 聲 熵 。如右圖所示 ? ?? ?31 / 2 1/ 2 0 0 0 0 0 0 3/ 5 3/ 10 1/ 10 0 0 0 0 0 0 10 y|1 y|0jiijjinPBp x yBH X Y?????????????? ?????當(dāng) 時(shí) ， 其 信 道 矩 陣 為信 道 的 后 向 概 率故 知 損 失 熵1/10 my?5y3x 6y?3B1x1y2y1B1/2 1/2 1 ?2x3y4y 2B3/5 3/10 nxnBX Y28 無損信道的信道容量 ? ?( ) ( )|0 ( 。因 為損 失 熵 等 于 信 源 所 含 有 的 信 息 量 　 減 去　 　 　 　 　 信 道 輸 出 端 接 收 到 符 號 集 之 后　 　 　 　 　 平 均 每 個(gè) 符 號 所 獲 得 的 關(guān) 于 輸 入 集 的 信 息 量 。 1 , 2 , ,jmijp i n????24 幾種特殊離散信道的信道容量 ? 離散無噪信道的信道容量 ? 具有一一對應(yīng)關(guān)系的無噪信道 ? 具有擴(kuò)展性能的無噪信道 ? 具有歸并性能的無噪信道 ? 強(qiáng)對稱離散信道的信道容量 ? 對稱離散信道的信道容量 ? 準(zhǔn)對稱離散信道的信道容量 25 離散無噪信道 ? 離散無噪信道的輸出 Y與輸入 X之間有著確定的關(guān)系，一般有以下三類： ? 無損信道 ? 無噪（確定）信道 ? 無噪無損信道 26 損失熵 H(X/Y)與噪聲熵 H(Y/X) ? ?? ? ? ? ? ?? ?? ? ? ? ? ?| | 。 ? 如果平均傳輸一個(gè)符號需要 t 秒鐘，則信道在單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘? Ct（單位：比特 /秒）為： ()1 m a x { ( 。Y )是接收到符號 Y 后平均每個(gè)符號獲得的關(guān)于 X 的信息量。 ? 實(shí)際中信道傳送的信息量必須小于信道容量，否則在傳送過程中將會出現(xiàn)錯(cuò)誤。Y ) 的值是由信道傳遞概率決定的。Y)最大，而相應(yīng)的概率分布 p (x) 稱為 最佳輸入分布 。 16 第 3章 信道容量 ? 信道的數(shù)學(xué)模型和分類 ? 單符號離散信道的信道容量 ? 信道容量的定義 ? 幾種特殊離散信道的信道容量 ? 離散信道容量的一般計(jì)算方法 ? 多符號離散信道 ? 多用戶信道 ? 連續(xù)信道 ? 信道編碼定理 17 信道容量的定義 ? 定義：信道容量為平均互信息的最大值 ? 其單位是比特 /符號或奈特 /符號。Y ) 。 1 / 2??ww14 例 ? 二元對稱信道的平均互信息為 ? 定理：當(dāng)固定信源的概率分布 w 時(shí)，則平均互信息 I (X。 1 / 2??ww13 例 ? 圖示曲線表明，對于固定的信道，輸入符號集 X的概率分布不同時(shí)，在接收端平均每個(gè)符號所獲得的信息量就不同。 ) ( ) ( )I X Y H w p w p H p? ? ?12 例 ? 圖示曲線表明，對于固定的信道，輸入符號集 X的概率分布不同時(shí)，在接收端平均每個(gè)符號所獲得的信息量就不同。 平均互信息量 10 例 分析二元對稱信道 ? 考慮二元信道 01 =11X p pP w w p ppp? ? ? ? ? ?? ??? ? ? ??? ? ? ? ? ???P信 源 概 率 空 間 為 ： 信 道 矩 陣 為 ：其 中 ， 為 信 道 錯(cuò) 誤 傳 遞 概 率 。X)=H(X) ? 對于固定的信源分布，平均互信息量 I(X。 ) ( ) ( / )d e fI X Y H X H X Y??9 ? 平均互信息量等于 X， Y的熵與它們的聯(lián)合熵之差，即 ? I(X。 6 信道的分類４－按統(tǒng)計(jì)特性 根據(jù)信道的統(tǒng)計(jì)特性 ： ? 恒參信道 ：統(tǒng)計(jì)特性不隨時(shí)間變化； ? 隨參信道 ：統(tǒng)計(jì)特性隨時(shí)間變化。 ? 信道的數(shù)學(xué)模型： {X P(y/x) Y} 信道 X Y 干擾 ( / )p y x3 信道的分類１－按時(shí)間特性 根據(jù)輸入輸出事件的時(shí)間特性和集合的特點(diǎn) ： ? 離散信道 ：輸入離散，輸出離散 ? 連續(xù)信道 ：輸入連續(xù)，輸出連續(xù) ? 半連續(xù)信道 ：輸入和輸出一個(gè)離散一個(gè)連續(xù) ? 時(shí)間離散的連續(xù)信道 ：輸入和輸出分別為有限個(gè)或可數(shù)無限個(gè)取自連續(xù)集的序列 4 信道的分類２－按輸入輸出個(gè)數(shù) 根據(jù)信道的輸入和輸出個(gè)數(shù) ： ? 兩端信道（兩用戶信道） ：輸入和輸出均只有一個(gè)事件集； ? 多端信道（多用戶信道） ：輸入和輸出中至少有一個(gè)具有兩個(gè)或兩個(gè)以上的事件集。1 第 3章 信道容量 ? 信道的數(shù)學(xué)模型和分類 ? 單符號離散信道的信道容量 ? 信道容量的定義 ? 幾種特殊離散信道的信道容量 ? 離散信道容量的一般計(jì)算方法 ? 多符號離散信道 ? 多用戶信道 ? 連續(xù)信道 ? 信道編碼定理 2 信道的數(shù)學(xué)模型和分類 ? 信道是信息傳輸?shù)拿浇榛蛲ǖ馈? 5 信道的分類３－按信道接入 根據(jù)信道接入的不同 ： ? 多元接入信道 ：多個(gè)不同信源的信息經(jīng)編碼后送入統(tǒng)一信道傳輸，接收端譯碼后再送給不同的信宿。 7 信道的分類５－按記憶特性 根據(jù)信道的記憶特性 ? 無記憶信道 ：信道輸出僅與當(dāng)前的輸入有關(guān)； ? 有記憶信道 ：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過去的輸入有關(guān)。Y)= H(X)+H(Y)—H(X,Y) ? 平均互信息量總大于或等于 0，即 ? I(X。Y)是信道傳遞概率 p(y/x)的下凸函數(shù)。1 p?1 p?ppX Y1 0a?2 1a ?10 b?21 b?11 例 ? 二元對稱信道的平均互信息為： ? 定理：當(dāng)信道固定，即 p 為一個(gè)固定常數(shù)時(shí)，可得出 I (X。 ? 當(dāng)輸入符號為等概率分布時(shí)，即 平均互信息量 I (X。 ? 當(dāng)輸入符號為等概率分布時(shí)，即 平均互信息量 I (X。Y) 是信道特性 p 的下凸函數(shù)，如下圖所示： ( 。 ? 當(dāng) p = 1/2 時(shí)， I ( X。 ? 平均互信息 I (X。 ()m a x { ( 。 ? 信道傳遞概率矩陣描述了信道的統(tǒng)計(jì)特性 ? 平均互信息 I (X。 19 信息傳輸率 R與信息傳輸速率 Rt ? R 定義為：信道中平均每個(gè)符號所能傳送的信息量。 ? 信道的信息傳輸率就是平均互信息 ? R = I ( X。 ) }?t pxC I X Yt21 第 3章 信道容量 ? 信道的數(shù)學(xué)模型和分類 ? 單符號離散信道的信道容量 ? 信道容量的定義 ? 幾種特殊離散信道的信道容量 ? 離散信道容量的一般計(jì)算方法 ? 多符號離散信道 ? 多用戶信道 ? 連續(xù)信道 ? 信道編碼定理 22 單符號離散信道 ? 單符號離散信道的輸入和輸出都是單個(gè)隨機(jī)變量，其數(shù)學(xué)模型如下圖： ? 信道的輸入隨機(jī)變量取值于符號集 X ? 信道的輸出隨機(jī)變量取值于符號集 Y ? 信道的傳遞概率為 1 , 2 , 1 , 2 ,{ ..., } 。| | 。稱 為 噪 聲 熵 ， 反 映 了 信 道 中 噪 聲 源 的 不 確 定 性 。 ) ( ) ( ) C= m a x { ( 。?5xnx3x4x1x2x1y2ym