【正文】 第三章 信道及其容量 ? 信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息。 ? 研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信道容量。 信道的數(shù)學(xué)模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實(shí)際信道 編碼信道 圖 數(shù)字通信系統(tǒng)的一般模型 信道的數(shù)學(xué)模型和分類 一、信道的分類 根據(jù)載荷消息的媒體不同 根據(jù)信息傳輸?shù)姆绞? 郵遞信道 電信道 光信道 聲信道 輸入和輸出信號(hào)的形式 信道的統(tǒng)計(jì)特性 信道的用戶多少 根據(jù)信息傳輸?shù)姆绞椒诸愔? 根據(jù)信道的用戶多少：兩端 (單用戶 )信道 多端 (多用戶 )信道 根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道 反饋信道 根據(jù)信道的參數(shù)與時(shí)間的關(guān)系： 固定參數(shù)信道 時(shí)變參數(shù)信道 根據(jù)輸入和輸出信號(hào)的特點(diǎn)： 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 二、離散信道的數(shù)學(xué)模型 條件概率 P(y/x) 描述了輸入信號(hào)和輸出信號(hào)之間統(tǒng)計(jì)依賴關(guān)系。反映了 信道的統(tǒng)計(jì)特性 。 ? 根據(jù)信道的 統(tǒng)計(jì)特性即條件概率 P(y/x)的不同，離散信道又可分成三種情況： ? 無干擾信道 ? 有干擾無記憶信道 ? 有干擾有記憶信道 (1)無干擾 (噪聲 )信道 信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)y與輸入信號(hào) x 之間有確定的、一 一對(duì)應(yīng)的關(guān)系。即： y ＝ f (x) ??????)(0)(1)|(xfyxfyxyP(2)有干擾無記憶信道 ? 信道輸入和輸出之間的條件概率是一般的概率分布。 ? 如果任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱為無記憶信道。 )|(). . .|. . .()|( iiNiNN xyPxxxyyyPxyP ????12121 (3) 有干擾 (噪聲 )有記憶信道 實(shí)際信道往往是既有干擾 (噪聲 )又有記憶的這種類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號(hào) 不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)， 這樣的信道稱為有記憶信道。 三、單符號(hào)離散信道 ? 單符號(hào)離散信道： ?輸入符號(hào)為 X，取值于 {a1,a2, …,a r}。 ?輸出符號(hào)為 Y，取值于 {b1,b2, …,b s}。 ?條件概率： P(y/x)＝ P(y=bj/x=ai)＝ P(bj/ai) 這一組條件概率稱為 信道的傳遞概率 或 轉(zhuǎn)移概率 ，可以用來 描述信道干擾 影響的大小。 ? 信道中有干擾 (噪聲 )存在，可以用傳遞概率 P(bj/ai) 來描述干擾影響的大小。 ? 一般 簡(jiǎn)單的單符號(hào)離散信道 可以用 [X, P(y/x) ,Y] 三者加以描述。 ? 其數(shù)學(xué)模型可以用概率空間 [X, P(y/x) ,Y]描述。當(dāng)然，也可用下圖來描述： a1 b1 a2 b2 X . . Y . . ar bs P(bj/ai) [例 1] 二元對(duì)稱信道， [BSC， Binary Symmetrical Channel] 解： 此時(shí)， X:{0,1} 。 Y:{0,1} 。 r=s=2， a1=b1=0； a2=b2=1。 傳遞概率 : pPabPpPabPppPabPppPabP????????????)0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211? p是單個(gè)符號(hào) 傳輸發(fā)生錯(cuò)誤 的概率。 ?（ 1p）表示是 無錯(cuò)誤傳輸 的概率。 ? 轉(zhuǎn)移矩陣 : 1??????? pppp1 0 1 0 1 1－ p a1=0 0=b1 1－ p a2=1 1=b2 p p 符號(hào)“ 2”表示接收到了“ 0”、“ 1”以外的特殊符號(hào) ????????qqpp1001 0 2 1 0 1 p 0 0 1－ p 1 1 q 1－ q 2 [例 2]二元?jiǎng)h除信道。 [BEC， Binary Eliminated Channel] 解： X:{0， 1} Y:{0， 1， 2} 此時(shí)， r ＝ 2， s ＝ 3， 傳遞矩陣為： ? 一般離散單符號(hào)信道的傳遞概率可用矩陣形式表示，即 ????sjijij pp110 矩陣 P完全描述了信道的特性，可用它作為離散單符號(hào)信道的另一種數(shù)學(xué)模型 的形式。 P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱為 信道矩陣 （轉(zhuǎn)移矩陣） 。 ?????????????rsrrsspppppppppP. . .::::. . .. . .212222111211 b1 b2 … bs a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … … ar P(b1|ar) P(b2|ar) … P(bs|ar) 信道疑義度與平均互信息 本節(jié)進(jìn)一步研究離散單符號(hào)信道的數(shù)學(xué)模型下的信息傳輸問題。 一、信道疑義度 信道輸入信源 X的熵 H(X)是在接收到輸出 Y以前，關(guān)于輸入變量 X的先驗(yàn)不確定性，稱為 先驗(yàn)熵 。 )(l o g)()( 1l o g)()(1xPxPaPaPXHXirii ?? ????接受到 bj后，關(guān)于 X的不確定性為 后驗(yàn)熵在輸出符號(hào)集 Y范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符號(hào)集 Y中求數(shù)學(xué)期望，得條件熵 信道疑義度 ： 這是接收到輸出符號(hào) bj后關(guān)于 X的 后驗(yàn)熵 。 后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號(hào) bj后 ， 關(guān)于輸入符號(hào)的信息測(cè)度 。 )|(1l o g)|()|(jXjj bxPbxPbXH ??)/()()]/([)|(1jsjjj bXHbPbXHEYXH ?????????ri jijisjj baPbaPbP11 )|(1l o g)|()()|(1lo g)(, yxPxyPYX??互信息量 I(xi 。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l