【正文】 p有可能為負值，此時的 C 就不存在，必須對ip進行調(diào)整，再重新求解 C 。 )kkkp I a Y I X Y??( 。i , j229。 p k =182。( xpYXI 為 ()pxjijjiiji qpppYXI ??,log)。為了書寫方便， 記 。(m a x ?? YXIC離散單符號信道及容量 比特 ∕符號 得到 ,p= ，所以信道容量為 從上例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，不借用計算機很難求出最佳分布，所以一般離散信道的信道容量的求解要通過計算機來進行。(j ji ibpapYXI | )( )(l og)jiji bp abpa )l o l o ()。235。235。249。(j ji ibpapYXI | )( )(l og)jiji bp abpa 由公式 pppbppppbp)1()()1()(21??????????離散單符號信道及容量 P ( b j ) = p ( a i ) p ( b ji = 1r229。 如果信道輸入、輸出符號數(shù)量較少，這種方法是可行的。249。234。249。234。249。234。249。234。249。234。249。234。249。234。 ?????nkkks MNpppHrC121 l og),(l og ?【 例 】設(shè)某信道的轉(zhuǎn)移矩陣為 求：信道容量 。稱這類信道為準對稱信道。一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于 1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于 1。 例 ??????3131616161613131??????????216131312161613121和 對稱信道 離散單符號信道及容量 ? ??P??????3161316161613131?????? 不對稱 離散單符號信道及容量 對稱信道的容量 : 由于對稱信道是關(guān)于輸入對稱，而輸入對稱信道的容量為 離散單符號信道及容量 C = m a xp ( ai )I ( X , Y ) = m a xp ( ai )H ( Y ) H ( Y | X )且滿足 H ( Y | X ) = H ( Y | a i ) 與信道輸入的分布無關(guān)，只與條件概率分布有關(guān) . H (Y | X )為了討論問題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對應(yīng)的條件概率分別為 (p1,p2… ..ps)，有 : 對稱信道輸出也是對稱的，當(dāng)信道輸入是等概率分布時，信道輸出也是等概率分布 ,取得最大值 sYHiaplo g)(m a x)( ?離散單符號信道及容量 H ( Y | X ) = H ( p 1 , p 2 , , p s )則對稱信道容量 ),(l o g),(m a x 21)( sap pppHsYXICi???? 對稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號集合的數(shù)量有關(guān)。 P ( b j ) = p ( a i ) p ( b ji = 1r229。 C = m a xp ( a i ) I ( X 。(m a x {)(YXICxp?? 1. 無干擾離散信道 無噪無損信道 ? ? ? ? 符號比特 /l og)(m a x)。而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問題 )( 1 ?bp )( 2 ?bp )( 3 ?bpp ( b 1 ) 185。 Y ) = m a xp ( a i ) H ( Y ) H ( p 1 , p 2 , , p s )離散單符號信道及容量 為了表示方便起見，假設(shè)轉(zhuǎn)移矩陣首行元素為 則有 H ( Y | a i ) = H ( p 1 , p 2 , , p s )由于 I ( X 。Y)=H(X) 才能取得最大值，所以先驗概率的最佳分布就是 使得 p(aj)=1/r 的分布。Y)=H(Y). 信道容量為 信道容量 sYHYXIC l o g)}(m a x {)}。 Y ) = H ( X ) H ( X | Y ) = H ( X ) = H ( Y ) 根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)極大熵定理可知，當(dāng)輸入符號的先驗概率為等概率分布時， H(X) 取得最大值 ,信道容量為 比特 ∕符號 所以當(dāng)輸入信源滿足等概率分布時，信息傳輸率最大，達到信道容量。 這類信道在實際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進行研究。 信道容量 如果信道輸入滿足最佳分布，信息傳輸率最大，即達到信息容量 C；如果信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達到信息容量 C。 0 , i = 1 , 2 , , rp ( a i ) = 1i = 1r229。Y ) 互信息量 是輸入符號 X 概率分布的凸函數(shù)。= 1 數(shù)學(xué)模型 設(shè)信道輸入符號是有限、離散的 ,其輸入字符集 X = 0x , 1x ... r 1x{ }信道輸出 )( ??s ? ????? ,Y稱離散輸入 ,連續(xù)輸出信道 . 即 又稱半離散或半連續(xù)信道。247。246。231。247。247。231。232。234。 p ( a i , b j ) = p ( b j ) p ( a i b j )p (a i b j ) 數(shù)學(xué)模型 可以得到后驗概率為 ????????????)()()(21sbpbpbp?????????????)()()(21rapapap?????rrijiijijjijiabpapabpapbpbapbap1)()()()()(),() (= PT(Y︱ X) 由前向概率和先驗概率可計算出信道輸出符號概率 p ( b j ) = p ( a i ) p ( b j a i )i = 1r229。故信道的分析用統(tǒng)計方法。 表明：在輸入 x的情況下，信道輸出 y的取值只能是其中的一個，不可能還有其他的取值。 移動通信的信道、光盤存儲屬于該類信道。 ? 隨機差錯信道： 信道中傳輸碼元所遭受的噪聲是隨機的、獨立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯誤不會成串出現(xiàn)。如短波電離層反射信道、對流層散射信道等。 信道分類 2．恒參信道和隨參信道 ?恒參信道： 信道的統(tǒng)計特性不隨時間而變化。 ? 本章重點在于研究一個輸入端和一個輸出端的信道，即單用戶信道。信息論與編碼基礎(chǔ)教程 第 3章 信道及信道容量 本章主要內(nèi)容 信源與信道的匹配 * 連續(xù)信道及其容量 本次課內(nèi)容 信道的基本概念 離散單符號信道及容量 數(shù)學(xué)模型 信道容量 信道 (information channels)： 是信號的傳輸媒質(zhì)。 相關(guān)知識復(fù)習(xí) ? 本章主要討論離散信道的統(tǒng)計特性和數(shù)學(xué)模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導(dǎo)出信道容量的概念和幾種比較典型的信道的信道容量計算方法。 無線信道： 地波傳播、短波電離層反射、 超短波或微波視距中繼、人造 衛(wèi)星中繼以及各種散射信道等。大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度而變化。 信道分類 5．隨機差錯信道和突發(fā)差錯信道。 如：衰落信道、碼間干擾信道。 離散單符號信道及容量 設(shè)離散信道的輸入變量為 X，輸出變量為 Y，對應(yīng)的概率空間分別為 ??????????????????????????)()()()()()()()(21212121ssrrbpbpbpbbbypYapapapaaaxpX????輸入符號集合的元素個數(shù)為 r，輸出符號集合的元素個數(shù)為 s 數(shù)學(xué)模型 i=1， 2， …， r， j=1， 2， …， s。 ???????????????)()()()()()()()()()/(212222111211rsrrssabpabpabpabpabpabpabpabpabpXYP??????? 用矩陣表示信道輸入輸出符號之間的條件轉(zhuǎn)移關(guān)系 數(shù)學(xué)模型 由于信道中存在干擾或者噪聲，信道輸入符號與輸出符號之間并不是一一對應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。 聯(lián)合分布還可以表示為 后驗概率 ,表示當(dāng)接收符號為 bj時 ,信道輸入為 ai的概率。235。 = U R / X = u R )若 DMC信道的輸入、輸出是由 n個符號組成的序列 , 其中 ui∈ X,vi∈ Y， i=1 2,3,4…n,則聯(lián)合條件概率為 : P = [ p i j ] 數(shù)學(xué)模型 轉(zhuǎn)移概率矩陣 P =p ( y 0 / x 0 ) p ( y 1 / x 0 ) p ( y Q 1 / x 0 )p ( y 0 / x 1 ) p ( y 1 / x 1 ) p ( y Q 1 / x 1 )p ( y 0 / x q 1 ) p ( y 1 / x q 1 ) p ( y Q 1 / x q 1 )230。231。248。247。231。231。247。 數(shù)學(xué)模型 若信道中有干擾 ,信道輸出不是一個固定值 ,是概率各異的一組值 , 稱有擾離散信道 .輸入 Xi時 ,各可能輸出值 yj的概率之和必得 1,即 : p ( jy ix )j = 0Q 1229。從統(tǒng)計角度而言，信道的噪聲總是有限的，總有部分信息能夠準確傳輸，所以信道的信息傳輸率為 信道容量 R = I ( X 。( YXI)(xp什么是信道容量？ 信道容量 定義 31 設(shè)某信道的平均互信息量為 ，信道輸入符號的先驗概率為 ，該信道的信道容量 C 定義為 比特 /符號 p ( x = a i ) 1