【正文】 p有可能為負(fù)值，此時(shí)的 C 就不存在，必須對(duì)ip進(jìn)行調(diào)整，再重新求解 C 。 )kkkp I a Y I X Y??( 。i , j229。 p k =182。( xpYXI 為 ()pxjijjiiji qpppYXI ??,log)。為了書寫方便， 記 。(m a x ?? YXIC離散單符號(hào)信道及容量 比特 ∕符號(hào) 得到 ,p= ，所以信道容量為 從上例可以看出，即使是簡(jiǎn)單的非對(duì)稱二元信道，其最佳分布的求解也十分復(fù)雜，不借用計(jì)算機(jī)很難求出最佳分布，所以一般離散信道的信道容量的求解要通過(guò)計(jì)算機(jī)來(lái)進(jìn)行。(j ji ibpapYXI | )( )(l og)jiji bp abpa )l o l o ()。235。235。249。(j ji ibpapYXI | )( )(l og)jiji bp abpa 由公式 pppbppppbp)1()()1()(21??????????離散單符號(hào)信道及容量 P ( b j ) = p ( a i ) p ( b ji = 1r229。 如果信道輸入、輸出符號(hào)數(shù)量較少，這種方法是可行的。249。234。249。234。249。234。249。234。249。234。249。234。249。234。 ?????nkkks MNpppHrC121 l og),(l og ?【 例 】設(shè)某信道的轉(zhuǎn)移矩陣為 求：信道容量 。稱這類信道為準(zhǔn)對(duì)稱信道。一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于 1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于 1。 例 ??????3131616161613131??????????216131312161613121和 對(duì)稱信道 離散單符號(hào)信道及容量 ? ??P??????3161316161613131?????? 不對(duì)稱 離散單符號(hào)信道及容量 對(duì)稱信道的容量 : 由于對(duì)稱信道是關(guān)于輸入對(duì)稱，而輸入對(duì)稱信道的容量為 離散單符號(hào)信道及容量 C = m a xp ( ai )I ( X , Y ) = m a xp ( ai )H ( Y ) H ( Y | X )且滿足 H ( Y | X ) = H ( Y | a i ) 與信道輸入的分布無(wú)關(guān)，只與條件概率分布有關(guān) . H (Y | X )為了討論問(wèn)題方便起見，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對(duì)應(yīng)的條件概率分別為 (p1,p2… ..ps)，有 : 對(duì)稱信道輸出也是對(duì)稱的，當(dāng)信道輸入是等概率分布時(shí)，信道輸出也是等概率分布 ,取得最大值 sYHiaplo g)(m a x)( ?離散單符號(hào)信道及容量 H ( Y | X ) = H ( p 1 , p 2 , , p s )則對(duì)稱信道容量 ),(l o g),(m a x 21)( sap pppHsYXICi???? 對(duì)稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號(hào)集合的數(shù)量有關(guān)。 P ( b j ) = p ( a i ) p ( b ji = 1r229。 C = m a xp ( a i ) I ( X 。(m a x {)(YXICxp?? 1. 無(wú)干擾離散信道 無(wú)噪無(wú)損信道 ? ? ? ? 符號(hào)比特 /l og)(m a x)。而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問(wèn)題 )( 1 ?bp )( 2 ?bp )( 3 ?bpp ( b 1 ) 185。 Y ) = m a xp ( a i ) H ( Y ) H ( p 1 , p 2 , , p s )離散單符號(hào)信道及容量 為了表示方便起見，假設(shè)轉(zhuǎn)移矩陣首行元素為 則有 H ( Y | a i ) = H ( p 1 , p 2 , , p s )由于 I ( X 。Y)=H(X) 才能取得最大值，所以先驗(yàn)概率的最佳分布就是 使得 p(aj)=1/r 的分布。Y)=H(Y). 信道容量為 信道容量 sYHYXIC l o g)}(m a x {)}。 Y ) = H ( X ) H ( X | Y ) = H ( X ) = H ( Y ) 根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)極大熵定理可知，當(dāng)輸入符號(hào)的先驗(yàn)概率為等概率分布時(shí)， H(X) 取得最大值 ,信道容量為 比特 ∕符號(hào) 所以當(dāng)輸入信源滿足等概率分布時(shí)，信息傳輸率最大，達(dá)到信道容量。 這類信道在實(shí)際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進(jìn)行研究。 信道容量 如果信道輸入滿足最佳分布，信息傳輸率最大，即達(dá)到信息容量 C；如果信道輸入的先驗(yàn)分布不是最佳分布，那么信息傳輸率不能夠達(dá)到信息容量 C。 0 , i = 1 , 2 , , rp ( a i ) = 1i = 1r229。Y ) 互信息量 是輸入符號(hào) X 概率分布的凸函數(shù)。= 1 數(shù)學(xué)模型 設(shè)信道輸入符號(hào)是有限、離散的 ,其輸入字符集 X = 0x , 1x ... r 1x{ }信道輸出 )( ??s ? ????? ,Y稱離散輸入 ,連續(xù)輸出信道 . 即 又稱半離散或半連續(xù)信道。247。246。231。247。247。231。232。234。 p ( a i , b j ) = p ( b j ) p ( a i b j )p (a i b j ) 數(shù)學(xué)模型 可以得到后驗(yàn)概率為 ????????????)()()(21sbpbpbp?????????????)()()(21rapapap?????rrijiijijjijiabpapabpapbpbapbap1)()()()()(),() (= PT(Y︱ X) 由前向概率和先驗(yàn)概率可計(jì)算出信道輸出符號(hào)概率 p ( b j ) = p ( a i ) p ( b j a i )i = 1r229。故信道的分析用統(tǒng)計(jì)方法。 表明：在輸入 x的情況下，信道輸出 y的取值只能是其中的一個(gè)，不可能還有其他的取值。 移動(dòng)通信的信道、光盤存儲(chǔ)屬于該類信道。 ? 隨機(jī)差錯(cuò)信道： 信道中傳輸碼元所遭受的噪聲是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯(cuò)誤不會(huì)成串出現(xiàn)。如短波電離層反射信道、對(duì)流層散射信道等。 信道分類 2．恒參信道和隨參信道 ?恒參信道： 信道的統(tǒng)計(jì)特性不隨時(shí)間而變化。 ? 本章重點(diǎn)在于研究一個(gè)輸入端和一個(gè)輸出端的信道，即單用戶信道。信息論與編碼基礎(chǔ)教程 第 3章 信道及信道容量 本章主要內(nèi)容 信源與信道的匹配 * 連續(xù)信道及其容量 本次課內(nèi)容 信道的基本概念 離散單符號(hào)信道及容量 數(shù)學(xué)模型 信道容量 信道 (information channels)： 是信號(hào)的傳輸媒質(zhì)。 相關(guān)知識(shí)復(fù)習(xí) ? 本章主要討論離散信道的統(tǒng)計(jì)特性和數(shù)學(xué)模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導(dǎo)出信道容量的概念和幾種比較典型的信道的信道容量計(jì)算方法。 無(wú)線信道： 地波傳播、短波電離層反射、 超短波或微波視距中繼、人造 衛(wèi)星中繼以及各種散射信道等。大多數(shù)的信道都是隨參信道，統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度而變化。 信道分類 5．隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道。 如：衰落信道、碼間干擾信道。 離散單符號(hào)信道及容量 設(shè)離散信道的輸入變量為 X，輸出變量為 Y，對(duì)應(yīng)的概率空間分別為 ??????????????????????????)()()()()()()()(21212121ssrrbpbpbpbbbypYapapapaaaxpX????輸入符號(hào)集合的元素個(gè)數(shù)為 r，輸出符號(hào)集合的元素個(gè)數(shù)為 s 數(shù)學(xué)模型 i=1， 2， …， r， j=1， 2， …， s。 ???????????????)()()()()()()()()()/(212222111211rsrrssabpabpabpabpabpabpabpabpabpXYP??????? 用矩陣表示信道輸入輸出符號(hào)之間的條件轉(zhuǎn)移關(guān)系 數(shù)學(xué)模型 由于信道中存在干擾或者噪聲，信道輸入符號(hào)與輸出符號(hào)之間并不是一一對(duì)應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。 聯(lián)合分布還可以表示為 后驗(yàn)概率 ,表示當(dāng)接收符號(hào)為 bj時(shí) ,信道輸入為 ai的概率。235。 = U R / X = u R )若 DMC信道的輸入、輸出是由 n個(gè)符號(hào)組成的序列 , 其中 ui∈ X,vi∈ Y， i=1 2,3,4…n,則聯(lián)合條件概率為 : P = [ p i j ] 數(shù)學(xué)模型 轉(zhuǎn)移概率矩陣 P =p ( y 0 / x 0 ) p ( y 1 / x 0 ) p ( y Q 1 / x 0 )p ( y 0 / x 1 ) p ( y 1 / x 1 ) p ( y Q 1 / x 1 )p ( y 0 / x q 1 ) p ( y 1 / x q 1 ) p ( y Q 1 / x q 1 )230。231。248。247。231。231。247。 數(shù)學(xué)模型 若信道中有干擾 ,信道輸出不是一個(gè)固定值 ,是概率各異的一組值 , 稱有擾離散信道 .輸入 Xi時(shí) ,各可能輸出值 yj的概率之和必得 1,即 : p ( jy ix )j = 0Q 1229。從統(tǒng)計(jì)角度而言，信道的噪聲總是有限的，總有部分信息能夠準(zhǔn)確傳輸，所以信道的信息傳輸率為 信道容量 R = I ( X 。( YXI)(xp什么是信道容量？ 信道容量 定義 31 設(shè)某信道的平均互信息量為 ，信道輸入符號(hào)的先驗(yàn)概率為 ，該信道的信道容量 C 定義為 比特 /符號(hào) p ( x = a i ) 1