【正文】
2l n (21 2?? e?信息論與編碼基礎(chǔ) 離散信道 高斯信道的信道容量 附:香農(nóng)信道容量公式 2( ) : { }m a x ( 。 )P x E x PC I X Y??I(X。Y) = h(Y) – h(Y|X) = h(Y) h(n) xi yi zi xi:樣值,正態(tài)分布 yi:樣值,正態(tài)分布 yi = xi + zi:正態(tài)分布 xi、 zi統(tǒng)計(jì)獨(dú)立 高斯信道 通信模型 高斯信道的信道容量 附:香農(nóng)信道容量公式 信息論與編碼基礎(chǔ) 離散信道 信道的輸出功率為 E{y2} = E{( x + z )2} = E{x2} + 0 + E{z2} = S + N 根據(jù)最大熵定理 平均功率受限條件下信源的最大熵定理 若某信源輸出信號(hào)的平均功率和均值被限定,則當(dāng) 其輸出信號(hào)幅度的概率密度函數(shù) p(x)是高斯分布時(shí), 信源達(dá)到最大熵值。 21( ) l n ( 2 )2h X e???1( ) l o g [ 2 ( ) ]2h Y e S N???1( ) l o g ( 2 )2h n e N??有 11( 。 ) l o g [ 2 ( ) ] l o g ( 2 )22I X Y e S N e N??? ? ?)/)(1l og (21 樣值bi tNSC ??信息論與編碼基礎(chǔ) 離散信道 附:香農(nóng)信道容量公式 帶限信道的信道容量 對(duì)于帶限信號(hào),采樣定理指出,若信號(hào)的有效帶寬為 B,采樣頻率為 fs,則當(dāng) fs≥2B時(shí),樣值序列能夠保留 原連續(xù)信號(hào)全部的頻譜特征,或者說(shuō)全部的信息量。 )1l og (212 NSBC t ???))(1l og ( bpsNSB ??香農(nóng)公式 信息論與編碼基礎(chǔ) 離散信道 附:香農(nóng)信道容量公式 香農(nóng)公式的意義 ))(1l og ( bp sNSBC ??信噪比 1)信道容量與所傳輸信號(hào)的有效帶寬成正比,信號(hào)的 有效帶寬越寬,信道容量越大 2)信道容量與信道信噪比有關(guān),信噪比越大,信道容量 越大,其制約規(guī)律呈對(duì)數(shù)關(guān)系 3)當(dāng)信道上的信噪比小于 1時(shí),信道容量并不等于 0,這 說(shuō)明此時(shí)信道仍具有傳輸信息的能力 4)信道容量 C、有效帶寬 B和信噪比 S/N可以相互起補(bǔ)償 作用,即可以互換。 C不變, B增加, S減小, 擴(kuò)頻通信 C不變, B減小, S增加, 多相位調(diào)制 信息論與編碼基礎(chǔ) 離散信道 附:香農(nóng)信道容量公式 香農(nóng)公式的意義 是否可以用無(wú)限制地加大信號(hào)有效帶寬的方法來(lái)減小發(fā)射功率,或在任意低的信噪比情況下仍能實(shí)現(xiàn)可靠通信呢? 000l o g 1NB SSCS N B N?? ??? ? ??? ??????00 ogl i mNSNSeCB?????信號(hào)有效帶寬與發(fā)射功率互換的有效性問(wèn)題。信道容量往往是 給定的,這時(shí)可以根據(jù)信道特性來(lái)權(quán)衡發(fā)射功率和信號(hào)有效帶寬的互換,使系統(tǒng)的設(shè)計(jì)趨于最佳。 ))(1l og ( bp sNSBC ??信息論與編碼基礎(chǔ) 離散信道 附:香農(nóng)信道容量公式 香農(nóng)限 l o g ( 1 )SCB N??0l o g ( 1 )tbREBBN????在信道帶寬不受限的情況下 /021/CBbtEN R B??若 B趨近于 ∞,且 Rt趨近于 C,則 /0 m i n21l im l n 2 1 . 6/CBbBEdBN C B???? ?? ? ? ?????在帶寬不受限的高斯白噪聲信道中,只要每赫茲頻帶傳輸一比特信息的信噪比不低于 ,通過(guò)最佳信道編碼,就有可能實(shí)現(xiàn)無(wú)差錯(cuò)的傳輸!這是高斯信道中傳輸信息的極限能力,稱為 香農(nóng)限! 信息論與編碼基礎(chǔ) 離散信道 1)在圖片傳輸中,每幀約為 106個(gè)像素,為了能很 好地重現(xiàn)圖像,需分 16個(gè)亮度電平,并假設(shè)亮度電平等概 率分布。試計(jì)算每秒鐘傳送 30幀圖片所需信道的帶寬(信 噪功率比為 30dB)。 練習(xí) 2)設(shè)在平均功率受限高斯可加波形信道中,信道帶寬為 3kHz,又設(shè)(信號(hào)功率 + 噪聲功率) /噪聲功率 = 10dB。 ① 試計(jì)算該信道傳送的最大信息率(單位時(shí)間)。 ② 若功率信噪比降為 5dB,要達(dá)到相同的最大信息傳 輸率,信道帶寬應(yīng)是多少。 信息論與編碼基礎(chǔ) 離散信道 一、信道的數(shù)學(xué)模型與分類(lèi) 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無(wú)記憶的擴(kuò)展性道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 當(dāng)信源與信道連接時(shí),若信息傳輸率達(dá)到信道容量,則稱 此信源與信道達(dá)到匹配,否則,認(rèn)為信道有剩余。 信道 剩余 ?信源剩余度 011l o gHHrHq??? ? ? ??信道剩余度 CYXICYXIC )。(1)。( ???信息論與編碼基礎(chǔ) 離散信道 ?例,某離散無(wú)記憶信源 ???????????????321321161814121)(654321 sssssssPSH(S) = (bit/信源符號(hào) ) C1: 000 001 010 011 100 101 C2: 0000 0001 0010 0011 0100 0101 R1 = H(S)/3 = (bit/信道符號(hào) ) R2 = H(S)/4 = (bit/信道符號(hào) ) C = 1(bit/信道符號(hào) ) 信息論與編碼基礎(chǔ) 離散信道 作業(yè) P56: 1 、 5 、 9 、 10 ?思考題 令 X,Y1,Y2為二進(jìn)制隨機(jī)變量, 1)如果 I(X。 Y1) = 0 且 I(X。 Y2) = 0,可否推出 I(X。 Y1, Y2) = 0? 試舉例說(shuō)明。 信息論與編碼基礎(chǔ) 離散信道 1 , { }0,izmXe l s e??? ??1 , { }10,ikmYe lse??? ??1,20,kzYe lse??? ??i= 0,1,2…, z,k為隨機(jī)變量 X = Y1 XOR Y2 2)如果 I(X。 Y1) = 0 且 I(X。 Y2) = 0,是否可推出 I(Y1。 Y2) = 0? 請(qǐng)說(shuō)明。 令 Y1 = Y2 I(Y1。Y2) = 1 信息論與編碼基礎(chǔ) 離散信道 ?思考題 1 2 1 1 1( | ) ( | ) ( | ) .. . ( | .. . )N N N N NNNH Y X H Y X H Y Y X H Y Y Y X?? ? ? ?