信息論與編碼chappt課件-免費(fèi)閱讀
【正文】 雖然定理設(shè)有具體說(shuō)明如何構(gòu)造這種碼，但它對(duì)信道編碼技術(shù)與實(shí)踐仍然具有根本性的指導(dǎo)意義。 ? 因此引入問(wèn)題 ：在一般通信系統(tǒng)中，如何將信源發(fā)出的消息 (符號(hào) )轉(zhuǎn)換成適合信道傳輸?shù)姆?hào) (信號(hào) )從而達(dá)到信源與信道的匹配。 信道剩余度定義為： 信道剩余度 = )。 而實(shí)際信道能達(dá)到的最大信道傳輸率約為 19200比特／秒。 功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 = l o g21l o g21l o g211l o g21443214141????????????????????????? ????nnnni nii nisiPPPPPPPC?????信道容量： (比特／ 10個(gè)自由度 ) 若提高信號(hào)的總平均功率，使： 功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 =， Ps5 =， Ps6 = ， Ps7 = ， Ps8 = . . .l o g21l o g21l o g2188765432181??????????????? ?? nnnnnnnni ni PPPPPPPPPC?????????信道容量： ? ? . . . 110 11???????????? ?? ??NiniPP?)(31WPNisi ???比較得最后兩個(gè)信道應(yīng)排除，令： Ps9 =0 ， Ps10 =0 ? ? .. . ???????三、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為 W，在這樣的波形信道中，滿足限頻、限時(shí)、限功率的條件約束，所以可通過(guò)取樣將輸入和輸出信號(hào)轉(zhuǎn)化為 L維的隨機(jī)序列： 12( , , ..., )Lx x x x? 12( , , ..., )Ly y y y?y x n??2L WT?和 ，而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有 按照采樣定理，在 [0， T]范圍內(nèi)要求 。( ?? ???????? ?? Ni nisiPP11lo g21?? ???????? ?? Ni nisiPP11lo g21? ?)。 ) m a x ( 。, . .. ,39。由于信道的對(duì)稱性，所以 H(Y/X= x )與 x 無(wú)關(guān) ，為一常數(shù)，即 因此 對(duì)稱離散信道 的信道容量 ： 對(duì)稱離散信道的平均互信息為 ： I(X。Y)=H(Y)H(X) 信道的疑義度 （損失熵） H(X/Y) ≠0 而噪聲熵 H(Y/X)=0。(m a x pHYXI ??因此，二元對(duì)稱信道的信道容量為： m a x ( 。 若 信道和信源都是無(wú)記憶的 ，則： ? 研究信道的 目的 是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量 信息傳輸率 R ? 平均互信息 I(X。( NN YXIYXI ?)/()( NNN YXHXH ??)/()( NNN XYHYH ??若信道的輸入隨機(jī)序列為 X= (X1X2…X N)，通過(guò)信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…Y N)。Y)是信道傳遞的概率 P(y/x)的 ∪型凸函數(shù)。Y)只是信源 X的概率分布 P(x)和信道的傳遞概率 P(y/x)的函數(shù)， 即： I(X。Y) = H(X) 當(dāng) H(X/Y)=0 時(shí)，即信道中傳輸信息無(wú)損時(shí)，等式成立。 ? 平均互信息 I(X。Y)后剩余的部分代表兩個(gè)疑義度。)(1l o g)()(ypypYHxpxpXH YX ?? ＝＝)|(1l o g)()|(。 y)的統(tǒng)計(jì)平均 ，所以 I(X。 關(guān)于平均互信息 I(X。(ijijiiji xpyxpyxpxpyxIxIyxI ?????即：互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是 收信者獲得的信息量 對(duì)于無(wú)干擾信道， I(xi 。 P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕省? ? 其數(shù)學(xué)模型可以用概率空間 [X, P(y/x) ,Y]描述。 )|(). . .|. . .()|( iiNiNN xyPxxxyyyPxyP ????12121 (3) 有干擾 (噪聲 )有記憶信道 實(shí)際信道往往是既有干擾 (噪聲 )又有記憶的這種類型。第三章 信道及其容量 ? 信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。當(dāng)然，也可用下圖來(lái)描述： a1 b1 a2 b2 X . . Y . . ar bs P(bj/ai) [例 1] 二元對(duì)稱信道， [BSC， Binary Symmetrical Channel] 解： 此時(shí)， X:{0,1} 。所以該矩陣又稱為 信道矩陣 （轉(zhuǎn)移矩陣） 。 yj) = I(xi)； 對(duì)于全損信道， I(xi 。Y) 互信息 I(x 。Y) = 0。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝平均互信息與各類熵之間關(guān)系的集合圖 （ 維拉圖 ） 表示： H(X|Y) = H(X) I(X。 ? 兩種特殊信道 （ 1）、離散無(wú)干擾信道 ( 無(wú)損信道 ) ? 信道的輸入和輸出一一對(duì)應(yīng)，信息無(wú)損失地傳輸，稱為 無(wú)損信道 。Y)等于零，表明了 信道兩端隨機(jī)變量的統(tǒng)計(jì)約束程度等于零 。 （ 3）交互性（對(duì)稱性） 即 I(X。Y) = f [P(x), P(y|x)] ,( | ) ( | )( 。 ? 當(dāng) 信源固定 后，選擇不同的信道來(lái)傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。 假若信道是無(wú)記憶的 ，即信道傳遞概率滿足： 則有： 式中 Xi Yi是對(duì)應(yīng)第 i 位的隨機(jī)變量。Y)就是接收到符號(hào) Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量。 ) m a x [ ( ) ( ) ]1 ( )C I X Y H p p H pHp??? ? ? ???二元對(duì)稱信道， I(X。 即接收到符號(hào) Y后不能完全消除對(duì) X的不確定性 ()m a x ( ) l o g ( / )PyC H Y s b i t s y m b o l?? 所謂對(duì)稱信道，是指 信道矩陣 P中每一行都是由同一集合{p1’， p2’， … ， ps’}中的諸元素不同排列組成，且每一列也都是由 {q1’， q2’， … ， qr’} 中的諸元素不同排列組成 。Y)=H(Y)H(Y/X) )/()39。,39。 ) iNPXNiiPXiNiiPXiNiiC I X YI X YI X YC??????????3． 5 連續(xù)信道的信道容量 在連續(xù)信源的情況下，如果取兩個(gè)相對(duì)熵之差，則連續(xù)信源具有與離散信源一致的信息特征，而互信息就是兩個(gè)熵的差值，類似于離散信道，可定義互信息的最大值為信道容量。(m a x)( YXIC xp?(比特／ N個(gè)自由度 ) 加性信道 輸入信號(hào)序列 {X1X2…X
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1