【正文】 1?2110 . 0 1 0 . 0 1 0 . 0 1 1 022EP?? ? ? ? ? ?2:編 碼 1 000x — —2 111x — —0 0 0 0 0 1 0 1 0 0 1 11 0 0 1 0 1 1 1 0 1 1 1： 收 到120 0 0 0 0 1 0 1 0 1 0 0 0 1 1 1 0 1 1 1 0 1 1 1xx??： 擇 多 譯 碼3 2 3 2 3 2 411( 3 ) ( 3 ) 3 3 1 022EP p p p p p p p p p?? ? ? ? ? ? ? ?編 碼 的 信 息 傳 輸 率 ： 比 特 碼 符 號1 R = l o g 2 / 1 = l o g 2 = 1 /編 碼 的 信 息 傳 輸 率 ： 比 特 碼 符 號12 R = l o g 2 /3 = /3信道編碼定理 ? 信道編碼定理引出 ? 問題： 在有噪信道中，使平均誤碼率 Pe盡可能小的情況下，可達(dá)到的信息傳輸率是多少？ ? 答案： 信道容量 C 信道編碼定理 若一離散平穩(wěn)無記憶信道，其容量為 C，輸入序列長度為 L，只要待傳送的信息率 RC,總能找到一種編碼。 ? 錯誤概率：若譯碼規(guī)則為 d(yj)=xi ? 條件錯誤概率： p(e/yj) (收到的是 yj，而發(fā)出的不是 xi) ? 條件正確概率： 1－ p(e/yj) ? 平均錯誤概率： PE=∑p(yj)p(e/yj) ? 最佳譯碼規(guī)則：使平均錯誤概率 PE最小的譯碼規(guī)則 錯誤概率與譯碼規(guī)則 欲使最小 PE=∑p(yj)p(e/yj)，只需正確概率最大，選擇 **( ) , ( / ) ( / ) ( 1 )j j i jd y x p x y p x y i?? 對 所 有—— 最大后驗概率準(zhǔn)則 由（ 1）式，有 **( ) ( / ) ( ) ( / )( ) ( )j i j ijjp x p y x p x p y xp y p y?**( ) ( / ) ( ) ( / )j i j ip x p y x p x p y x??若輸入等概： *( / ) ( / )j j ip y x p y x? —— 最大似然準(zhǔn)則 特點： 優(yōu)點：理想 缺點： 后驗概率不易得到 后驗概率依賴于輸入分布 錯誤概率與譯碼規(guī)則 例： P?????????? ? 111() 244px ??? ????（ 1）最小錯誤概率準(zhǔn)則： 0 .2 5 0 .1 5 0 .1( ) ( / ) 0 .0 5 0 .0 7 5 0 .1 2 50 .0 7 5 0 .0 7 5 0 .1i j ip x p y x?????? ?????11yx? 21yx? 32yx?0 . 2 5 0 . 1 5 0 . 1 2 5 0 . 5 2 5CP ? ? ? ? ?（ 2）最大似然準(zhǔn)則： 11yx? 23yx? 32yx? P ?0 . 2 5 0 . 0 7 5 0 . 1 2 5 0 . 4 5CP ? ? ? ? ?（ 3）若輸入等概： 1 1 3(0 . 5 0 . 3 0 . 5 )3 3 0CP ? ? ? ? 171 0 . 5 6 730ECPP? ? ? ? 錯誤概率與編碼方法 ? 錯誤概率與編碼 ? 如何在信息傳輸率一定的前提下使 PE?0 ? 實際經(jīng)驗：重復(fù)發(fā)送可以使 PE減小 ? 重復(fù)次數(shù) N很大時，可以使 PE ?0 ? 但：信息傳輸率降低 ? 信道編碼定理： R一定時，可以找到一種編碼方法使 PE相當(dāng)?shù)? ? 引入概念：碼字距離 錯誤概率與編碼方法 例： 1:編 碼 1 0x — —010 39。) 2 / 3p ?( 0 / 1 39。) 2 / 3p ?( 0 / 1 39。 0?139。 ? 對于第一種情況，碼組間最少相差一個碼元，則一旦有錯誤，就會變成另一個許用碼字，因而不能發(fā)現(xiàn)錯誤； ? 對于第二種情況，碼組間最少相差二位碼元，錯一位就會變成禁用碼字，因而能發(fā)現(xiàn)錯誤，即具有檢錯能力； ? 對于第三種情況，碼組間最少相差三位碼元，錯一位就變成禁用碼字，但仍與某許用碼字相似，利用最大似然法則可以糾錯，即具有糾一位錯誤的能力。可以發(fā)現(xiàn)奇數(shù)個錯誤，但無法糾正。試計算每秒鐘傳送 30幀圖片所需信道的帶寬 (信噪功率比為 30dB)。 連續(xù)信道 ? Shannon公式的用途三 用時間換取信噪比 重傳、弱信號累積接收基于這一原理。 )lo g( ? 21 S?? 2 S ) 1 log( 2 ? S ? T t W f ) 1 log( 2 ? S WT C ? ? 連續(xù)信道 － Shannon公式的用途一 用頻帶換取信噪比：擴頻通信原理。故當(dāng)加性高斯信道的輸入信源是 0均值的高斯隨機變量時，其輸出也是 0均值的高斯隨機變量，輸出隨機變量的熵最大。39。 ) ( 。 )NNK K N K KKKNNKKNNK K KKKNKKKI H H Y X H Y Y Y H Y XH Y Y Y H YI H Y H Y XI I X Y??????? ? ? ??? ? ?????????X Y YXYXY(a) 1 2 1 2 N . . . ( ) X X . . . ( 。 ) ( ) ( / )I H H??X Y Y Y X1 1 1 12 2 2 2( / )( / )( / )N N N NX P Y X YX P Y X YX P Y X Y????????XY離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 1 2 1 1 1 11 1 1111 2 1 1 1 11 1 1111 1 1111111( / )( ) ( ) l og ( )( ) ( ) ( ) l og ( ) ... ( )( ) (N N N N NNNN N N N NNNn n m mi i i j j i i j j i ii i j jn n m mi i i j i j i j i j ii i j jnmi j iijHp x x x p y y x x p y y x xp x x x p y x p y x p y x p y xp x p y x? ? ?? ? ???????????????? ? ? ?? ? ? ???YX1 1 2 2 2 2 21122111 1 2 21) l og ( ) ( ) ( ) l og ( )( ) ( ) l og ( )( / ) ( / ) ... ( / ) ( / )N N N N NNNnmj i i j i j iijnmi j i j iijNK K K KKp y x p x p y x p y xp x p y x p y xH Y X H Y X H Y X H Y X????????? ? ? ? ??????離散無記憶信道和獨立并聯(lián)信道的信道容量 多符號離散信道 1211121111( 。 )()( / ) ( / )( / ) l o g ( ) ( / ) l o g( ) ( )( / )( / ) l o g l o g()ij i j ij i k j kj k jjjjijij jI X Ypxp y x p y xp y x p x p y x ep y p yp y xp y x epy??????? ? ??方程組變?yōu)椋? ????????????iij jijijxpeypxypxyp1)(lo g)()/(lo g)/( ? 設(shè)解得使 I(X。Y)是 p(x)的上凸函數(shù)，故極大值一定存在，約束條件： 1)( ??i ixp引進一個新函數(shù) ( 。C = l o g l o g l o g ( )1pn p p p n?? ? 比 特 / 信 道 符 號當(dāng) 輸 入 等 概 分 布 時 ， 強 對 稱 離 散 信 道 達(dá) 到 信 道 容 量對稱離散信道的信道容量 單符號離散信道的信道容量 ? 對稱信道的信道容量 ? 矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性） 2( 。 ) m a x ( ) l o giip x p xI X Y H Y m??