【正文】 到的信息傳輸率是多少？ ? 答案： 信道容量 C 信道編碼定理 若一離散平穩(wěn)無記憶信道，其容量為 C，輸入序列長度為 L，只要待傳送的信息率 RC,總能找到一種編碼。 ? 錯誤概率：若譯碼規(guī)則為 d(yj)=xi ? 條件錯誤概率： p(e/yj) (收到的是 yj，而發(fā)出的不是 xi) ? 條件正確概率： 1－ p(e/yj) ? 平均錯誤概率： PE=∑p(yj)p(e/yj) ? 最佳譯碼規(guī)則：使平均錯誤概率 PE最小的譯碼規(guī)則 錯誤概率與譯碼規(guī)則 欲使最小 PE=∑p(yj)p(e/yj)，只需正確概率最大，選擇 **( ) , ( / ) ( / ) ( 1 )j j i jd y x p x y p x y i?? 對 所 有—— 最大后驗概率準(zhǔn)則 由（ 1）式，有 **( ) ( / ) ( ) ( / )( ) ( )j i j ijjp x p y x p x p y xp y p y?**( ) ( / ) ( ) ( / )j i j ip x p y x p x p y x??若輸入等概： *( / ) ( / )j j ip y x p y x? —— 最大似然準(zhǔn)則 特點： 優(yōu)點：理想 缺點： 后驗概率不易得到 后驗概率依賴于輸入分布 錯誤概率與譯碼規(guī)則 例： P?????????? ? 111() 244px ??? ????（ 1）最小錯誤概率準(zhǔn)則： 0 .2 5 0 .1 5 0 .1( ) ( / ) 0 .0 5 0 .0 7 5 0 .1 2 50 .0 7 5 0 .0 7 5 0 .1i j ip x p y x?????? ?????11yx? 21yx? 32yx?0 . 2 5 0 . 1 5 0 . 1 2 5 0 . 5 2 5CP ? ? ? ? ?（ 2）最大似然準(zhǔn)則： 11yx? 23yx? 32yx? P ?0 . 2 5 0 . 0 7 5 0 . 1 2 5 0 . 4 5CP ? ? ? ? ?（ 3）若輸入等概： 1 1 3(0 . 5 0 . 3 0 . 5 )3 3 0CP ? ? ? ? 171 0 . 5 6 730ECPP? ? ? ? 錯誤概率與編碼方法 ? 錯誤概率與編碼 ? 如何在信息傳輸率一定的前提下使 PE?0 ? 實際經(jīng)驗：重復(fù)發(fā)送可以使 PE減小 ? 重復(fù)次數(shù) N很大時，可以使 PE ?0 ? 但：信息傳輸率降低 ? 信道編碼定理： R一定時，可以找到一種編碼方法使 PE相當(dāng)?shù)? ? 引入概念：碼字距離 錯誤概率與編碼方法 例： 1:編 碼 1 0x — —010 39。) 2 / 3p ?( 0 / 1 39。 ? 對于第一種情況，碼組間最少相差一個碼元，則一旦有錯誤，就會變成另一個許用碼字，因而不能發(fā)現(xiàn)錯誤； ? 對于第二種情況，碼組間最少相差二位碼元，錯一位就會變成禁用碼字，因而能發(fā)現(xiàn)錯誤，即具有檢錯能力； ? 對于第三種情況，碼組間最少相差三位碼元，錯一位就變成禁用碼字，但仍與某許用碼字相似，利用最大似然法則可以糾錯，即具有糾一位錯誤的能力。試計算每秒鐘傳送 30幀圖片所需信道的帶寬 (信噪功率比為 30dB)。 )lo g( ? 21 S?? 2 S ) 1 log( 2 ? S ? T t W f ) 1 log( 2 ? S WT C ? ? 連續(xù)信道 － Shannon公式的用途一 用頻帶換取信噪比：擴(kuò)頻通信原理。39。 )NNK K N K KKKNNKKNNK K KKKNKKKI H H Y X H Y Y Y H Y XH Y Y Y H YI H Y H Y XI I X Y??????? ? ? ??? ? ?????????X Y YXYXY(a) 1 2 1 2 N . . . ( ) X X . . . ( 。 )()( / ) ( / )( / ) l o g ( ) ( / ) l o g( ) ( )( / )( / ) l o g l o g()ij i j ij i k j kj k jjjjijij jI X Ypxp y x p y xp y x p x p y x ep y p yp y xp y x epy??????? ? ??方程組變?yōu)椋? ????????????iij jijijxpeypxypxyp1)(lo g)()/(lo g)/( ? 設(shè)解得使 I(X。C = l o g l o g l o g ( )1pn p p p n?? ? 比 特 / 信 道 符 號當(dāng) 輸 入 等 概 分 布 時 ， 強(qiáng) 對 稱 離 散 信 道 達(dá) 到 信 道 容 量對稱離散信道的信道容量 單符號離散信道的信道容量 ? 對稱信道的信道容量 ? 矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性） 2( 。Y)是信道轉(zhuǎn)移概率分布 p(y/x)的下凸函數(shù) . ? 信道容量的定義： ? 單位時間的信道容量： ()m a x ( 。 ? 信息是抽象的，信道則是具體的。 信源 編碼 媒介 譯碼 信宿 干擾 C1 C2 C3 C4 A B 信 道 劃 分 是 人 為 的 ！ 信道的數(shù)學(xué)模型和分類 ? 信道描述 ? 信道可以引用三組變量來描述： 信道輸入概率空間： 信道輸出概率空間： 信道概率轉(zhuǎn)移矩陣： 即： { ， ， }， 它可簡化為： 。 ) m a x ( ) l o giip x p xI X Y H X n??單符號離散信道的信道容量 強(qiáng)對稱離散信道的信道容量 單符號離散信道的信道容量 111111nnpppnnpppP nnpppnn?????????? ??????????? 強(qiáng)對稱信道或均勻信道 ? 矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性） ? 錯誤分布是均勻的，為 p/(n1) ? 信道輸入與輸出符號數(shù)相等 強(qiáng)對稱離散信道的信道容量 單符號離散信道的信道容量 ( 。 ) ( ) 1iXI X Y p x? ??? ? ? ??????其中 為拉格朗日乘子（待定常數(shù)） ?解方程組 ( 。 ) ( ) ( / ) ( ) ( / )( .. ) ( )( 。 )NN N k kkI X X X Y Y Y I X Y??? ?1 2 1 211( 。 連續(xù)信道 Nxy PPP ?? 2y??高斯加性信道的容量： 2()1m a x { ( ) } l o g ( 2 )2cpxC H y e????)1l o g (21l o g21NxNxNPPPPP ????0l o g ( 1 ) l o g ( 1 )xxtNPPC W WP W N? ? ? ?香農(nóng)公式 限時 T、限頻 W的高斯白噪聲加性信道的容量： l og ( 1 )xNPC W TP?? 連續(xù)信道 0l o g ( 1 ) l o g ( 1 )xxtNPPC W WP W N? ? ? ?令 0xPxWN?1l o g ( 1 ) l o g ( 1 )W x W x xx? ? ? ?1001 l o g ( 1 ) l o g ( 1 )xx xPPW x xN W x N? ? ? ?10l n( 1 ) 1l im xxx???200/ l o g /l im xxtWPPC n a t s e b it sNN?? ??當(dāng) W?∞時， x?0 W( / )tC bit s0/xPN0/xPN? Shannon公式的物理意義 ? 它給出了決定信道容量 C的是三個信號物理參量： W、 T、 之間的辯證關(guān)系。 t=T0 為分界線。 ? （ 3）對原碼字繼續(xù)改造： 00?00110 01?01101 10?10011 11?11000。 1?正 確 概 率 錯 誤 概 率( 0 / 0 39。) 2 / 3p ?( 0 / 0 39。當(dāng) L足夠長時