[工程科技]信息論第三章(存儲版)
【正文】 題： 在一般通信系統(tǒng)中，如何將信源發(fā)出的消息 (符號 )轉(zhuǎn)換成適合信道傳輸?shù)姆?(信號 )從而達到信源與信道的匹配。Z)=1H[2? (1?)] 0 0 . 5 100 . 20 . 40 . 60 . 81m = 1 m = 2 m = 3 作 業(yè)： 看一下第 4章 。Y)＝ H(X)，因而 ： 無損 信 道 的相對 剩余度 = rXHlog)(1 ?? 上式說明提高無損信道信息傳輸率就等于減少信源的剩余度。如果一旦某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，都不可能恢復(fù)已經(jīng)丟失的信息。所以并聯(lián) 信道容量 不大于 各個信道容量之和。 所以，對于 一般的離散無記憶信道的 N次擴展信道 ， 其 信道容量 是： ( ) ( )1()11m a x ( 。 若信源是無記憶的，則等式成立。Y) ≤C ? ? ( | )。 )PXC I X Y?( 。 ?可以證明達到準對稱信道信道容量的輸入分布是等概的，信道容量的計算如下（和對稱信道相比作了一點修正）： 121l o g ( 39。 )}。 定義一：信道容量定義為信息傳輸率或平均互信息的最大值。假設(shè)準對稱矩陣可以劃分為 n和不相交的子集，則 NK是第 K個子矩陣的行因素之和， MK是第 K個子矩陣的列因素之和。 ? ?()m a x ( 。Y) ＝ C ② p(xi) = 0 時 I(xi。則分三種情況： ? ① 假若信道是無記憶的 ，即信道傳遞概率滿足： 則有： 式中 Xi ， Yi是對應(yīng)第 i 位的隨機變量。 它表示離散無記憶信道的 N次擴展信道的容量等于原單符號信道容量的 N倍。 ) CNNN N i i iiiC I X X X Y Y Y I X Y??? ??并 聯(lián) ＝ ＝注意： ◆ 其中 Ci 是第 i 個信道的信道容量。 ( , ) ( , )( , ) ( , )I X Z I X YI X Z I Y Z???對于一般的串聯(lián)信道模型 ? 信息處理定理： 任何傳輸系統(tǒng)最后獲得的信息最多是信源提供的信息。而 I(X。Y)=1H(?)， I(X。 例如，某離散無記憶信源 通過一個無噪、無損二元離散信道進行傳輸。( YXIC ?（ 2） 相對信道剩余度 = CYXIC )。 ?定理 離散串聯(lián)信道中，平均互信息滿足： ?物理意義： 接收到 Z 關(guān)于 XY 的平均互信息大于接收到 Z 關(guān)于 X 或者 Y 的平均互信息。 ) iNNiiP X P XiNNi i iPXiiC I I X YI X Y C??????????XY 獨立并聯(lián)信道及其容量 P58 信 道 1信 道 2信 道 N1X2XNX1YNY2Y一般的獨立并聯(lián)信道如下圖所示，又稱 并聯(lián)信道 在該信道中，每一個輸出只與本信道的輸入有關(guān)，因此類似離散無記憶 的條件，因此有： 1 2 1 21( 。 )NiiiI I X Y?? ?XY 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔?，使得后面?zhèn)魉偷姆柕幕バ畔p少 ② 假若信
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1