【正文】
信道: ? 則互信息量: ? 從圖中可以看出,當 ?=1/2時, I(X,Y)取最大值 C=1H(p) 011XP ??? ? ? ??? ? ? ??? ? ? ?ppPpp??? ??????( 。 信 道 1 的最 佳 輸 入 分 布I ( X 。Y)的定義式可知, I(X。 ? 信道容量表示信道傳送信息的最大能力。Y)是 p(x)的上凸函數(shù),稱使 I(X。 )tR I X Yt? 信道容量 ? 定義 44 信道容量 定義為平均互信息的最大值: C=maxp(x){I(X。 ( 。 ? 若平均傳輸一個符號需要 t秒,而每一個符號傳送的信息量為 I(X。Z)≤I(X。Y)=1H(p) I(X。這是信息不增性原理。Z)≤I(Y。Z)≤I(X。 ) ( ) l og ( ) ( )()XYp y xI X Y I Y X p x y H p p H ppy ??? ? ? ? ??( 0) ( 0 , 0) ( 1 , 0) ( 1 )( 1 ) ( 0 , 1 ) ( 1 , 1 ) ( 1 )p Y p p p p p pp Y p p p p p p? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?固定信道 p固定 ?從 0到 1 變化 固定信源 ?固定 p從 0到 1 變化 信道的組合 ? 組合方式 并行:積信道 串行:級聯(lián)信道 例如: Inter 例如: GSM ? 重點介紹級聯(lián)信道(串聯(lián)信道) 級 聯(lián) 信 道積 信 道? 假設(shè)串聯(lián)的兩個信道為信道 I和信道 II,信道 I的傳遞概率為 p(y|x),信道 II的傳遞概率為 p(z|xy)。 ) ( ) l o g ( | ) ( ) l o g( ) ( | ) ( )X Y X YXp y x p y xI X Y p x y p y x p xp y p y x p x???? ?信源 信道 平均互信息的例子 ? 例 46 信源: 信道: ? 則互信息量: ( 0 , 0) ( 0) ( 0 | 0) ( 0 , 1 ) ( 0) ( 1 | 0)( 1 , 0) ( 1 ) ( 0 | 1 ) ( 1 , 1 ) ( 1 ) ( 1 | 1 )p x y p x p y x p p x y p x p y x pp x y p x p y x p p x y p x p y x p??? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ?011XP ??? ? ? ??? ? ? ??? ? ? ?ppPpp??? ??????( | )( 。 Y )p ( x )I ( X 。Y)是信道傳遞概率 p(y|x)的下凸函數(shù)。Y)是信源概率分布 p(x)的上凸函數(shù)。 ) ( ) l og ( ) l og ( 。 ? 含義:接收到信道的輸出符號集 Y之后,平均每個符號獲得的關(guān)于信道輸入符號集 X的信息量,即 通過信道傳送過去的信息量 。 I(X。 ?