【正文】
件熵為 ( / ) ( ) l o g ( / )d d( ) d ( / ) l o g ( / )dRh Y X p x y p y x x yp x x p y x p y x y? ? ? ?? ? ? ?????????d d d dx y x n?( / ) ( ) d ( ) l o g ( ) d( ) l o g ( ) d ( )h Y X p x x p n p n np n p n n h n? ? ?? ? ? ??????? ? ????( / ) ( ) ( / ) ( )p y x p n h Y X h n? ? ? 連續(xù)信道和波形信道的信息傳輸率 基本連續(xù)信道的平均互信息 輸入信源 X為 ( ) d 1( ) ( )RXR p x xp x p x? ? ? ???? ? ? ?? ? ? ? ?輸出信源 Y為 ( ) d 1( ) ( )RYR p y yp y p y? ? ? ???? ? ? ?? ? ? ? ?( / ) d 1R p y x y ??信道的轉(zhuǎn)移概率密度函數(shù)滿足 00( ) ( ) ( / )( ) l o g ( ) d l im l o g ( ) ( / ) l o g ( / ) d d l im l o g( / )( ) l o g d d ( ) ( / )()n n nR Δ ΔRRI X Y H X H X Yp x p x x Δ p x p y x p y x x yp x yp x y x y h X h X Ypx???????? ? ? ? ? ?????? ? ?? ????;( / )( ) l o g d d ( ) ( / )()()( ) l o g d d ( ) ( ) ( )( ) ( )RRp y xp x y x y h Y h Y Xpyp x yp x y x y h X h Y h X Yp x p y? ? ?? ? ? ?????基本連續(xù)信道的信息傳輸率為 ()R I X Y? ; 比特 /自由度 多維連續(xù)信道的平均互信息 1( / ) ( / )Niiip y x p y x?? ?( ) ( ) ( )( ) ( / ) ( ) ( / )h X h Y h X Yh Y h Y X h X h X Y? ? ?? ? ? ?( / ) ( / )( 。 ) ( ) l og d d l og d d( ) ( )()( ) l og d d( ) ( )x y x yxyp x y p y xI X Y p x y p x yx y x yp x p yp xyp x yxyp x p y????? ????信道的轉(zhuǎn)移概率密度函數(shù) 多維連續(xù)信道的平均互信息 多維連續(xù)信道的信息傳輸率為 ( 。 )R I X Y?1 ( 。 )R I X YN? 比特 /N個自由度 比特 /自由度 平均每個自由度的信息傳輸率為 波形信道的信息傳輸率 ( ( ) 。 ( ) ) l im ( 。 ) l im [ ( ) ( / ) ]l im [ ( ) ( / ) ]l im [ ( ) ( ) ( ) ]1l im ( 。 )? ? ? ???????? ? ???? ? ??NNNNtTI x t y t I X Y h X h X Yh Y h Y Xh X h Y h X YR I X YT 比特 /秒 對稱性 ()( 。 ) ( ) l o g d d( ) ( )()( ) l o g d d ( )( ) ( )???????RRp x yI X Y p x y x yp x p yp y xp y x x y I Y Xp x p y;凸狀性 信息不增性 ( ) ( )I X Z I X Y; ≤ ;圖 兩個串接連續(xù)信道 與離散信道的證明類似 連續(xù)信道平均互信息的特性 非負性 ( ) 0I X Y; ≥坐標變換平均互信息的不變性 圖 一般通信系統(tǒng)的信號變換 ( ) ( ) | |q sz p x y J?變換前后概率密度函數(shù)有 ,||,xyxy ssJJxyszzz???? ????????????00xyzs????|| xyJ sz??? ??( ) ( ) d ( ) d ( )x y d xq s q s z z p x y z p xs z d s??? ? ? ???? ? ? ?????( ) ( ) dyq z p y dz?? ( ) d( / ) ( / )( ) dq s z yq z s p y xq s z??()( ) ( ) l og d d( ) ( )()1( ) | | l og d d||( ) ( )()( ) l og d d ( )( ) ( )RRRq szI S Z q sz s zq s q zxyp x yszp x y J x yxy Jp x p yszp x yp x y x y I X Yp x p y??????????????????;;結(jié)論:在一一變換條件下,平均互信息保持不變。 6 ( , ) ( , )iiI X Y I X Y與 的 關(guān) 系1( ) ( )NiiiI X Y I X Y??; ≥ ;1( ) ( )NiiiI X Y I X Y??; ≤ ;1( ) ( )NiiiI X Y I X Y?? ?; ;信源無記憶 信道無記憶 信源信道皆無記憶 連續(xù)信道和波形信道的信道容量 一般加性波形信道的信道容量為: ? ?()()1m a x l im ( ) ( )1l im m a x ( ) ( )tTpxT pxC h Y