【正文】
og d d( ) ( )x y x yxyp x y p y xI X Y p x y p x yx y x yp x p yp xyp x yxyp x p y????? ????信道的轉(zhuǎn)移概率密度函數(shù) 多維連續(xù)信道的平均互信息 多維連續(xù)信道的信息傳輸率為 ( 。 ? ? ? ? ? ?( ) ( ) ( )y t x t n t??圖 加性信道 在加性連續(xù)信道中, 信道的轉(zhuǎn)移概率密度函 數(shù)等于噪聲的轉(zhuǎn)移概率 密度函數(shù)。 低頻限帶高斯白噪聲 可以看成是無限帶寬的高斯白噪聲 通過一個理想低通濾波器后所得。1( / ) ( / )Niiip y x p y x?? ?連 續(xù) 無 記 憶 信 道圖 基本連續(xù)信道 基本連續(xù)信道 就是輸入和輸出都是單個連續(xù)型隨機變量的信道。2eP( ( ) ) ( ( ) )h X q x h X p x, ≤ ,2( ) ( )q x p x?為 信 源 輸 出 的 任 意 概 率 密 度 分 布 , 是方 差 為 的 正 態(tài) 概 率 密 度 分 布 。 圖 信息處理網(wǎng)絡(luò) X y k x a Y? ? ? ?例 P154 ( ).hY求kayx ?? 1X d xJY d y k?? ??????2 2 2d( ) ( ) l o gd1( ) ( ) l o g11l o g 2 π e l o g l o g 2 π e22????????? ??????? ? ??xh Y h X Eyh X p x d xkkk22/221( ) e2 πxpx ????增加熵值 具有最大差熵的連續(xù)信源 122( ) d 1( ) d( ) ( ) d p x xx p x x Kx m p x x K????????????????( ) ( ) l o g ( ) dh X p x p x x????? ?求 泛 函 數(shù) 的 極 值 , 有 下 述約 束 條 件1. 峰值功率受限條件下信源的最大差熵 ? ??,.PX a b?信 源 輸 出 信 號 的 峰 值 功 率 受 限 為 信 源 輸 出 的 連 續(xù)隨 機 變 量 的 取 值 幅 度 受 限 于圖 輸出幅度受限的信源當(dāng)熵 為最大時的概率密度分布 ? ?4 . 11,?? dxba定 理 若 信 源 輸 出 的 幅 度 被 限 定 在 a,b 區(qū) 域 內(nèi) ,即 p(x) 則 當(dāng) 輸 出 信 號 的 概 率 密 度 分 布 是 均 勻 分 布時 ( 圖 ) , 信 源 具 有 最 大 熵 , 其 值 等 于 log(ba). 若當(dāng) N維隨機矢量受限時,也只有各隨機分量統(tǒng)計獨立,并均勻分布時具有最大熵。在 [a,b]區(qū)間內(nèi)均勻分布的連續(xù)信源 其差熵為 ( ) ( ) [ l o g ( ) ]??XXh Y h X E JY圖 空間 A一一對應(yīng)地映射成空間 B 連續(xù)信源輸出的隨機變量(或隨機矢量)通過一一對應(yīng)變換,其差熵會發(fā)生變化。 ( ) ( ) ( | ) ( ) ( | )h X Y h X h Y X h Y h X Y? ? ? ?( | ) ( ) ( | ) ( )h X Y h X h Y X h Y??或( ) ( ) ( )h X Y h X h Y?? 并當(dāng)且僅當(dāng) X與 Y統(tǒng)計獨立時 所以可得 ( ) ( )h X p x差 熵 是 輸 入 概 率 密 度 函 數(shù) 的上 凸 函 數(shù) 。當(dāng)均值 m=0時, X的方差 就等于信源輸出的平均功率 P: 2?2?1( ) l o g 22 ??h X e P 如果 N維連續(xù)平穩(wěn)信源輸出的 N維連續(xù)隨機矢量 是正態(tài)分布則稱此信源為 N維高斯信源。這樣,一 個頻帶和時間都為有限的波形信源就轉(zhuǎn)化為多維 連續(xù)平穩(wěn)信源來處理。其數(shù)字模型是概率空間 [X,p(x)], 12()? ??? NX X X X121( ) ( ) ( )?? ? ? ? ? ?NNiip x p x x x p x12( ) ( ) ( ) l o g ( ) d? ? ? ? ? ? ?N Rh X h X X X p x p x x連續(xù)平穩(wěn)無記憶信源 1 2 1 1 2 1 2 1 1 2( | ) ( ) l o g ( | )??? ? ? ? ? ? ? ???n n n n n nRRh X X X X p x x x p x x x x d x d x d x2 1 1 2 2 1 1 22 1 22 ( | ) ( ) l o g ( | )( | ) ( )? ? ?????RRn h X X p x x p x x d x d xh X X h X1 2 1 2 1 3 1 21 2 1 1 2 11( ) ( ) ( ) ( / ) ( / )( / ) ( / ) ???? ? ? ?? ? ? ?NNN N i iih X h X X X h X h X X h X X Xh X X X X h X X X X1 2 1 2( ) ( ) ( ) ( ) ( )NNh X h X X X h X h X h X? ? ? ?≤且當(dāng)隨機序列中各變量統(tǒng)計獨立時等式成立??捎米? 量的概率密度,變量間的條件概率密度和聯(lián)合概率密 度來描述。 連續(xù)信源的差熵 先看單個變量的基本連續(xù)信源的信息測度。 取樣加量化才使隨機過程變換成時間 的取值都是離散的隨機序列 。 122 2 2( , , . . . , , . . . )iF F FX X X X? 如果隨機過程又是限時的,時間間隔為 T,則就 成為 2FT個有限維的隨機序列。 隨機過程 時間離散的隨機序列 取樣定理 12F? ? 時間連續(xù)函數(shù) f(t)的頻帶受限(上限頻率為 F)取樣