信息論與編碼第一講-wenkub.com
2025-04-23 13:51 本頁面
【正文】 也就是說，高斯白噪聲是最有害的干擾，在一定平均功率下，造成最大數(shù)量的有害信息。 此時， ?????????其它,0,1)(bxaabxp（ 2）平均功率受限條件下信源的最大熵 定理： 若一個連續(xù)信源輸出符號的平均功率被限定為P（這里是指的交流功率，即方差 ）），則其輸出信號幅度的概率密度分布是高斯分布時，信源有最大的熵，其值為 。 ?221)()()(1)(KdxxpmxKdxxxpdxxp????????????????? ????? dxxpxpXh )(l o g)()( 通常感興趣的是兩種情況：一種是信源的輸出值受限；另一種是信源的輸出平均功率受限。除存在完備集條件 以外，還有其它約束條件。 )/()()/()()。在討論熵差時，只要兩者離散逼近時所取的間隔△一致，無限大項常數(shù)將互相抵消掉。所以避開第二項， 定義 連續(xù)信源的熵 為： ??????????????????????ba niiniiinnndxxpxpxpxpxpXHXHl o gl i m)(l o g)(])([l o gl i m)](l o g)([l i m)(l i m)(0????? R dxxpxpXh )(l o g)()( 由上式可知，所定義的連續(xù)信源的熵并不是實際信源輸出的絕對熵，連續(xù)信源的絕對熵應(yīng)該還要加上一項無限大的常數(shù)項。當 p(x)是 x的連續(xù)函數(shù)時，由積分中值定理可知，必存在一個 xi 值使上式成立。此時，連續(xù)信源的數(shù)學(xué)模型為： 其中， R是全實數(shù)集，是變量 X的取值范圍。Y)達到信道容量時 ,輸入符號概率集 {p(ai)}中每一個符號 ai對輸出端 Y提供相同的互信息，只是概率為 0的除外。 0)21,21(1 ??? HC信道無噪聲 ? 當 p = 0, C =1－ 0 = 1bit = H(X) ? 當 p =1/2, 信道強噪聲 ? BSC信道容量 )](1[ pHrC st ??? 當信源輸入符號的 速率 為 rs(符 /秒 ),信道容量 ? 實際 信息傳輸速率 Rt為 )]|()([ YXHXHrR st ??? 進入信道 輸入端 的 信息速率 )( XHrD sin ? 一般 DMC信道 ? 定理 ： ? 一般離散信道的平均互信息 I(X。 ijmjijmppmpppHmC??????121l o gl o g),(l o g ?? 強對稱信道 的信道容量： )1,1,1(l o g 2 ????? n pn ppHnC ?? 設(shè)二進制對稱信道的輸入概率空間 ? 信道矩陣： ????????????? ?? 10PX????????????????ppppppppP11ppabpapbpppabpapbpiiiiii????????????????)|()()1()|()()0(110100 BSC信道容量 )(]l o gl o g[)|(l o g)|()|(l o g)|()()|(pHppppabpabpabpabpapXYHijjijiji jiji?????????? ?)(1)()()|()()。Y)=H(X) 無噪信道 P(y/x)=0 or 1 H(Y/X)=0 I(X。|I X Y H Y H Y X??條件熵可看作由于信道噪聲而損失的信息量（損失熵） 也可以看作由于信道噪聲所造成的對信源消息的平均不確定性 疑義度 條件熵可看作唯一地確定信道噪聲所需要的平均信息量（散布度） 噪聲熵 無擾信道 ? ? ? ? ? ?。 HXI X Y HY??? ???與熵和共熵的關(guān)系 ? ? ? ? ? ? ? ?。 。 ?平均互信息量 ： 平均條件互信息量 在整個 Y集合上的概率加權(quán)平均值 。 ?定理 : ? 熵滿足不等式 ?當且僅當信源中各符號的出現(xiàn)概率 P(x)都等于時1/M，上式取等號，可得最大熵： ? ? l o gH X M?? ? m a x l o gH X M?二元信源的信源熵 二元信源的信源熵
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1