【正文】 ???niinii xpp11)(? ????????niiaiadxxp1 )1()(1)( ?? ?ba dxxp ????niiin ppXH1l og)(??????niii xpxp1])(l og [)(0 , , nn X X? ? ? ? ?則11( ) l o g ( ) ( ) l o gnni i iiip x p x p x??? ? ? ? ? ???0( ) l im ( )nH X H X???0 11l im { ( ) l o g ( ) ( ) l o g }nni i iiip x p x p x?? ??? ? ? ? ? ???單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 5） 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 6） ???? ??? l ogl i m)(l og)( 0ba dxxpxp微分熵 ： h(X) 又稱為差熵 1)()(11???? ?????baniinii dxxppxp? ?0011l im ( ) l o g ( ) l im ( ) l o gnni i iiip x p x p x? ? ? ?????? ? ? ? ? ???????0( ) ( ) l im l o gH X h X ??? ? ?確定值部分 無限大常數項 同樣，我們可以定義兩個連續(xù)隨機變量的聯合熵： 及條件熵 并且它們之間也有與離散隨機變量一樣的相互關系： 2( ) ( ) l o g ( )Rh X Y p x y p x y d x d y?? ??2( | ) ( ) l o g ( | )Rh Y X p x y p y x d x d y?? ??2( | ) ( ) l o g ( | )Rh X Y p x y p x y d x d y?? ??( ) ( | ) ( ) ( | ) ( )h XY h Y X h X h X Y h Y? ? ? ?( | ) ( )h Y X h Y? ( | ) ( )h X Y h X?單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 7） 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 8） 例 ：求均勻分布的隨機變量的 微分 熵： ???????????????],[0],[1)(:)(],[::][baxbaxabxpXPbaXPX1)( ??ba dxxp單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 9） ? ???? ba dxabab 1)l og (1)lo g ( ab ??1 ( ) 01 ( ) 01 ( ) 0b a h Xb a h Xb a h X? ? ?? ? ?? ? ?微分熵無非負性，可為負值 ( ) ( ) l o g ( )bah X p x p x d x?? ?? ???? ba dxabab 1l og1單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 10） 例 ：求高斯分布的隨機變量的 微分 熵： ????????????222)(221)(:)(),(:::][???mxexpXPRXPX22()( ) ( )m x p x dxx m p x dx?????????? ???? ?????( ) 1p x dx???? ??單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 11） ( ) ( ) l n ( )h X p x p x d x?? ?22()221( ) l n ( )2xmp x e d x??????? ?22()221( ) l n ( ) l n2xmp x d x p x e d x?????? ? ???2221 ( )l n ( 2 ) ( ) ( ) l n22xmp x d x p x e d x????? ?? ? ???????22211l n ( 2 ) l n ( ) ( )22 e x m p x d x?? ?? ? ??單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 12） eln212ln21 2 ?? ??22ln21 ?? e?高斯分布的 微分 熵與 方差 有關，與 均值 無關 當均值 m=0時，方差代表平均功率 P 。 1( ) l n ( 2 )2h X e P??微分熵只與平均功率有關 ( 平均功率 P =直流功率 m2 +交流功率 ) 2?單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 13） ??????????????????)0(0)0(1)(:)(),0(::][xxeaxpXPXPX axadxxxpXE ?? ? ?0 )()(例 ：求指數分布的隨機變量的微分熵： 0 ( ) 1p x d x? ??單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 14） ? ? ???? dxexpdxaxp axln)(1ln)(? ??? dxxxpeadxxpa )(ln1)(lnea lnln ??ln ae? （ ） 指數分布的微分熵只取決于均值 a ( ) ( ) l n ( )h X p x p x d x?? ?? ??? dxeaxp ax)1l n()(單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 15） 1 2 1 2 1 2 1 211 2 1 211 2 1 2( ) ( ) l n ( )1( ) l n ( 2 ) ( ) ( )211l n ( 2 ) ( ) ( ) ( )221N N N NNTNNNTNNh X X X p x x x p x x x dx dx dxp x x x dx dx dxp x x x dx dx dx???? ?? ???? ?? ???? ?? ????? ?? ???? ?? ????? ?? ??????? ? ? ? ? ???????? ? ? ????? ? ?? ? ?? ? ?R X M R X MR X M R X Ml n ( 2 )22NN??? ???R例 求 N維高斯信源的熵。 ?????? ???? ? )()(21e x p)2(1)( 121221 MXRMXRTNNxxxp??思考： 若隨機噪聲在 之間的概率密度函數 。求該信源的微分熵。 V1?xxp ?? 1)(p(x) 1 1 x 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 16） 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 2. 連續(xù)信源的最大熵 定理 在輸出幅度受限的情況，服從均勻分布的隨機變量 X具有最大輸出熵。 ?????????? ???222 2)(e xp21)(???mxxp其它bxaabxp?????????01)(定理 對于均值為 m，方差為 的連續(xù)隨機變量，當服從高斯分布時具有最大熵。 2?單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 20 ( ) l o g 2 l o g 2h X e e P? ? ??? 02 ( )12hXPee??2 ( )12hXPee??熵功率 3. 連續(xù)信源的熵功率 0( ) ( ) l og 2h X h X e P??? 2 ( )12hXPee??PP?剩余度 PP?