【正文】 V1?xxp ?? 1)(p(x) 1 1 x 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 16） 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 2. 連續(xù)信源的最大熵 定理 在輸出幅度受限的情況，服從均勻分布的隨機變量 X具有最大輸出熵。 5. 信源的相關(guān)性和剩余度（續(xù) 4） 單符號信源 連續(xù)信源 多符號信源 信源分類 第三章：信源及信源熵 解：為了計算方便，假設(shè)每類中漢字出現(xiàn)是等概的，得表 類別 漢字個數(shù) 所占概率 每個漢字的概率 1 140 2 625140=485 = 3 2400625=1775 = 4 7600 H1=H(X) = bit/漢字 H0= bit/漢字 101 0 .2 6 4HH? ? ? ?5. 信源的相關(guān)性和剩余度（續(xù) 5） 單符號信源 連續(xù)信源 多符號信源 信源分類 第三章：信源及信源熵 一： 信源的分類及其數(shù)學(xué)模型 二：離散單符號信源 三：離散多符號信源 四：連續(xù)信源 1. 連續(xù)信源的微分熵 2. 連續(xù)信源的最大熵 3. 連續(xù)信源的熵功率 第三章：信源及信源熵 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 : ( ) ( )X p x f x)|()()|()()( jijijiji yxpypxypxpyxp ??( ) ( ) , ( ) ( )i i j j i jjip x p x y p y p x y????)|()()|()()( yxpypxypxpxyp ???? ?? ???? ?? ?? dxxypypdyxypxp )()(,)()(離散： （一）數(shù)學(xué)模型 1)( ?? ba dxxp? ?, ( , )::()()ab RXXpxpx?? ? ? ? ????? ??????( ) 1p x dx???? ??單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 1） a a +( i 1) △ a + i △第 i 個區(qū)間x ib xp ( x )圖3 . 4 連續(xù)隨機變量的概率密度函數(shù)單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 2） （二） H(X)：信息熵 0nX X X? ? ???? ????量化分層 連續(xù) 離散 )()(l i m 0 XHXH n ?? ??nab ???]}[])1({[ ???????? iaxiaPp i( 1 ) ( ) ( )aiiai p x d x p x??? ? ?? ? ??), .. .,2,1( ni ?單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 3） p(x) 1 0 1 x 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 4） ????ninninnn pppXPxxxXXPX????11:)(::)]([?)( ixp??????niinii xpp11)(? ????????niiaiadxxp1 )1()(1)( ?? ?ba dxxp ????niiin ppXH1l og)(??????niii xpxp1])(l og [)(0 , , nn X X? ? ? ? ?則11( ) l o g ( ) ( ) l o gnni i iiip x p x p x??? ? ? ? ? ???0( ) l im ( )nH X H X???0 11l im { ( ) l o g ( ) ( ) l o g }nni i iiip x p x p x?? ??? ? ? ? ? ???單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 5） 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 6） ???? ??? l ogl i m)(l og)( 0ba dxxpxp微分熵 ： h(X) 又稱為差熵 1)()(11???? ?????baniinii dxxppxp? ?0011l im ( ) l o g ( ) l im ( ) l o gnni i iiip x p x p x? ? ? ?????? ? ? ? ? ???????0( ) ( ) l im l o gH X h X ??? ? ?確定值部分 無限大常數(shù)項 同樣，我們可以定義兩個連續(xù)隨機變量的聯(lián)合熵： 及條件熵 并且它們之間也有與離散隨機變量一樣的相互關(guān)系： 2( ) ( ) l o g ( )Rh X Y p x y p x y d x d y?? ??2( | ) ( ) l o g ( | )Rh Y X p x y p y x d x d y?? ??2( | ) ( ) l o g ( | )Rh X Y p x y p x y d x d y?? ??( ) ( | ) ( ) ( | ) ( )h XY h Y X h X h X Y h Y? ? ? ?( | ) ( )h Y X h Y? ( | ) ( )h X Y h X?單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 7） 單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 8） 例 ：求均勻分布的隨機變量的 微分 熵： ???????????????],[0],[1)(:)(],[::][baxbaxabxpXPbaXPX1)( ??ba dxxp單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 9） ? ???? ba dxabab 1)l og (1)lo g ( ab ??1 ( ) 01 ( ) 01 ( ) 0b a h Xb a h Xb a h X? ? ?? ? ?? ? ?微分熵?zé)o非負性，可為負值 ( ) ( ) l o g ( )bah X p x p x d x?? ?? ???? ba dxabab 1l og1單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 10） 例 ：求高斯分布的隨機變量的 微分 熵： ????????????222)(221)(:)(),(:::][???mxexpXPRXPX22()( ) ( )m x p x dxx m p x dx?????????? ???? ?????( ) 1p x dx???? ??單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 11） ( ) ( ) l n ( )h X p x p x d x?? ?22()221( ) l n ( )2xmp x e d x??????? ?22()221( ) l n ( ) l n2xmp x d x p x e d x?????? ? ???2221 ( )l n ( 2 ) ( ) ( ) l n22xmp x d x p x e d x????? ?? ? ???????22211l n ( 2 ) l n ( ) ( )22 e x m p x d x?? ?? ? ??單符號信源 多符號信源 信源分類 連續(xù)信源 第三章：信源及信源熵 1. 連續(xù)信源的微分熵 （續(xù) 12） eln212ln21 2 ?? ??22ln21 ?? e?高斯分布的 微分 熵與 方差 有關(guān)，與 均值 無關(guān) 當(dāng)均值 m=0時，方差代表平均功率 P 。 4. 馬爾可夫信源（