微分熵與平均互信息-文庫吧
2025-04-25 08:22 本頁面
【正文】 0且方差受限 )eP2l o g (21)X(hP0Pm a x2??????最大微分熵信源具有最大微分熵，的高斯、方差，均值平均功率被限定為微分熵與平均互信息 設(shè) p(x)是任意概率密度函數(shù)，但 0dx)x(xp ??? ? ???Pdx)x(px 22 ??? ? ???? ????? dx)x(pl o g)x(p)X(h?????????????? dx]ee22)x(pl og [)x(p22222x2x22微分熵與平均互信息 ??????????????????? dxe2)x(p1l o g)x(pdxe21l o g)x(p 22222x22x2????????????? dx]1e2)x(p1)[x(p)e2l og (21 222x22m a x22x22)X(h)eP2l o g (21)e2l o g (21]dx)x(pdxe21[)e2l o g (21 22????????????? ? ?????????微分熵與平均互信息 222x2e21)x(p ?????當)eP2l o g (21)e2l o g (21)X(h)X(h 2m a x ??????微分熵與平均互信息 聯(lián)合微分熵與條件微分熵 信源發(fā)出的消息為有限或可數(shù)的符號序列，符號序列中任何時刻的符號都隨機取值于同一個連續(xù)域 多符號連續(xù)信源 定義 表示 連續(xù)型隨機變量序列 X1X2…X n 微分熵與平均互信息 為信源發(fā)出的消息的取值隨機變量序列 n21n21 xxxXXX ???????? ???)xxx(pn,2,1k]b,a[xxxx)XXX(pXXXn21kn21n21N21????? ，1dxdxdx)xxx(pba ba ba n21n21 ?? ? ? ???其中)xxx(p)xxxXXX(pXXdX)xxxXXX(dPn,2,1k]b,a[xxxxXXXn21n21n21n21n21n21kn21n21???????????????? ，微分熵與平均互信息 ??????????nkn21n21n21)ab/(1n,2,1k]b,a[xxxx)XXX(pXXX ???? ，例 1 ????????????????????? ?????????????????? ])x()x)(x(2)x([)1(21221k21212122222212211212112e1212,1k),(xxx)XX(pXX，例 2 微分熵與平均互信息 聯(lián)合微分熵與條件微分熵 聯(lián)合微分熵 —— 消息 x1x2…x n所對應聯(lián)合概率密度函數(shù) p(x1x2…x n)對數(shù)負值的數(shù)學期望，用h(X1X2…X n)表示 定義 ? ? ??? ba ba ba n21n21n21n21 dxdxdx)xxx(pl o g)xxx(p)XXX(h ?????表示 微分熵與平均互信息 條件微分熵 —— 消息 x1x2…x n所對應條件概率密度函數(shù) p(xk/x1…x k1)對數(shù)負值的數(shù)學期望，用h(Xk/X1… Xk1)表示 其中 1k≤n 定義 表示 ? ? ?? ?????bababa 321213321213baba 21122112dxdxdx)xx/x(pl o g)xxx(p)XX/X(hdxdx)x/x(pl o g)xx(p)X/X(h微分熵與平均互信息 ? ? ? ?? ?? ba ba ba n211n1nn211n1n dxdxdx)xx/x(Pl o g)xxx(p)XX/X(h ??????微分熵與平均互信息 微分熵的鏈式法則 ? ? ??? ba ba ba n21n21n21n21 dxdxdx)xxx(pl o g)xxx(p)XXX(h ?????? ? ?? ? ?? ? ???????bababan211n1nn21bababan211
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1