微分熵與平均互信息-預(yù)覽頁
【正文】 1dy)x/y(pdc ??其中微分熵與平均互信息 噪聲熵與噪聲微分熵 Mcdy ???p(y/xi) y d c c+(j1)Δy c+jΔy x落在第 i個(gè)區(qū)域基礎(chǔ)上信道轉(zhuǎn)移概率密度函數(shù)p(y/xi)如圖所示 i=1,2, …,N 微分熵與平均互信息 Mcdy ???p(y/xi) y d c c+(j1)Δy c+jΔy jy)x/y(p ijy/xi落在第 j個(gè)區(qū)域的信道轉(zhuǎn)移概率 M,2,1jdy)x/y(p]yjcx/yy)1j(c[P yjc y)1j(c ii ?????????? ? ?? ???M,2,1jy)x/y(pdy)x/y(p ijyjc y)1j(c i ????? ?? ???根據(jù)中值定理 微分熵與平均互信息 ① 噪聲熵 }]y)x/y(pl o g [yx)yx(p{l i m)X/Y(HM1jN1iijji0y,xM,N ? ?? ???????????? ?? ?? ??????? ??????????????M1jN1iji0y,xM,NM1jN1iijji0y,xM,Nyl ogyx)yx(plim)x/y(pl ogyx)yx(plim? ?? ? ????????dcba0yMdcbad x d y)xy(pyl o gl i md x d y)x/y(pl o g)xy(p微分熵與平均互信息 ??????????? ?yl oglimdx dy)x/y(pl og)xy(p0yMdcba微分熵與平均互信息 ② 噪聲微分熵 信源消息 x信宿消息 y所對應(yīng)信道轉(zhuǎn)移概率密度函數(shù) p(y/x)對數(shù)負(fù)值的數(shù)學(xué)期望，用 h(Y/X)表示 定義 ? ??? dc ba d x d y)x/y(pl o g)xy(p)X/Y(h表示 微分熵與平均互信息 平均互信息 信宿消息 y所對應(yīng)概率密度函數(shù) p(y)與信源消息 x信宿消息 y所對應(yīng)信道轉(zhuǎn)移概率密度函數(shù) p(y/x)比值對數(shù)負(fù)值的數(shù)學(xué)期望，用 I(X。X(I ??)X/Y(h)Y(hyl o glim)X/Y(hyl o glim)Y(h0yM0yM????????????????微分熵不能作為信息度量， 平均互信息 —— 微分 熵差，具有信息度量的意義 ?以信宿為參考，利用信宿的微分熵和信道的噪聲微分熵來度量信道中傳輸?shù)钠骄畔⒘? ?以信源為參考，利用信源的微分熵和信道的損失微分熵來度量信道中傳輸?shù)钠骄畔⒘? 微分熵與平均互信息 平均互信息的主要性質(zhì) ① 對稱性 )X。X(I ???微分熵與平均互信息 ③ 嚴(yán)格 凸性 ?信道固定時(shí)， I(X。XXX(I????????????? ? ?? ??? ? ?? ????dc n21n21n21n21n21n21badcdcbabadc n21n21n21n21n21badcdcbabadydydydxdxdx)xxx/yyy(pl o g)yyyxxx(pdydydydxdxdx)yyy(pl o g)yyyxxx(p???????????????)XXX/YYY(h)YYY(hdydydydxdxdx)xxx/yyy(pl og)yyyxxx(pdydydy)yyy(pl og)yyy(pn21n21n21dc n21n21n21n21n21n21badcdcbabadc n21n21n21dcdc?????????????????????? ? ?? ??? ?微分熵與平均互信息 定義 nLk1)YYXX/Y。X(I1212112babadcdc212112122121babadcdc212111221211122?????? ? ? ?? ? ? ?)YYXX/Y(h)YYX/Y(hdydydydxdx)yyxx/y(pl o g)yyyxx(pdydydydxdx)yyx/y(pl o g)yyyxx(p)YYX/Y。X(I)YX/Y。X(I)YYY。X(I)YX/Y。X(I1n11n1nn1n11n211221n1n112111????????????????????微分熵與平均互信息 平均互信息的界 )YYXX/Y。X(I)Y/Y。X
畢業(yè)設(shè)計(jì)相關(guān)推薦
鄂ICP備17016276號-1