信息論與編碼ppt課件(2)-在線瀏覽
2025-06-23 02:45本頁(yè)面
【正文】 ??? yxpyxpyxpyxp)(,)( 21 ?? ypyp32)|(,41)|(,31)|(,43)|(22122111 ???? yxpyxpyxpyxp符號(hào)/)()|(l o g)()。( b i txpyxpyxpYXIi j ijiji ?? ? ?? 可見(jiàn)當(dāng) p(x)一定時(shí) ,I (X,Y)隨 p(yj |xi)而變。 ? 可以證明，當(dāng) p(x)一定時(shí) ,I (X,Y)是關(guān)于 p(yj|xi)的下凸函數(shù)。 20 平均互信息 ? 平均互信息 I(X。 p(yj|xi)一定 – 信道傳遞概率 p(yj|xi)的下凸函數(shù)。(m a x)(YXICixp?? 信道容量： ? 信息率失真函數(shù)： )。Y)最大值 固定 p(xi),改變 p(yj/xi),求得 I(X。 ? 由于平均失真度是非負(fù)實(shí)數(shù) d(xi,yj)的數(shù)學(xué)期望 ,因此也是非負(fù)的實(shí)數(shù) ,即 的 下界是 0。 DD ,0?23 R(D)的定義域 ? Dmin 和 R(Dmin) ? 信源的最小平均失真度： ???nijiji yxdxpD1m i n ),(min)(? 只有當(dāng)失真矩陣的每一行至少有一個(gè) 0元素時(shí) ,信源的平均失真度才能達(dá)到下限值 0。即 R(0) =H(X) 24 R(D)的定義域 ? 因?yàn)閷?shí)際信道總是有干擾的 ,其容量有限 ,要無(wú)失真地傳送連續(xù)信息是不可能的。 ? 對(duì)于連續(xù)信源： ????)(lim)(0m i nDRDRD25 R(D)的定義域 ? R(D)的定義域?yàn)?[Dmin， Dmax ]。 ? Dmax是滿足 R(D)=0時(shí)所有的平均失真度中的 最小值 。 R(D)≥0 27 R(D)的定義域 ? 由于 I(X,Y) = 0的充要條件是 X與 Y統(tǒng)計(jì)獨(dú)立 ,即： )()|( jij ypxyp ?? ?????j ijiijypjjijiiypyxdxpypyxdypxpDjj),()()(m i n),()()(m i n)()(m a x????nijiimj yxdxpD12,1m a x),()(m i n?28 ? 例 43:設(shè)輸入輸出符號(hào)表為X=Y={0,1},輸入概率分布p(x)={1/3,2/3},失真矩陣 ??????? 01 10d? 求： Dmin 和 Dmax 31)31,32(m i n)032131,132031(m i nm i n212,1m a x?????????? ???jjijiijdpD? 失真矩陣的每一行至少有一個(gè) 0元素時(shí) , Dmin=0 此時(shí)輸出符號(hào)概率 p(b1)＝ 0， p(b2)＝ 1， 2221 , baba ??29 ? 例 :設(shè)輸入輸出符號(hào)表為 X=Y={0,1},輸入概率分布 p(x)={1/3,2/3},失真矩陣 ???????1212/1d? 求： Dmin 和 Dmax 1)1,23(m i n)132131,2322131(m i nm i n212,1m a x?????????? ???jjijiijdpD651322131),(m i n)(
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1