信息論與編碼ppt課件(2)(編輯修改稿)
2025-06-02 02:45 本頁面
【文章內(nèi)容簡介】 |xi)而變。 ? 因為 p(x)分布一定時 ,信道受干擾不同所能傳遞的信息量是不同的。 ? 可以證明，當(dāng) p(x)一定時 ,I (X,Y)是關(guān)于 p(yj|xi)的下凸函數(shù)。 ? 因此當(dāng)改變 p(yj|xi)時 ,I (X,Y)有一極小值。 20 平均互信息 ? 平均互信息 I(X。Y)： – 信源的概率分布 p(xi)的上凸函數(shù)。 p(yj|xi)一定 – 信道傳遞概率 p(yj|xi)的下凸函數(shù)。 p(xi)一定 )。(m a x)(YXICixp?? 信道容量： ? 信息率失真函數(shù)： )。(m in)( YXIDRDP?21 率失真函數(shù)與信道容量的比較 信道容量 C 率失真函數(shù) R(D) 數(shù)學(xué)上 固定 p(yj/xi),改變 p(xi),求得 I(X。Y)最大值 固定 p(xi),改變 p(yj/xi),求得 I(X。Y)最小值 概念上 (反映 ) 固定信道，改變信源，使信息率最大 （ 信道傳輸能力 ） 固定信源，改變信道，使信息率最小 （ 信源可壓縮程度 ） 通信上 使傳輸信息量最大，Pe→0 —— 信道編碼 用盡可能少的碼符號傳送 —— 信源編碼 22 信息率失真函數(shù)的 性質(zhì) ? R(D)的定義域 ? 率失真的定義域問題就是在信源和失真函數(shù)已知的情況下 ,討論允許平均失真度 D的 最小 和 最大 取值問題。 ? 由于平均失真度是非負實數(shù) d(xi,yj)的數(shù)學(xué)期望 ,因此也是非負的實數(shù) ,即 的 下界是 0。 ? 允許平均失真度能否達到其下限值 0,與單個符號的失真函數(shù)有關(guān)。 DD ,0?23 R(D)的定義域 ? Dmin 和 R(Dmin) ? 信源的最小平均失真度： ???nijiji yxdxpD1m i n ),(min)(? 只有當(dāng)失真矩陣的每一行至少有一個 0元素時 ,信源的平均失真度才能達到下限值 0。 ? 當(dāng) Dmin = 0,即信源不允許任何失真時 ,信息率至少應(yīng)等于信源輸出的平均信息量 — 信息熵。即 R(0) =H(X) 24 R(D)的定義域 ? 因為實際信道總是有干擾的 ,其容量有限 ,要無失真地傳送連續(xù)信息是不可能的。 ? 當(dāng)允許有一定失真時 ,R(D)將為有限值 ,傳送才是可能的。 ? 對于連續(xù)信源： ????)(lim)(0m i nDRDRD25 R(D)的定義域 ? R(D)的定義域為 [Dmin， Dmax ]。 ? 通常 Dmin = 0， R(Dmin) = H(X) ? 當(dāng) D≥Dmax時 , R(D) = 0 ? 當(dāng) 0 ≤D≤Dmax時 , 0＜ R(D) ＜ H(X) 26 R(D)的定義域 ? Dmax：定義域的上限。 ? Dmax是滿足 R(D)=0時所有的平均失真度中的 最小值 。 DD DR 0)(m a x m in??? 由于 I(X,Y)是非負函數(shù) ,而 R(D)是在約束條件下的I(X,Y)的最小值 ,所以 R(D)也是一個非負函數(shù) ,它的下限值是零。 R(D)≥0 27 R(D)的定義域 ? 由于 I(X,Y) = 0的充要條件是 X與 Y統(tǒng)計獨立 ,即： )()|( jij ypxyp ?? ?????j ijiijypjjijiiypyxdxpypyxdypxpDjj),()()(m i n),()()(m i n)()(m a x????nijiimj
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1