信息率失真函數(shù)(1)-閱讀頁
2025-06-01 05:27本頁面
【正文】 ai 找一個 bj與其相對應(yīng)。 當(dāng) Dmin=0，也就是說，信源不允許任何失真存在，信息率至少等于信源輸出的平均信息量 信源熵， R（ 0） =H（ X） 對于連續(xù)熵 m i n ( ) m in ( , )baD P a d a b? ???? )(lim 0 DRDPage 32 第 4章 信息率失真函數(shù) (2)定義域上界： 由于 R(D)是用從 BD中選出 求得的最小平均互信息，所以 R(D)非負。當(dāng) D增大時，R(D)可能減小，直到減小到 R(D)=0，此時對應(yīng)著 Dmax。所以選擇所有滿足 R(D)=0中的 D的最小值定義為定義域的上限 ，是使 R(D)=0的最小平均失真。所以 ( | ) ( )P b a P b?m a x , ,m in ( ) ( ) ( , ) m in ( ) ( ) ( , )ab a b b aD P a P b d a b P b P a d a b??? ? ?( ), ( , )P a d a b 給定 ,而且對不同的 b, ( ) ( , )aP a d a b?有不同的值。這樣就可使平均失真最小。 111,3331 2 32133 2 1d???????????解： m in ( ) m in ( , )baD p a d a b? ?1 2 3( ) m in( 1 , 2 , 3 ) ( ) m in( 2 , 1 , 3 ) ( ) m in( 3 , 2 , 1 )p a p a p a? ? ?1?4. 信息率失真函數(shù)的性質(zhì) Page 36 第 4章 信息率失真函數(shù) 令對應(yīng)最小 d(ai,bj)的 ，其它為 0?？傻脤?yīng)的轉(zhuǎn)移概率矩陣為 2 1 3( ) 1 , ( ) ( ) 0p b p b p b? ? ?0 1 00 1 00 1 0??????????4. 信息率失真函數(shù)的性質(zhì) Page 38 第 4章 信息率失真函數(shù) 求 Dmax ??????????????????0,11,0),(),(),(),(22122111yxdyxdyxdyxdd例 設(shè)輸入輸出符號 X=Y={0， 1}，輸入概率分布為 p(x)={1/3,2/3}，失真矩陣為 4. 信息率失真函數(shù)的性質(zhì) Page 39 第 4章 信息率失真函數(shù) 解 ： ????niijimj dpD1...2,1m a x m i n),(m i n 2221212121112,1 dpdpdpdpj ??? ?)03/213/1。3/2(m in2,1??j??????????????????0,11,0),(),(),(),(22122111yxdyxdyxdyxddp(x)={1/3,2/3} 輸出符號概率 31?4. 信息率失真函數(shù)的性質(zhì) Page 40 第 4章 信息率失真函數(shù) ２、 R(D) 是關(guān)于 D的的下凸函數(shù) 設(shè) D1,D2為任意兩個平均失真， ，那么 01???1 2 1 2( ( 1 ) ) ( ) ( 1 ) ( )R D D R D R D? ? ? ?? ? ? ? ?證明略 (D)是定義域上的連續(xù)和非增函數(shù) 證明略 4. 信息率失真函數(shù)的性質(zhì) Page 41 第 4章 信息率失真函數(shù) 4. 信息率失真函數(shù)的性質(zhì) Page 42 第 4章 信息率失真函數(shù) 一個信源含有三個消息 ,概率分布為p1=,p2=,p3=,失真函數(shù)矩陣為 ? ????????????102230124d求 :Dmax,Dmin, R(Dmax),R(Dmin) Page 43 第 4章 信息率失真函數(shù) ijyi i dxpDjm i n)(m in ??)。(m i n1...2,1m a x??????????????? ???niijimjdpD R(Dmax)=0, R(Dmin)=R(0)=Hmax(x)=[++] ? ????????????102230124dp1=,p2=,p3= 在給定的失真函數(shù)矩陣中 ,對每一個 xi找一個最小的 dij 然后求 Page 44 第 4章 信息率失真函數(shù) 上次課內(nèi)容 基本概念 （失真度） 信息率失真函數(shù)的性質(zhì) Page 45 第 4章 信息率失真函數(shù) ????niijimj dpD1...2,1m a x m inijyi i dxpD jm in)(m in ??有失真 失真度 D能否等于零 ,與給定的單個符號失真函數(shù) dij有關(guān) , dij每一行至少有一個零 ,才能有 Dmin=0,當(dāng) Dmin=0時表示不允許有任何失真 . Dmin=0 無失真 R(Dmax)=0 R(0)=H(x) 無失真 信息率失真函數(shù)的值域 0≤R(D)≤H(X) 相當(dāng)于在失真矩陣的每一行找出一個最小的 dij ,所有這些不同最小值取數(shù)學(xué)期望 ,這就是信源最小平均值 . Page 46 第 4章 信息率失真函數(shù) 4. 信息率失真函數(shù)的性質(zhì) Page 47 第 4章 信息率失真函數(shù) 例 :令 X={0,1},設(shè)失真矩陣為 ???????2321ijd對于一個等概分布的隨機變量 ,求 )()( ?DR對應(yīng)的定義域 ( Dmin,Dmax) 2)221221。 ) ( ) ( | ) l og( ) ( | )rsjii j i riji j iiP b aI X Y P a P b aP a P b a???? ???的極小值。 當(dāng) D由 Dmin增大 Dmax到時 ,S的數(shù)值隨之由Smin=∞增至 Smax=0,當(dāng) D＞ Dmax， R(D)=0, 。 0dSdD ?() 0dR DdD ?離散信源R(D)的計算 Page 53 第 4章 信息率失真函數(shù) 離散信源R(D)的計算 Page 54 第 4章 信息率失真函數(shù) 離散信源函數(shù) R(D)求解步驟 e x p [ ] 1 0 ( 1 , 2 , , )i i ij jip S d q j s? ? ? ??1 e xp[ ]i j i jjq Sd? ? ? ?( ) e x p [ ]i j i i j i jijD S p q d S d?? ??( ) ( ) l o giiiR S S D S p ??? ?（ ） （ ） （ ） （ ） （ ）求 λ i， i=1,2,3,… .r； （ ）求， qj； j=1,2,3…… s （ ）求 D(S)； （ ）求 R(S)。反之，如果過信源分布越不均勻，信源的冗余度越大， R(D)就 越大，信源壓縮的可能性
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1