【正文】 i i jjjiD D p x d x y??????????如果在 中找到最小的 ， 當(dāng)該 j 對(duì)應(yīng)的 而其余的輸出概率為 0 時(shí) ， 上式計(jì)算出的 值最小 ， 即： 1 , 2 , ,jm? jD ( ) 1jpy ?maxDjX?D P D() 11m in ( ) ( ) ( , )nmi j i jpyijp x p y d x y??? ??1() 1m ( ) ( , )i n ( )niimjpy jijxyy pp xd??????????? ()1min ( )mjjpyjp y D?? ?17 0 .1 0 .90 .5 0 .50 .9 0 .1???????D 1 2 3() 0 . 3 0 . 2 0 . 5x x xXPX???? ? ?????? ??12{ , }Y y y?m in m a x,DD求m i n 0 . 3 0 . 1 0 . 2 0 . 5 0 . 5 0 . 1 0 . 1 8D ? ? ? ? ? ? ?1 0 . 3 0 . 1 0 . 2 0 . 5 0 . 5 0 . 9 0 . 5 8D ? ? ? ? ? ? ?m a x 1 2m i n ( , ) 0 . 4 2D D D??1 2 m a x( ) 0 ( ) 1p y p y D D??當(dāng) 輸 出 符 號(hào) 概 率 分 布 為 ： ， 時(shí) ， 取 到|010101YX?????????P此 時(shí) 試 驗(yàn) 信 道 的 轉(zhuǎn) 移 概 率 矩 陣 為 ：率失真函數(shù) R ( D ) 的定義域?yàn)? ( Dmin, Dmax ) 一般情況下： Dmin ? 0， R ( Dmin ) ? H ( X ) 當(dāng) D ? Dmax 時(shí)： R ( D ) ? 0 當(dāng) D ? ( Dmin, Dmax ) 時(shí) ： 0 R ( D ) H ( X ) ? ?0 . 1 0 . 90 . 3 0 . 2 0 . 5 0 . 5 0 . 50 . 9 0 . 1??????2 0 . 3 0 . 9 0 . 2 0 . 5 0 . 5 0 . 1 0 . 4 2D ? ? ? ? ? ? ?? ?0 . 5 8 0 . 4 2?18 率失真函數(shù)對(duì)允許平均失真度的下凸性 1 2 1 2[ ( 1 ) ] ( ) ( 1 ) ( )R D D R D R D? ? ? ?? ? ? ? ?1 2 m a x0 1 ,D D D?? ? ?對(duì) 于 任 意 的 和 任 意 兩 個(gè) 允 許 平 均 失 真 度 ， 有 ：121 2 1 2( , ) ( 1 , 2, , 。121 1 2 2( ) ( 。 )D D D DR D I X Y R D I X Y????在 保 真 度 準(zhǔn) 則 ： ， 的 限 定 條 件 下 有 ：1212( | ) , ( | )( | ) ( | ) ( 1 ) ( | )j i j ij i j i j ip y x p y xp y x p y x p y x??? ? ?根 據(jù) 定 義 一 個(gè) 新 的 試 驗(yàn) 信 道 ：11( ) ( | ) ( , )nmi j i i jijD p x p y x d x y??? ??新 試 驗(yàn) 信 道 的 平 均 失 真 度 為 ：19 1211( ) [ ( | ) ( 1 ) ( | ) ] ( , )nmi j i j i i jijD p x p y x p y x d x y????? ? ???1211( | ) ( | ) ( 1 ) ( | )( ) ( | ) ( , )j i j i j inmi j i j i i jp y x p y x p y xD p x p y x d x y????? ? ?? ? ?新 試 驗(yàn)信 　 道新試驗(yàn)信道在所有滿足保真準(zhǔn)則 的信道集合中 并不一定是達(dá)到率失真函數(shù) （ 使平均互信息 達(dá)到最小 ） 的信道 DD?( 。 )R D D R D I X Y??? ? ? ?固定信源 X， 平均互信息 I ( X。 ) ( 。 )I X Y I X Y I X Y??? ? ?因此 R ( D ) 在定義域內(nèi)是允許平均失真度 D 的下凸函數(shù) ， 即： 1 2 1 2[ ( 1 ) ] ( ) ( 1 ) ( )R D D R D R D? ? ? ?? ? ? ? ?121 1 1 1( ) ( | ) ( , ) ( 1 ) ( ) ( | ) ( , )n m n mi j i i j i j i i ji j i jp x p y x d x y p x p y x d x y??? ? ? ?? ? ?? ? ? ?12( 1 )DD??? ? ? 12( 1 )DD??? ? ?D?12( ) ( 1 ) ( )R D R D??? ? ?20 率失真函數(shù)的連續(xù)性 由數(shù)學(xué)分析理論： “ 定義在開區(qū)間上的凸函數(shù)必是連續(xù)函數(shù) ”知：定義域?yàn)? ( Dmin, Dmax ) 且具有下凸性的 R ( D ) 是連續(xù)函數(shù) 1 2 3( 1 ) ( )f x I I x x x為 開 區(qū) 間 上 的 凸 函 數(shù) ， 則 在 上 任 取 三 點(diǎn) ，必 有 ：首尾相連的弦線斜率是遞增的 12( 2 ) [ , ] ( ) [ , ], , ,[ , ] ,I f xI a b c d a b c dxx? ? ? ??????? ， 凸 函 數(shù) 在 上 滿 足 李 普 希 茨 條 件 ；在 中 任 選 四 點(diǎn) 滿 足 ： ，再 在 中 任 選 兩 點(diǎn) ， 證 明 ：2 1 2 1| ( ) ( ) | | | ( )f x f x L x x L? ? ? 為 任 意 小 的 正 數(shù)( 3 ) ( 2 ) ( ) [ , ] [ , ]()f x If x I? ? ? ?由 第 步 證 明 在 上 ( 一 致 ) 連 續(xù) ， 由 在 上的 任 意 性 ， 最 終 證 得 凸 函 數(shù) 在 開 區(qū) 間 上 連 續(xù)32212 1 3 2( ) ( )( ) ( ) f x f xf x f xx x x x?? ???21 由于允許的平均失真越大 ， 所要求的信息率就可以越小 率失真函數(shù) R ( D ) 是在平均失真度小于或等于允許平均失真度為 D 的所有試驗(yàn)信道組成的集合 PD 中 ， 取平均互信息 I ( X。 Y ) 的最小值 ， 顯然新挑選出最小值或者不變 ， 或者變小 ， 所以率失真函數(shù) R ( D ) 是單調(diào)非增的 以下將通過證明率失真函數(shù) R ( D ) 在定義域 ( Dmin, Dmax ) 內(nèi)不可能為常數(shù)從而證明率失真函數(shù)是嚴(yán)格單調(diào)遞減的函數(shù) 率失真函數(shù)的單調(diào)遞減性 12m in 1 2 m a x DDD D D D P P ?設(shè) ， 則 ： ， 根 據(jù) 率 失 真 函 數(shù) 的 定 義 可 知 ：2121( | ) ( | )( ) m i n ( 。 ) ( )j i D j i Dp y x P p y x PR D I X Y I X Y R D??? ? ?m i n m a x( ) ( , )R D D D因 此 率 失 真 函 數(shù) 在 定 義 域 內(nèi) 是 單 調(diào) 非 增 的 。1 ma x ma x1 1 ma x ma x( ) ( 。 ) 0D D D DR D I X Y R D I X Y??? ? ?　 　 在 保 真 度 準(zhǔn) 則 ： ， 的 限 定 條 件 下 有 ：min 1 2 ma x1 ma x 1 20( 1 )D D D DD D D D??? ? ? ? 　 　 對(duì) 于 ， 總 可 以 找 到 一 個(gè) 足 夠 小 ， 滿 足 ：1 m a xm a x 1( | ) , ( | )( | ) ( | ) ( 1 ) ( | )j i j ij i j i j ip y x p y xp y x p y x p y x??? ? ?　 　 根 據(jù) 定 義 一 個(gè) 新 的 試 驗(yàn) 信 道 ：ma x 112( 1 )D D DD D D??? ? ?　 　 其 允 許 平 均 失 真 度 為 ， 顯 然 有 ：11( ) ( | ) ( , )nmi j i i jijD p x p y x d x y??? ??　 　 新 試 驗(yàn) 信 道 的 平 均 失 真 度 為 ：23 m a x 1m a x 112( | ) ( | ) ( 1 ) ( | )( 1 )j i j i j ip y x p y x p y xD D DD D D????? ? ?? ? ? 11 ( ) ( | ) ( , )nmi j i i jijD p x p y x d x y??? ?? 新試驗(yàn)信道在所有滿足保真準(zhǔn)則的信道集合中并不一定是達(dá)到率失真函數(shù)的信道 ， 因此： R ( D ) ? I ( X。 ) ( 。 )I X Y I X Y I X Y??? ? ?m i n 1 2 m axD D D D 綜上分析可知： 時(shí) ， ， 可見 在區(qū)間 上不是常數(shù) ， 原假設(shè)不成立 。 ) ( )R D I X Y R D? ()RD12[ , ]DDma x 111( ) [ ( | ) ( 1 ) ( | ) ] ( , )nmi j i j i i jijD p x p y x p y x d x y????? ? ???m a x11111( ) ( | ) ( , )( 1 ) ( ) ( | ) ( , )nmi j i i jijnmi j i i jijp x p y x d x yp x p y x d x y?????????????m a x 1 m a x 1( 1 ) ( 1 )D D D D D? ? ? ?? ? ? ? ? ? ?11( 1 ) ( ) ( )R D R D?? ? 24 根據(jù)率失真函數(shù)所具有的下凸性 、 連續(xù)性 、 嚴(yán)格單調(diào)下降性可繪出率失真函數(shù)的典型曲線圖 率失真函數(shù)曲線的一般形式 maxD連續(xù)信源 離散信源 ()HXD()RD0m in( ) ( )R D H XmaxD連續(xù)信源 離散信源 D()RDm in()RD 有 限minD0對(duì)于連續(xù)信源 ， R ( 0 ) ? ?， 曲線不與 R ( D ) 相交 R ( Dmin ) ? H ( X ) 及 R (Dmax ) ? 0 決定了率失真函數(shù)曲線邊緣的 兩個(gè)交點(diǎn) 25 離散信源的信息率失真函數(shù) 由率失真函數(shù)的定義可知 ， 求解 R ( D ) 實(shí)質(zhì)上是求解平均互信息的條件極值 ， 與求信道容量 C 類似 ， 可以采用拉格朗日乘子法求解 R ( D ) 是求解 I ( X。 Y ) 最小 DD?111( | ) 1 1 , 2 , ,( ) ( | ) ( , )mj j inmi j i j i i jp y x i np x p y x d x y D???? ? ? ??? ? ? ???需要滿足以下 n ? 1 個(gè)限定條件： 很難求解出 I ( X。 ) ( ) ( | ) ln( | ) ( )nm jii j i nij i j i ip y xI X Y p x p y xp y x p x?? ?? ???11( | ) ( ) ( | ) ln ( | )( | ) ( | )nmi j i j iijj i j iH Y X p x p y x p y xp y x p y x ?????? ?? ??????[ ln ( ) ] ( )1( | ) ( ) ( | )jjj i j j ip y p yp y x p y p y x????()jpy1( ) [ ( | ) ( ) ]( | ) ( | )nj i j i ij i j ip y p y x p xp y x p y x?? ? ????11() ( ) ln ( )( | ) ( | )nmjjijj i j iHY p y p yp y x p y x ??????