【正文】 的率失真函數為： 2~ ( 0 , )XN ?2221 l o g 0() 20DRDDD? ????????? ??下圖表示當 時， 1?? 11( ) l o g2RD D?的曲線。 三、連續(xù)無記憶信源信息率失真函數的參量表述 同離散信源類似 ， 率失真函數的計算也歸結為求有約束極值的問題 ， 不過在連續(xù)信源情況下試驗信道的條件概率也是函數 ， 所以 ， 率失真函數的計算就變成求泛函的極值 ， 即求： 的極小值，滿足約束條件為： ( | )( 。 ) ( ) ( | ) l og , ( ) ( , )()p y xI X Y p x p y x dx dy p y p x y dxpy? ??? ??? ?( | ) 0( | ) 1( ) ( | ) ( , )p y xp y xD p x p y x d x y dx dy????????? 約束條件下的泛函求極值問題和約束條件下的函數求極值問題類似 ， 即利用拉格朗日乘子將問題轉化為無約束極值問題 ， 并用變分代替微分 ， 對本節(jié)討論的問題 ， 等價于使下式的一階變分為零： ? ? ( | )( | ) ( ) ( | ) l o g ( ) ( | )()( ) ( | ) ( , )p y xJ p y x p x p y x d x d y x p y x d x d ypys p x p y x d x y d x d y????????????????????? ??? ????其中 為待定函數， s為待定常數，其求解順序完全類似于離散情況。 ()x?在此我們僅給出最終結論： 在連續(xù)無記憶信源下 ， 達到信息率失真函數的試驗信道的轉移概率密度函數必需滿足： ( , )( | ) ( ) ( ) s d x yp y x x p y e??( , )( ) ( ) 1 ( ) 0s d x yx p x e d x p y???? ? ????????? ??( , )( ) ( ) 1 ( ) 0s d x yx p x e d x p y???? ? ????????? ??其中 1( , )( ) ( ) s d x yx p y e d y???????? ?????()RD此時的率失真函數 和失真 D 滿足參量方程： ( , )( ) ( ) ( ) ( ) ( , ) s d x yD s x p x p y d x y e d x d y???? ? ? ?? ??( ) ( ) ( ) l o g ( )R D s D s p x x d x?????? ? 需要說明的是，連續(xù)情況下的信息率失真函數與離散情況下信息率失真函數的一個主要差別在于當 0D?()hX ?? ()RD ??時，由于連續(xù)信源的差熵 而使 從此意義上講，連續(xù)信源的熵壓縮編碼是必不可少的。 四、差值失真度量下連續(xù)無記憶信源的信息率失真函數 一般情況下，連續(xù)無記憶信源下信息率失真函數的計算相當困難，絕大多數情況下無解析解。 但當連續(xù)信源的失真函數 D (x,y)為 x和 y的差值形式如： |xy|， (xy)2時，可以較容易地采用參量表述式來求得其上、下限。 (1) 差值失真度量下率失真函數的 Shannon下限 ( ) ( ) ( ) m a x ( )DL gGR D R D h x h g?? ? ? 上式是香農首先得到的，因此稱其右端為差值失真度量時連續(xù)信源的香農下限。 (2) 平方誤差 (差方 )失真度量下率失真函數的上限 對均值為零，方差為的任意連續(xù)無記憶信源，在差方失真度量下的率失真函數滿足如下結論： 221( ) l o g2R D DD? ?? ?????????? ? ?上式中的等號當且僅當 21( ) e x p ( )22 xpx ?????時成立。 保真度準則下的信源編碼定理 定理 (保真度準則下的信源編碼定理 ， 香農第三定理 ) 設 R(D)為一離散無記憶信源的信息率失真函數 ， 并且有有限的失真測度 D。 對于任意 D ， 以及任意長的碼長 k， 一定存在一種信源編碼 C， 其碼字個數為 使編碼后碼的平均失真度 。 0 , 0???[ ( ) ]2 ?? k R DM ??DD定理的含義是：只要碼長 k足夠長，總可以找到一種信源編碼，使編碼后的信息傳輸率略大于 (直至無限逼近 )率失真函數 R(D)，而碼的平均失真度不大于給定的允許失真度，即： 或是：在允許失真 D的條件下，信源最小的，可達的信息傳輸率是信源的 R(D)。 DD ? 由于 R(D)為給定 D前提下信源編碼可能達到的下限， 所以香農第三定理即說明了：達到此下限的最佳信源編碼是存在的 。 實際的信源編碼 (無失真編碼或先限失真編碼后無失真編碼 )的最終目標是盡量接近最佳編碼，使編碼信息傳輸率接近最大值 log r，而同時又保證譯碼后能無失真地恢復信源的全部信息量 H(S)或限失真條件下的必要信息量 R(D)。 編碼后信息傳輸率的提高使每個編碼符號能攜帶盡可能多的信息量， 使得傳輸同樣多的信源總信息量所需的碼符號數大大減少 使所需的單位時間傳輸信道單位時間信道容量 Ct大大減少，或在 Ct不變的前提下使傳輸時間大大縮短，從而提高了通信的效率。 香農第三定理仍然只是個存在性定理，至于最佳編碼方法如何尋找，定理中并沒有給出。 如何計算符合實際信源的信息率失真函數 R(D)? 如何尋找最佳編碼方法才能達到信息壓縮的極限值R(D)? 這是該定理在實際應用中存在的兩大問題，它們的徹底解決還有賴于繼續(xù)的努力。 盡管如此，香農第三定理畢競對最佳限失真信源編碼方法的存在給出了肯定的回答，它為今后人們在該領域的不斷深入探索提供了堅定的信心。 聯合有失真信源信道編碼定理 ? Shannon第二定理：只要信道容量大于信源的極限熵，就能在信道中做到有效的、無錯誤地傳輸信息，不滿足時，則不可能在信道中以任意小的錯誤概率傳輸信息。 ? 有了第三定理，當不滿足上述條件時，只要在允許一定的失真時，仍能做到有效地、可靠地傳輸信息。 ? 若通過信道來傳輸信源，如果信道容量 CR(D), 則總能以保真度 D+ε再現信源的信息。反之則不能。