信息率失真函數(shù)ppt課件-資料下載頁
2025-05-06 02:38本頁面
【正文】 的率失真函數(shù)為： 2~ ( 0 , )XN ?2221 l o g 0() 20DRDDD? ????????? ??下圖表示當(dāng) 時(shí)， 1?? 11( ) l o g2RD D?的曲線。 三、連續(xù)無記憶信源信息率失真函數(shù)的參量表述 同離散信源類似 ， 率失真函數(shù)的計(jì)算也歸結(jié)為求有約束極值的問題 ， 不過在連續(xù)信源情況下試驗(yàn)信道的條件概率也是函數(shù) ， 所以 ， 率失真函數(shù)的計(jì)算就變成求泛函的極值 ， 即求： 的極小值，滿足約束條件為： ( | )( 。 ) ( ) ( | ) l og , ( ) ( , )()p y xI X Y p x p y x dx dy p y p x y dxpy? ??? ??? ?( | ) 0( | ) 1( ) ( | ) ( , )p y xp y xD p x p y x d x y dx dy????????? 約束條件下的泛函求極值問題和約束條件下的函數(shù)求極值問題類似 ， 即利用拉格朗日乘子將問題轉(zhuǎn)化為無約束極值問題 ， 并用變分代替微分 ， 對本節(jié)討論的問題 ， 等價(jià)于使下式的一階變分為零： ? ? ( | )( | ) ( ) ( | ) l o g ( ) ( | )()( ) ( | ) ( , )p y xJ p y x p x p y x d x d y x p y x d x d ypys p x p y x d x y d x d y????????????????????? ??? ????其中 為待定函數(shù)， s為待定常數(shù)，其求解順序完全類似于離散情況。 ()x?在此我們僅給出最終結(jié)論： 在連續(xù)無記憶信源下 ， 達(dá)到信息率失真函數(shù)的試驗(yàn)信道的轉(zhuǎn)移概率密度函數(shù)必需滿足： ( , )( | ) ( ) ( ) s d x yp y x x p y e??( , )( ) ( ) 1 ( ) 0s d x yx p x e d x p y???? ? ????????? ??( , )( ) ( ) 1 ( ) 0s d x yx p x e d x p y???? ? ????????? ??其中 1( , )( ) ( ) s d x yx p y e d y???????? ?????()RD此時(shí)的率失真函數(shù) 和失真 D 滿足參量方程： ( , )( ) ( ) ( ) ( ) ( , ) s d x yD s x p x p y d x y e d x d y???? ? ? ?? ??( ) ( ) ( ) l o g ( )R D s D s p x x d x?????? ? 需要說明的是，連續(xù)情況下的信息率失真函數(shù)與離散情況下信息率失真函數(shù)的一個(gè)主要差別在于當(dāng) 0D?()hX ?? ()RD ??時(shí)，由于連續(xù)信源的差熵 而使 從此意義上講，連續(xù)信源的熵壓縮編碼是必不可少的。 四、差值失真度量下連續(xù)無記憶信源的信息率失真函數(shù) 一般情況下，連續(xù)無記憶信源下信息率失真函數(shù)的計(jì)算相當(dāng)困難，絕大多數(shù)情況下無解析解。 但當(dāng)連續(xù)信源的失真函數(shù) D (x,y)為 x和 y的差值形式如： |xy|， (xy)2時(shí)，可以較容易地采用參量表述式來求得其上、下限。 (1) 差值失真度量下率失真函數(shù)的 Shannon下限 ( ) ( ) ( ) m a x ( )DL gGR D R D h x h g?? ? ? 上式是香農(nóng)首先得到的，因此稱其右端為差值失真度量時(shí)連續(xù)信源的香農(nóng)下限。 (2) 平方誤差 (差方 )失真度量下率失真函數(shù)的上限 對均值為零，方差為的任意連續(xù)無記憶信源，在差方失真度量下的率失真函數(shù)滿足如下結(jié)論： 221( ) l o g2R D DD? ?? ?????????? ? ?上式中的等號當(dāng)且僅當(dāng) 21( ) e x p ( )22 xpx ?????時(shí)成立。 保真度準(zhǔn)則下的信源編碼定理 定理 (保真度準(zhǔn)則下的信源編碼定理 ， 香農(nóng)第三定理 ) 設(shè) R(D)為一離散無記憶信源的信息率失真函數(shù) ， 并且有有限的失真測度 D。 對于任意 D ， 以及任意長的碼長 k， 一定存在一種信源編碼 C， 其碼字個(gè)數(shù)為 使編碼后碼的平均失真度 。 0 , 0???[ ( ) ]2 ?? k R DM ??DD定理的含義是：只要碼長 k足夠長，總可以找到一種信源編碼，使編碼后的信息傳輸率略大于 (直至無限逼近 )率失真函數(shù) R(D)，而碼的平均失真度不大于給定的允許失真度，即： 或是：在允許失真 D的條件下，信源最小的，可達(dá)的信息傳輸率是信源的 R(D)。 DD ? 由于 R(D)為給定 D前提下信源編碼可能達(dá)到的下限， 所以香農(nóng)第三定理即說明了：達(dá)到此下限的最佳信源編碼是存在的 。 實(shí)際的信源編碼 (無失真編碼或先限失真編碼后無失真編碼 )的最終目標(biāo)是盡量接近最佳編碼，使編碼信息傳輸率接近最大值 log r，而同時(shí)又保證譯碼后能無失真地恢復(fù)信源的全部信息量 H(S)或限失真條件下的必要信息量 R(D)。 編碼后信息傳輸率的提高使每個(gè)編碼符號能攜帶盡可能多的信息量， 使得傳輸同樣多的信源總信息量所需的碼符號數(shù)大大減少 使所需的單位時(shí)間傳輸信道單位時(shí)間信道容量 Ct大大減少，或在 Ct不變的前提下使傳輸時(shí)間大大縮短，從而提高了通信的效率。 香農(nóng)第三定理仍然只是個(gè)存在性定理，至于最佳編碼方法如何尋找，定理中并沒有給出。 如何計(jì)算符合實(shí)際信源的信息率失真函數(shù) R(D)? 如何尋找最佳編碼方法才能達(dá)到信息壓縮的極限值R(D)? 這是該定理在實(shí)際應(yīng)用中存在的兩大問題，它們的徹底解決還有賴于繼續(xù)的努力。 盡管如此，香農(nóng)第三定理畢競對最佳限失真信源編碼方法的存在給出了肯定的回答，它為今后人們在該領(lǐng)域的不斷深入探索提供了堅(jiān)定的信心。 聯(lián)合有失真信源信道編碼定理 ? Shannon第二定理：只要信道容量大于信源的極限熵，就能在信道中做到有效的、無錯(cuò)誤地傳輸信息，不滿足時(shí)，則不可能在信道中以任意小的錯(cuò)誤概率傳輸信息。 ? 有了第三定理，當(dāng)不滿足上述條件時(shí)，只要在允許一定的失真時(shí)，仍能做到有效地、可靠地傳輸信息。 ? 若通過信道來傳輸信源，如果信道容量 CR(D), 則總能以保真度 D+ε再現(xiàn)信源的信息。反之則不能。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1