香農(nóng)三大定理-在線瀏覽
2024-09-15 17:28本頁面
【正文】 ,{21 NqNS ????為 q元離散無記憶信源 S的 N次擴(kuò)展 信源，若對 NS 進(jìn)行編碼，碼符號(hào)集 Xxxxr ?},...,{ 21，則總可以找 到一種編碼方法構(gòu)成惟一可譯碼，使信源 S中每個(gè)符號(hào)所需的平均 編碼長度滿足： 且當(dāng) ??N 時(shí)有： )(l o g )(lim SHrSHNL rNN????信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 表述二 ：若 R?H(S)， 就存在惟一可譯變長編碼；若 R?H(S)， 惟一可譯變長編碼不存在 ， 不能實(shí)現(xiàn)無失真編碼 。 ?香農(nóng)第一定理（ 可變長無失真信源編碼定理 ） 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 說明： 1）通過對擴(kuò)展信源進(jìn)行可變長編碼，可以使平均碼長無限趨近 于極限熵值，但這是以編碼復(fù)雜性為代價(jià)的。 3）香農(nóng)第一定理僅是一個(gè)存在性定理，沒有給出更有效的信源 編碼的實(shí)現(xiàn)方法。只要碼長 n足夠長，總可以在輸入的 nr 個(gè)符號(hào)集中 找到 M個(gè)碼字（代表 M個(gè)等可能的消息，且 為任 ?? ,2 )( ?? CnM意小的正數(shù)）組成一個(gè)碼，并存在相應(yīng)的譯碼規(guī)則，使信道 輸出的錯(cuò)誤概率任意小。 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 香農(nóng)第二定理（ 有噪信道編碼定理 ） 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 說明： 定理糾正了人們傳統(tǒng)固有的可靠性和有效性矛盾的觀點(diǎn)， 為信道編碼理論和技術(shù)的研究指明了方向。 定理指出： RC是可靠傳輸?shù)谋匾獥l件，但并未指出編碼 序列無限長是可靠傳輸?shù)谋匾獥l件。 證明基本條件： 1）隨機(jī)編碼 2）碼長 → ∞ 3）最大似然譯碼 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 一、香農(nóng)第一定理 三、香農(nóng)第三定理 二、香農(nóng)第二定理 不大于一定編碼速率的條件下，使平均失真限 制到最小； 在平均失真不大于某個(gè)值的條件下，使編碼 速率限制到最小 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 信息率失真理論 失真度與信息率失真函數(shù) a、系統(tǒng)模型 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 信源 信源編碼器 無噪信道 信源編碼器 信宿 試驗(yàn)信道 U V }, .. . ,{ 1 ruuAU ?符號(hào)集},.. . ,{ 1 svvBV ?符號(hào)集b、失真測度 1）單符號(hào)失真測度 ),( vud設(shè) VvUu ?? ,定義失真矩陣 ?????????????),(. . .),(.. . ..),(. . .),(),(. . .),(1212111srrssvudvudvudvudvudvudd0),( ?ji vud信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 失真度與信息率失真函數(shù) 如果規(guī)定 ????????jijiji vuvuvud ,1,0),( ，那么失真矩陣為 ?????????????0...11....1...011...10dN=3時(shí)，失真度如圖 U V 信息論與編碼基礎(chǔ) 香農(nóng)三大定理 簡介 失真度與信息率失真函數(shù) b、失真測度 2)序列失真測度 設(shè)序列 VyyyUxxxjNiN ?? ), . . . ,(,), . . .
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1