【正文】 第 1頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息論與編碼原理 （第四章） ────────────── 信息率失真函數(shù) 第 2頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 第四章 信息率失真函數(shù) 基本概念 離散信源的信息率失真函數(shù) 連續(xù)信源的信息率失真函數(shù) 信息率失真函數(shù)與信息價值 信道容量與信息率失真函數(shù)的比較 保真度準(zhǔn)則下的信源編碼定理 信息論“三大定理”總結(jié) 第 3頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 基本概念 引言 失真度與平均失真度 信息率失真函數(shù)的定義 信息率失真函數(shù)的性質(zhì) 第 4頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (1) “消息完全無失真?zhèn)魉汀钡目蓪崿F(xiàn)性 (2) 實際中允許一定程度的失真 (3) 信息率失真理論 基 本 概 念 第 5頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (1) “消息完全無失真?zhèn)魉汀钡目蓪崿F(xiàn)性 ? 信道編碼定理： 無論何種信道，只要信息率 R 小于信道容量 C，總能找到一種編碼，使在信道上能以任意小的錯誤概率和任意接近于 C 的傳輸率來傳送信息。反之，若 R C，則傳輸總要失真。 ? 完全無失真?zhèn)魉筒豢蓪崿F(xiàn) ? 實際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮畔⒙? R 為無窮大； ? 實際信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏敚璧男畔⒙蚀蟠蟪^信道容量 RC。 返回目錄 基 本 概 念 第 6頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (2) 實際中允許一定程度的失真 ? 技術(shù)發(fā)展的需要 ? 隨著科技的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，需要傳送、存儲和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，需要對數(shù)據(jù)壓縮，這樣會帶來一定的信息損失。 ? 信息時代，信息爆 炸， 要求解決對海量數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的 存儲容量 (如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂 )、 傳輸時間 (如數(shù)據(jù)通信和遙測 )、或 占有帶寬 (如多媒體通信、數(shù)字音頻廣播、高清晰度電視 )，想方設(shè)法壓縮給定消息 集合占用的 空間域 、 時間域 和 頻率域 資源 . ? 如海洋地球物理勘探遙測數(shù)據(jù)，用 60 路傳感器，每路信號 1kHz，16 位 A/D 量化，每航測 1km 就需記錄 1 盤 英寸的磁帶，一條測量船每年就可勘測 15000km。 基 本 概 念 第 7頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (2) 實際中允許一定程度的失真 ? 實際生活中的需要 ? 實際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。 ? 打電話： 即使語音信號有一些失真，接電話的人也能聽懂。人耳接收信號的帶寬和分辨率是有限的。 ? 放電影： 理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性”，實際上只要每秒放映 24 幅靜態(tài)畫面。 ? 有些失真沒有必要完全消除。 ? 既然允許一定的失真存在，對信息率的要求便可降低。 返回目錄 基 本 概 念 第 8頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (3) 信息率失真理論 ? 信息率失真理論研究的內(nèi)容 : 信息率 與 允許失真 之間的關(guān)系 . ? 信息率失真函數(shù) ? 香農(nóng)定義了信息率失真函數(shù) R(D)。 ? “保真度準(zhǔn)則下的信源編碼定理”指出： 在允許一定失真度 D 的情況下，信源輸出的信息率可壓縮到 R(D)。 ? 信息率失真理論是 量化 （模數(shù)轉(zhuǎn)換）、 數(shù)模轉(zhuǎn)換 、 頻帶壓縮 和 數(shù)據(jù)壓縮 的理論基礎(chǔ)。 基 本 概 念 第 9頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (3) 信息率失真理論 ? 信息率失真函數(shù) 極小值 問題 ? I(X。Y) 是 P(X) 和 P(Y/X) 的二元函數(shù)； ? 在討論信道容量時 ： 規(guī)定了 P(Y/X) ， I(X。Y) 變成了 P(X) 的函數(shù)。在離散情況下，因為 I(X。Y) 對 p(xi) 是上凸函數(shù)，所以變更 p(xi) 所求極值一定是 I(X。Y)的極大值；在連續(xù)情況下，變更信源 P(X) 求出的也是極大值，但求極值時還要一些其它的限制條件。 基 本 概 念 第 10頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (3) 信息率失真理論 ? 信息率失真函數(shù) 極小值 問題 ? 在討論信息率時 ： 可規(guī)定 p(xi)，變更 p(yj /xi) 來求平均互信息的極值，稱為 信道容量對偶問題 。 由于 I(X。Y) 是 p(yj /xi) 的下凸函數(shù)，所求的極值一定是極小值 。但若 X 和 Y 相互統(tǒng)計獨立（ p(yj /xi)= p(yj )），這個極小值就是 0，因為 I(X。Y) 是非負的，0 必為極小值，這樣求極小值就沒意義了。 ? 引入一個失真函數(shù)，計算在失真度一定的情況下信息率的極小值就變的有意義了。 返回目錄 基 本 概 念 第 11頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (1) 信息率與失真的關(guān)系 (2) 失真度 (3) 常用的失真函數(shù) (4) 平均失真度 (5) N 次擴展信道的平均失真度 基 本 概 念 第 12頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (1) 信息率與失真的關(guān)系 ?信道中固有的 噪聲 和不可避免的 干擾 ，使信源的消息通過信道傳輸后造成誤差和失真。 ?誤差或 失真 越大，接收者收到消息后對信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息的 信息率也越小。 返回目錄 基 本 概 念 第 13頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (2) 失真度 ? 失真度 ? 設(shè)離散無記憶信源為： ?????????????)(,),(),(,)( 2121mmj ypypypyyyypYY??：到接收端信源符號通過信道傳送?????????????)(,),(),(,)( 2121nni xpxpxpxxxxpX??? ??????????????)/()/()/()/()/()/()/()/()/()/(212222111211nmnnmmxypxypxypxypxypxypxypxypxypXYp??????信道的傳遞概率矩陣： 基 本 概 念 第 14頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (2) 失真度 ? 失真度 ? 對每一對 (xi,yj)，指定一個非負函數(shù) d(xi,yj)≥0 i=1,2,…, n j=1,2,…, m 稱 d(xi,yj) 為 單個符號的 失真度 （失真函數(shù)）。表示信源發(fā)出一個符號 xi，在接收端再現(xiàn) yj 所引起的誤差或失真。 基 本 概 念 第 15頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (2) 失真度 ? 失真矩陣 ? 失真度還可表示成矩陣的形式 ? 稱 [D] 為失真矩陣。它是 n m 階矩陣。 ? 連續(xù)信源和連續(xù)信道的失真函數(shù) 在連續(xù)信源和連續(xù)信道情況下，失真度定義為： d(x,y)≥0 ? ??????????????),(),(),(),(),(),(),(),(),(212221212111mnnnmmyxdyxdyxdyxdyxdyxdyxdyxdyxd??????D返回目錄 基 本 概 念 第 16頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (3) 常用的失真函數(shù) ? 第一種： ? 當(dāng) i=j 時， X 與 Y 的取值一樣，用 Y 來代表 X 就沒有誤差，所以定義失真度為 0； ? 當(dāng) i≠j 時，用 Y 代表 X 就有誤差。 ? 這種定義認(rèn)為對所有不同的 i 和 j 引起的誤差都一樣，所以定義失真度常數(shù) a。 ? ?????????????????????????0000000),(????????aaaaaaaaaaaajiaajiyxdjiD 基 本 概 念 第 17頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (3) 常用的失真函數(shù) ? 第一種： ? 特點： 對角線上的元素均為 0，對角線以外的其它元素都為常數(shù) a。 ? 漢明失真函數(shù) ： a=1 。 ? ?????????????????????????0000000),(????????aaaaaaaaaaaajiaajiyxdjiD 基 本 概 念 第 18頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (3) 常用的失真函數(shù) ? 第二種（平方誤差失真函數(shù)）： d(xi,yj)=(yj－ xi)2 ? 失真矩陣： 平方誤差失真矩陣 。 ? 若信源符號代表輸出信號的幅度值，則較大的幅度失真比較小的幅度失真引起的錯誤更為嚴(yán)重 , 嚴(yán)重程度用平方表示 . ? 失真函數(shù)是根據(jù)人們的 實際需要 和 失真引起的損失 、 風(fēng)險 、 主觀感覺上的差別大小 等因素 人為規(guī)定的 。 返回目錄 基 本 概 念 第 19頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (4) 平均失真度 ? 平均失真度 ? d(