【正文】 真函數(shù) (1) 二元離散信源的率失真函數(shù) (2) 信息率失真函數(shù)曲線圖說明 (3) 二元等概率離散信源的率失真函數(shù) 離 散 信 源 的 信 息 率 失 真 函 數(shù) 第 73頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 二元及等概率離散信源的信息率失真函數(shù) (1) 二元離散信源的率失真函數(shù) 設(shè)二元信源 計算率失真函數(shù) R(D) ? ?? ?? ?1,01,0000211211)(212121???????????????????????????????yyYxxXDppppxxxpXi輸出符號集輸入符號集失真矩陣為，所以，其中??? 離 散 信 源 的 信 息 率 失 真 函 數(shù) 第 74頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 二元及等概率離散信源的信息率失真函數(shù) (1) 二元離散信源的率失真函數(shù) 先求出 Dmax ? ? ? ? ? ? ? ?pDDDDDpppppDDDDDDypDyxdxpDjjjjjjmjjypjiniijj????????????????????????????2m a x2121m a x1)(m a x1m i n21)1(001m i n)(m i n),()(，故有已知 離 散 信 源 的 信 息 率 失 真 函 數(shù) 第 75頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 二元及等概率離散信源的信息率失真函數(shù) (1) 二元離散信源的率失真函數(shù) 第一步： 求 λi，由式 () 有： )1)(1(1)1(11)1(1)1(1)()(1)()(212121),(22),(11),(22),(1122211211SSSSyxSdyxSdyxSdyxSdepepppeeppexpexpexpexp???????????????????????????????????)(),2,1,0)((,1)(1),( mjypexpjniyxSdiiji ??????? 離 散 信 源 的 信 息 率 失 真 函 數(shù) 第 76頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 二元及等概率離散信源的信息率失真函數(shù) (1) 二元離散信源的率失真函數(shù) 第二步： 求 p(yj)，由式 () 有： )()(11),(???mjyxSdjijieyp?? ?? ?SSSSSSSSyxSdyxSdyxSdyxSdepepypeeppypepypeypepeypypeypeypeypeyp???????????????????????????????????????1)1()(1)1()(1)1()()(1)()(1)()(1)()(2121212),(2),(11),(2),(122122111 離 散 信 源 的 信 息 率 失 真 函 數(shù) 第 77頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 二元及等概率離散信源的信息率失真函數(shù) (1) 二元離散信源的率失真函數(shù) 第三步： 求 p(yj/xi)，由式 () 有： )()()/( ),( ji yxSdijij eypxyp ?????????????????????????????????????????????)1)(1()1()/()1()1()/()1)(1()1()/()1()1()/()()/()()/()()/()()/(222212221211),(2222),(1212),(2121),(111122211211SSSSSSSSSSyxSdyxSdyxSdyxSdeppepxypeeppepxypeepeppxypepeppxypeypxypeypxypeypxypeypxyp?????????????? 離 散 信 源 的 信 息 率 失 真 函 數(shù) 第 78頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 二元及等概率離散信源的信息率失真函數(shù) (1) 二元離散信源的率失真函數(shù) 第四步： 求 D(S)，將上述結(jié)果代入式 () 有： )(),()()()( ),(1 1ji yxSdinimjjiji eyxdypxpSD ?? ?? ?????????????????SSSSSSSSyxSdyxSdyxSdyxSdeeeppeppepeeepppeyxdypxpeyxdypxpeyxdypxpeyxdypxpSD?????????????????1)1()1()1)(1(1)1()1(),()()(),()()(),()()(),()()()(),(12222),(22121),(11212),(1111122111211 離 散 信 源 的 信 息 率 失 真 函 數(shù) 第 79頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 二元及等概率離散信源的。 )()( )/(ln)/()()。(第 62頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 離散信源率失真函數(shù)的參量表達式 (2) 離散信源的 信息率失真函數(shù) 離 散 信 源 的 信 息 率 失 真 函 數(shù) ? ? ? ?),2,1。 基 本 概 念 第 54頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (3) 率失真函數(shù)的單調(diào)遞減和連續(xù) 性 ? 率失真函數(shù)曲線圖說明 ? R(0) = H(X) ， R(Dmax) =0， 決定了曲線邊緣上的兩個點； ? 在 0 和 Dmax 之間， R(D) 是 單調(diào)遞減的下凸函數(shù)； ? 在連續(xù)信源時，當 D→ 0 時， R(D)→ ∞ ，曲線將不與 R(D) 軸相交。 ▼ 實際是用 p(yj) 對 Dj 進行線性分配，使線性分配的結(jié)果最小。 ? 信息率失真函數(shù)是平均互信息的極小值： ▼ 當 R(D) =0 時，平均互信息的極小值等于 0； ▼ 當 D Dmax 時，從數(shù)學意義上講，因為 R(D) 是非負函數(shù)，所以它仍只能等于 0。 當 Dmin=0時（信源不允許任何失真存在），信息率至少應(yīng)等于信源輸出的平均信息量（信源熵），即 R(0)=H(X)。 ? D 的選取必須根據(jù)固定信源 X 的統(tǒng)計特性 P(X) 和選定的失真函數(shù) d(xi , yj)，在平均失真度 的可能取值范圍內(nèi)。 返回目錄 基 本 概 念 第 37頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的定義 (4) 研究信道編碼和率失真函數(shù)的意義 ?研究信道容量的意義 ： 在實際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。 ? 而 信道容量 C 是在信道特性 p(yj /xi) 已知的條件下求平均互信息的極大值（最大）問題。Y) 是信道傳遞概率 p(yj /xi) 的下凸函數(shù)，所以在 PD 中一定可以找到某個試驗信道，使 I(X。該式稱為保真度準則。 返回目錄 基 本 概 念 第 19頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (4) 平均失真度 ? 平均失真度 ? d(xi,yj) 只能表示兩個特定的具體符號 xi 和 yj 之間的失真。 基 本 概 念 第 15頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (2) 失真度 ? 失真矩陣 ? 失真度還可表示成矩陣的形式 ? 稱 [D] 為失真矩陣。Y) 是 p(yj /xi) 的下凸函數(shù)，所求的極值一定是極小值 。 基 本 概 念 第 9頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (3) 信息率失真理論 ? 信息率失真函數(shù) 極小值 問題 ? I(X。 ? 打電話： 即使語音信號有一些失真，接電話的人也能聽懂。第 1頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息論與編碼原理 （第四章） ────────────── 信息率失真函數(shù) 第 2頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 第四章 信息率失真函數(shù) 基本概念 離散信源的信息率失真函數(shù) 連續(xù)信源的信息率失真函數(shù) 信息率失真函數(shù)與信息價值 信道容量與信息率失真函數(shù)的比較 保真度準則下的信源編碼定理 信息論“三大定理”總結(jié) 第 3頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 基本概念 引言 失真度與平均失真度 信息率失真函數(shù)的定義 信息率失真函數(shù)的性質(zhì) 第 4頁 2022/2/16 Department of Electronics and Information, N