【正文】 ? ? m a x0 . 0 2 0 . 9 8 9 8( | ) ( | ) 0 . 0 5x Dpp????P檢 廢 正 檢 正 廢( 0 ) ( )R H X?98 6 9 2 . 8 7 / b it0 . 1 4 1 4 4 ? 元 可能造成的最大損失為 98 元 / 塊，所以 比特信息量的最大價值為 98 元，則每 1 比特信息的最大價值為 一般將全部產(chǎn)品都報廢的可能性極小 ， 實際的損失要小于 98元 /塊 ， 完全無誤的檢驗因其高昂的代價 ， 所提供的單位信息價值不一定是最高的 0 10 00 010 0 0??? ????D沒 有 任 何 損 失1100 ( ) ( | ) ( , )i j i j i i jD p x p y x d x y??? ? ?0 . 0 2 1 0 0 . 0 2 0 1 0 0 0 0 0 . 9 8 0 1 0 0 0 . 9 8 1 0? ? ? ? ? ? ? ? ? ? ? ?0/? 元 塊0 . 0 2 l o g 0 . 0 2 0 . 9 8 l o g 0 . 9 8? ? ?0 . 1 4 1 4 4 b i t /? 塊47 1100 ( ) ( | ) ( , )i j i j i i jD p x p y x d x y??? ? ?檢測時允許有一定的錯誤 —— 非完美的檢驗 |0 .9 5 0 .0 50 .0 5 0 .9 5YX??? ????P? ? ma x0 1 0 0 0 00 .0 2 0 .9 8 9 81 0 0 0x D??? ? ?????PD 即這種情況每銷售出去一塊 PCB 板 ， 加工廠將要另外承擔可能損失 元 / 塊的風險 。 不做任何檢驗 ， 在全部出廠和全部報廢兩者之間抉擇 ， 選擇后者的損失反而小 。 因為把 98% 本來可以賣 100 元一塊的板子也報廢了 。 考慮到每塊銷售 100 元 ， 實際上是每賣出一塊可能要實際凈損失 100 元 。 已知廠方檢驗員檢驗的正確率約為 95%， 假設(shè)合格品出廠 、 廢品報廢都不造成損失 ， 以下用信息率失真理論來分析檢驗的作用并作比較 。 ) ( ) ( | ) log ( 2 π e ) log ( 2 π e ) log2 2 2c c cI X Y H X H X Y D D??? ? ? ? ?流 經(jīng) 反 向 信 道 的 平 均 互 信 息 為 ：21( ) lo g2RD D??X Y N?? YN( | ) ( )p x y p n?22222NYXDD?????????21() ( ) lo g2DRD RDP D??是 所 有 反 向 信 道 組 成 的 集 合中 平 均 互 信 息 最 小 者 ， 因 此 ：22 1 ( ) 0 ( )D D R D R D?? ? ?， ， ， 平 均 互 信 息 達 到 率 失 真 函 數(shù)2 ( ) 000D R DY????????，選 取 一 任 意 小 的 數(shù) ， 同 理 可 設(shè) 計 一 個 反 向 信 道 ， 其 輸 入 的 方 差 為 ，然 后 按 上 述 分 析 方 法 并 令 求 極 限 即 可22( ) 0( ) ( ) ( ) 0 ( )( ) 0D R DR D R D R R DRD?????，由 于 具 有 嚴 格 單 調(diào) 遞 減 性 ， 因 此 ： ， 但 具 有 非負 性 ， 因 此 恒 等 于21( ) lo g2RD D??綜 合 以 上 分 析 可 知 ：42 綜 上 分 析 可 知 高 斯 信 源 的 率 失 真 函 數(shù) 為 ： 反 向 信 道 的 噪 聲 熵 為 ：21( ) m ax log , 02RD D???? ????D( ), ()RD SDd() d RSD D?1(ln4)??max ?2 1? ? 0 ( )D R D? ? ?時 ， ， 連 續(xù) 信 源 要 完全 無 失 真 地 傳 送 信 源 的 全 部 信 息 ， 需要 無 限 大 的 信 息 傳 輸 率 ， 這 不 現(xiàn) 實2222( ) 00YD R DYDDD??????????時 ， ， 因 為 輸 出 隨 機變 量 的 方 差 為 ， 只 需用 連 續(xù) 信 源 的 均 值 代 表 輸 出 即 可 滿 足保 真 度 準 則2 ()( ) 0D R DRD?? 時 ， 不 能 再 進 一 步 壓 縮成 負 數(shù) ， 則 繼 續(xù) 保 持 為 下 限 ，等 效 于 通 信 中 斷 的 情 況2221lo g() 20DRD DD?????? ?? ??43 信息率失真函數(shù)與信息價值 同樣的信息對不同的接收者其 (客 觀 )信息量是相同的 ， 但對不同的接收者其價值是有差別的 盡管信息率失真理論只研究客觀信息量 ， 不涉及信息對接收者有著不同的價值 ， 但如果把平均失真理解為平均損失 ， 據(jù)此定義信息價值 ， 就可以用信息論解決許多實際問題 例 某印刷電路板 (PCB)加工廠的產(chǎn)品合格率約為 98%。 )cI X Y流 經(jīng) 試 驗 信 道 的 為 ：2( ) ( | ) ( ) d( ) ( ) dD y p x y x y xD p y D y y?????????????2( , ) ( )d x y x y??1( | ) l o g ( 2 π e)2cH X Y D?2()1( ) log2DPRDRDD??作 為 中 平 均 互 信 息 最 小 的也 應(yīng) 當 滿 足 上 式 ， 因 此 ：X Y N?? 反向信道 YN2220,0,NNYYNDYD??? ? ???? ? ?： 高 斯 隨 機 噪 聲 ，： 高 斯 隨 機 變 量 ，( | ) ( )p x y p n?反 向 信 道 轉(zhuǎn) 移 概 率 ：反 向 信 道 的 平 均 失 真 度 ：220,XXX Y N Y NX ? ? ?????， 如 果 與 統(tǒng) 計 獨 立 ：： 高 斯 隨 機 變 量 ，反 向 信 道 滿 足 保 真 度 準 則( 。 )D cp y x PR D I X Y??()( 。 )( | )( 。 , }DDPDDP p y x D D x R y R?? ? ? ?連 續(xù) 信 源 滿 足 保 真 度 準 則 的 所 有 試 驗 信 道 組 成 的 集 合 ：( 。 ) 1I X Y n ?根 據(jù) 和 前 述 的 個 限 定 條 件 ， 構(gòu) 造 如 下 的 輔 助 函 數(shù) ：( ) [ 1 ln ( ) ] ( ) [ 1 ln ( | ) ] ( ) ( , ) 0( | ) i j i j i i i j ijiF p x p y p x p y x S p x d x yp y x ?? ? ? ? ? ? ? ? ??( 。 ) ( ) [ 1 ln ( ) ] ( ) [ 1 ln ( | ) ]( | ) i j i j ijiI X Y p x p y p x p y xp y x? ? ? ? ? ??( ) ( | ) n a tH Y H Y X??()()ijpxpy? ()ipx?[ ( ) ln ( ) ]( | )jjjip y p yp y x????()[ ( ) ln ( ) ] ( )()ii j jjpxp x p y p ypy????? ? ? ?????( ) [ 1 l n ( ) ]ijp x p y? ? ?? ?1( ) [ ln ( | ) ] ( | ) ( | )i j i j i j ip x p y x p y x p y x?? ? ? ?( ) [ 1 l n | ) ]i j ip x p y x? ? ?27 ( , )1( ) ( ) ( ) e ijS d x ynj j i i ip y p y p x????1 1 1( 。 Y ) 條件極小值的顯式表達式 ， 在一般情況下只能求得用參量 (R ( D ) 的斜率 S )來描述的參量表達式 ， 并借助計算機進行迭代運算 26 離散信源信息率失真函數(shù) 的參量表達式 11 1( | )( 。 Y ) 的 條件極小值 ， 具體而言 ， 給定信源概率分布 p( x ) 和失真函數(shù) d ( x, y )， 在滿足保真度準則 的試驗信道集合 PD 中選擇信道轉(zhuǎn)移概率 p( y | x )， 使 I ( X。 1DD? 1( ) ( 。 ) ( 1 ) ( 。 Y ) 滿足保真準則 固定信源 ， 平均互信息 是信道轉(zhuǎn)移概率的下凸函數(shù) ， 所以： m a x 1( 。 ) ( ) ( 。22 1 2 m in 1 2 m a x12,( ) [ , ]D D D D D DR D D D 任 取 兩 個 允 許 平 均 失 真 度 滿 足 ：假 設(shè) 在 區(qū) 間 上 的 函 數(shù) 值 為 一 常 數(shù)1 m a x1 m a x 1 m a x( | ) , ( | )( ) , ( ) ,j i j ip y x p y xR D R D Y Y　 　 設(shè) 有 兩 個 試 驗 信 道 ， 它 們 達 到 對 應(yīng) 的 率失 真 函 數(shù) ， 其 輸 出 分 別 為 。 ) m i n ( 。 Y ) 的最小值 當允許的平均失真度增大后 ， 集合 PD 也隨之擴大 ， 它當然仍包含原來滿足保真度準則的所有信道；這時再在擴大的 PD 集合中挑選 I ( X。 ) ( 1 ) ( 。 Y ) 是信道轉(zhuǎn)移概率的下凸函數(shù)： 12( 。 )I X YDP()RD新試驗信道的 允許平均失真度 12[ ( 1 ) ] ( ) ( 。 ) ( ) ( 。 1 , 2, , )( | ) , ( | )( ) , ( ) ,ijj i j iX d x y i n j mp y x p y xR D R D Y Y??證 ： 對 給 定 信 源 和 失 真 度 ，設(shè) 有 兩 個 試 驗 信 道 ， 它 們 達 到 對 應(yīng) 的 率 失 真 函數(shù) ， 其 輸 出 分 別 為 。 Y ) ? 0 ， 這相當于 X 和 Y 相互統(tǒng)計獨立的情況；這意味著接收端收不到信源發(fā)送的任何信息 ， 與信源不發(fā)送任何信息是等效的 ， 所以在理論上 ， 傳送信源符號的信息傳輸率可以壓縮至 0 16 率失真函數(shù)的定義域 (Dmax 的計算 ) 如果試驗信道的轉(zhuǎn)移概率滿足 即 X 和 Y 相互統(tǒng)計獨立 ， 等效于信道關(guān)閉或者信源不發(fā)任何消息 ， 此時必有： ， 從而 ( | ) ( ) 1 , 2, ,j i jp y x p y i n??( 。 Y ) 的最小值 ， 由于I ( X。 實際上這些信道反映的僅是不同的限失真信源編碼 ， 或稱 信源壓縮 R ( D ) 是在限定允許平均失真為 D 時信源最小信息傳輸率；可以通過改變試驗信道特 性 來達到 ， 實質(zhì)上是選擇一種限失真信源編碼方式使試驗信道的信息傳輸率為最小 ， 即在滿足保真度準則下 ， 使信源的壓縮率達到最高 14 率失真函數(shù)的定義域 (D 的下界 ) 允許失真度 D 是平均失真度的上限 ， 而 是非負函數(shù) 的數(shù)學期望 ， 因此 D 的下界至多為 0， 對應(yīng)于無失真的情況 ，此時信息傳輸率應(yīng)等于信源輸出的信息熵 ， 即 D ( , )ijd x ym in 0D ? 時 ：m i n( ) ( 0) ( )R D R H X??離 散 信 源 ：D 能否達到下界 0， 與單個符號的失真函數(shù)有關(guān)；在給定的失真矩陣中 ， 對每一個 xi， 找一個 yj 與之對應(yīng) ， 使 d ( xi , yj ) 最小 ， 不同的 xi 對應(yīng)的最小 d ( xi , yj ) 也不相同 。 這個最小的平均互信息稱為 信息率失真函數(shù) R ( D )， 簡稱 率失真函數(shù) ： 在研究 R ( D ) 時 ， 計算 I ( X。 )j i Dp y x PR D I X Y??()( | )( ) m in ( 。 1 , 2, , , 1 , 2, , }NND N j iP p b a D N N D i n j m? ? ? ?對于固定的信源分布 ， 平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù) ， 也就是說 ， 存在一個信道使給定的信源經(jīng)過此信道傳輸時 ， 信道的平均互信息達到最小 信源限失真編碼后的信息