葉中行信息論課件第五章-在線瀏覽
2025-07-17 21:59本頁(yè)面
【正文】 道容量，則不可能使信息傳輸差錯(cuò)概率任意?。? 但是，無(wú)失真的編碼并非總是必要的： 例如在傳送語(yǔ)音信號(hào)時(shí)，由于人耳接受的帶寬和分辨率是有限的，從而可以把頻譜范圍從 20Hz~8kHz的語(yǔ)音信號(hào)去掉低端和高端的頻率，視為帶寬只有從 300Hz~3400Hz的信號(hào)；這樣，即使傳輸?shù)恼Z(yǔ)音信號(hào)有一些失真，人耳還是可以分辨或感覺(jué)出來(lái)，已滿足語(yǔ)音信號(hào)傳輸?shù)囊螅? 3 在允許一定程度失真的條件下，能夠把信源信息壓縮到什么程度，即 最少 需要多少比特?cái)?shù)才能描述信源，是本章將要討論的問(wèn)題． 4 限失真信源編碼模型和率失真函數(shù) 一、失真測(cè)度 從直觀感覺(jué)可知，若允許失真越大，信息傳輸率可 越??；若允許失真越小，信息傳輸率需越大． 所以信息傳輸率與信源編碼所引起的失真 (或誤差 )是有關(guān)的． 5 信源編碼器輸入 X∈ { x1, x2, … , xi , … , xn } 輸出（復(fù)制） X^∈ { x^1, x^2, … , x^j , … , x^n } 若 xi = x^j —— 則無(wú)失真 若 xi≠ x^j —— 則有失真 [定義 ] [含義 ] 衡量用 x^代替 x所引起的失真程度． ?0?( , )?0xxd x xxx???? ???通常較小的 d代表較小的失真， d＝ 0表示沒(méi)有失真 — 單符號(hào)失真度 ！ 6 若信源變量 X有 n個(gè)符號(hào)，接收變量 X^有 n個(gè)符號(hào)，則 d(x,x ^)就有 n n個(gè) ,它可以排列成矩陣形式，即： 它為 失真矩陣 D． 1 1 1 2 12 1 2 2 212? ? ?( , ) ( , ) ... ( , )? ? ?( , ) ( , ) ... ( , ): : ... :? ? ?( , ) ( , ) ... ( , )nnn n n nd x x d x x d x xd x x d x x d x xDd x x d x x d x x?????????7 [例 1] 離散對(duì)稱(chēng)信源．信源變量 x＝ {x1,x2,… xn} ， 接收變量 X ^＝ {x ^1,x ^2,… x ^ｎ }。定義單個(gè)符號(hào)失真度： 這種失真稱(chēng)為漢明失真．漢明失真矩陣＿對(duì)角線上的元素為零，即： ?0?( , )?1iiiiiixxd x xxx??? ???0 1 .. . 11 0 .. . 1: : .. . :1 1 .. . 0nnD??????????????? 對(duì)二元對(duì)稱(chēng)信源 (n＝ 2)，信源 X＝ {0,1}，接收變量 X ^ ＝{0,1}．在漢明失真定義下，失真矩陣為： 0110D???????8 [例２ ] 對(duì)稱(chēng)信源．信源變量Ｘ＝ {ｘ 1,ｘ 2,… ｘ ｎ } ，接收變量Ｘ ^＝ {ｘ ^1,ｘ ^2,… ｘ ^ｎ } 。它意味著幅度差值大的要比幅度差值小的所引起的失真更為嚴(yán)重，嚴(yán)重程度用平方來(lái)表示。 有些試驗(yàn)信道滿足 D ? D，而有些試驗(yàn)信道 D＞ D. 凡滿足保真度準(zhǔn)則 平均失真度 D ? D的試驗(yàn)信通稱(chēng)為 D失真許可的試驗(yàn)信道 ． 平均失真是對(duì)給定信源分布 ,在給定轉(zhuǎn)移概率分布的信道中傳輸時(shí)的失真的總體量度 12 [說(shuō)明 ] ① 是在 平均意義 上，對(duì)系統(tǒng)失真的總體描述 ②是信源統(tǒng)計(jì)特性 p(x)的函數(shù) 是信道統(tǒng)計(jì)特性 p(x / x^)的函數(shù) 是規(guī)定失真度 d(x, x^)的函數(shù) 若保持 p(x)、 d(x, x^)不變， 則平均失真度就是信道特性 p(x / x^)的函數(shù) 研究：在 滿足保真度 準(zhǔn)則前提下，求 信息率最小值 13 三、信息率失真函數(shù)的定義 1. 率失真函數(shù)問(wèn)題產(chǎn)生 ? 對(duì)于信息容量為 C的信道傳輸信息傳輸率為 R的信源時(shí) ，如果 R＞ C， 就必須對(duì)信源壓縮 ， 使其壓縮后信息傳輸率R’小于信道容量 C， 但同時(shí)要保證壓縮所引人的失真不超過(guò)預(yù)先規(guī)定的限度 —— 信息壓縮問(wèn)題就是對(duì)于給定的信源 ， 在滿足平均失真 的前提下，使信息率盡可能小。X^)來(lái)表示，這就變成了 在滿足保真度準(zhǔn)則的條件下，尋找平均互信息I(X。V)是 P(x^ / x)的凹函數(shù)，所以極小值存在．這個(gè)最小值就是在 D175。 )m inP x x D DR D I X X??R(D)信息率失真函數(shù)或簡(jiǎn)稱(chēng) 率失真函數(shù) 。X^)最大值 固定 p(x),改變 p(x^/xi),求得 I(X。 ? ?1 2 3,a a aminD maxD? ?1 2 32133 2 1d???????????1 2 3( ) m in ( 1 , 2 , 3 ) ( ) m in ( 2 , 1 , 3 ) ( ) m in ( 3 , 2 , 1 )p a p a p a? ? ???m i n ( ) m in ( , )yxD p x d x y???令對(duì)應(yīng)最小失真度 的 ，其它為“ 0”，可得對(duì)應(yīng) 的試驗(yàn)信道轉(zhuǎn)移概率矩陣為 ( , )ijd a b( | ) 1jip b a ?minD? ?1 0 0( | ) 0 1 00 0 1???????????p y x20 ? ??? ?? ??m a x 1 2 31 2 31 2 3m i n ( ) ( , ) m i n ( ) 1 ( ) 2 ( ) 3 ,( ) 2 ( ) 1 ( ) 2 ,( ) 3 ( ) 3 ( ) 1yxD p x d x y p a p a p ap a p a p ap a p a p a? ? ? ? ? ? ? ????????????????????? ? ? ? ? ?? ? ? ? ? ? ? ??上式中第二項(xiàng)最小，所以令 ， ，可得對(duì)應(yīng) 的試驗(yàn)信道轉(zhuǎn)移概率矩陣為 2( ) 1pb ? 13( ) ( ) 0p b p b??maxD? ?0 1 0( | ) 0 1 00 1 0p y x???????????21 率失真函數(shù) R(D)性質(zhì) (續(xù) ) [計(jì)算 ] [例４ ]離散二元信源 ，求 Dmax [解 ] m a xm a x11m in?m in ( ) ( , )?( ) ( , )jjnn i i jjij i i jiDDD p x d x xD p x d x x ??? ????? ????? ? 0112( ) , , 1033px ?????? ?????? ??D1m a x 221 2 20113 3 31 2
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1