【正文】 息率失真函數(shù)的性質(zhì) ? 連續(xù)信源的平均失真 2021/6/15 47 失真函數(shù) ? 單符號失真函數(shù)定義為： ? 將所有的 d(xi,yj)排列起來，用矩陣表示為 0( , )0 ijijijxyd x yxy?????? ???　 　 　1 1 11( , ) ( , )( , ) ( , )mn n md a b d a bd a b d a b?????????dd 稱為失真矩陣 2021/6/15 48 1( , ) ( , )llLijld d x y?? ?ijxy失真函數(shù) ? 如果假定離散信源輸出符號序列 X=(X1X2… Xl … XL), Xl∈ A={a1,… an}， 其中 L長符號序列 xi=(xi1xi2… xiL)，經(jīng)信源編碼后輸出符號序列 Y=(Y1Y2… Yl… YL) ，Yl∈ B={b1,… bm}， 其中 L長符號序列 yj = (yj1yj2… yjL)， 序列失真函數(shù)定義為 式中， d(xil , yjl)表示信源輸出符號序列 xi的第 l個(gè)符號和編碼輸出符號序列 yj的第 l個(gè)符號之間的失真函數(shù) 信源序列的失真度等于序列中對應(yīng)單個(gè)符號的失真度之和 2021/6/15 49 平均失真 ? 將失真函數(shù)的數(shù)學(xué)期望或統(tǒng)計(jì)平均值稱為 平均失真 。對于不同的信源符號和不同的接收符號，其值是不同的。 ? 描述某一信源在某一試驗(yàn)信道傳輸下的失真大小，是從總體上描述整個(gè)系統(tǒng)的失真情況。 ? 滿足保真度準(zhǔn)則的所有試驗(yàn)信道，即轉(zhuǎn)移概率分布 p(yj /xi)，構(gòu)成了一個(gè)信道集合 DD ?? ?? ?/:D j iP p y x D D??2021/6/15 52 ???nijiji yxdxpD1m i n ),(m i n)(信息率失真函數(shù) ? 信息率失真函數(shù) R(D) ? 限定失真為 D的條件下，信源輸出的最小信息率。 )DPR D I X Y?m a x 1 , 21m in ( ) ( , )ni i jjmiD p a d a b? ?? ?2021/6/15 53 信息率失真函數(shù)的性質(zhì) 1. R(D)是非負(fù)的實(shí)數(shù)， 0≤R(D)≤H(X) 定義域?yàn)?0≤Dmin≤D≤Dmax 當(dāng) D＞ Dmax時(shí)， R(D)≡0 2. R(D)是關(guān)于 D的下凸函數(shù) ? R(D)在定義域內(nèi)是失真度 D的 U型下凸函數(shù)。 3. R(D)的單調(diào)遞減性 ? 容許的失真度越大，所要求的信息率越小。Y) ? 信源的概率分布 p(xi)的上凸函數(shù)。 ? 信道容量 ? 信息率失真函數(shù) ()m a x ( 。(m i n)( YXIDRDP?( / )( 。 ? m是進(jìn)制數(shù)， n是信源符號數(shù) ? 注意 ：克拉夫特不等式只是說明唯一可譯碼是否存在，并不能作為唯一可譯碼的判據(jù)。 ? 集合 F的構(gòu)成方法 ? 首先觀察碼 C中最短的碼字是否是其它碼字的前綴。而這些尾隨后綴又有可能是某些碼字的前綴（或者 某些碼字是這些尾隨后綴的前綴 ），再將這些尾隨后綴產(chǎn)生的新的尾隨后綴列出。 ? 按照上述步驟將次短碼字、 … 等等所有碼字可能產(chǎn)生的尾隨后綴全部列出。 2021/6/15 61 唯一可譯碼判斷方法和步驟 1. 首先，觀察是否是 奇異碼 。 2. 其次，計(jì)算碼長是否滿足 Kraft不等式 。 3. 按照樹圖的構(gòu)造法則，若能將碼畫成 碼樹則是即時(shí)碼，也就是唯一可譯碼。 只有唯一可譯碼判斷法能確切判斷是否是唯一可譯碼 2021/6/15 62 ? ?? ?1212, , , , ,LkKk j mY Y Y YY b b b b??Y無失真信源編碼 ? 設(shè)信源符號序列的長度為 L ? 變換成由 KL個(gè)符號組成的 碼序列（ 碼字 ） ? 變換要求 ? 能夠無失真或無差錯(cuò)地從 Y 恢復(fù) X，也就是能正確地進(jìn)行反變換或譯碼 ? 傳送 Y 時(shí)所需要的信息率最小 ? ?? ?1212, , , , ,lLl i nX X X XX a a a a??Xl ogLKKmL?2021/6/15 63 定長編碼定理 ? 定長編碼定理 ：由 L個(gè)符號組成的、每個(gè)符號的熵為 HL(X)的無記憶平穩(wěn)信源符號序列 X1X2… Xl… XL，可用 KL個(gè)符號 Y1, Y2,…, Yk,… YKL（每個(gè)符號有 m種可能值）進(jìn)行定長編碼。 ? ?l o gL LK mHL ???X? ?l o g 2L LK mHL ???X2021/6/15 64 編碼效率 ?差錯(cuò)概率 ? 當(dāng)信源序列長度 L滿足 時(shí)， 就能達(dá)到差錯(cuò)率要求。 ( ) ( ) LLH K H ?? ? ?XXK2021/6/15 67 香農(nóng)編碼步驟 1. 將信源消息符號按其概率從大到小排列 2. 確定滿足下列不等式的整數(shù)碼長 Ki 3. 令 P1=0，計(jì)算第 i個(gè)消息的累加概率 4. 將累加概率 Pi變換成二進(jìn)制數(shù)，取小數(shù)點(diǎn)后 Ki位為該消息的碼字 ? ? ? ? ? ?12 np x p x p x? ? ?? ? ? ?l og l og 1i i ip x K p x? ? ? ? ?? ?11iikkP p x??? ?2021/6/15 68 費(fèi)諾編碼方法 ? 費(fèi)諾編碼屬于 概率匹配編碼 ，不是最佳的編碼方法。如編二進(jìn)制碼就分成兩組，編 m進(jìn)制碼就分成 m組。 4. 信源符號所對應(yīng)的碼字即為費(fèi)諾碼。 3. 對重排后的兩個(gè)概率最小符號重復(fù)步驟 2的過程。 5. 從最后一級開始，向前返回得到各個(gè)信源符號所對應(yīng)的碼元序列，即相應(yīng)的碼字。 ? 香農(nóng)碼 有系統(tǒng)的、惟一的編碼方法，但在很多情況下編碼效率不是很高。 ? 費(fèi)諾碼 比較適合于對分組概率相等或接近的信源編碼。 2021/6/15 71 限失真信源編碼定理 ? 設(shè)離散無記憶信源 X的信息率失真函數(shù)為 R(D) ? 當(dāng)信息率 R＞ R(D)時(shí)，只要信源序列長度 L 足夠長，一定存在一種編碼方法，其譯碼失真小于或等于 D＋ ε， ε為任意小的正數(shù)。 ? 如果是二元信源，則對于任意小的 ε＞ 0，每一個(gè)信源符號的平均碼長滿足如下公式： ???? )()( DRKDR2021/6/15 72 第 6章 信道編碼 ? 重點(diǎn)掌握 ? 差錯(cuò)控制相關(guān)的基本概念 ? 差錯(cuò)控制系統(tǒng)分類 ? 檢、糾錯(cuò)能力 ? 有擾離散信道編碼定理 ? 一般了解 ? 糾錯(cuò)碼分類 ? 糾錯(cuò)碼的基本思路 2021/6/15 73 與差錯(cuò)控制有關(guān)的基本概念 ? 漢明重量 （ 碼重 ）：碼字中非 0碼元的個(gè)數(shù)，用 W表示。 ? 漢明距離 （ 碼距 ）：兩個(gè)等長碼字之間對應(yīng)碼元不相同的數(shù)目，用 D表示。 ? 設(shè)發(fā)送碼字為 C=(c1c2… )，接收碼字為R=(r1r2… rn)，兩者的差別為 ? 分組碼 ：每個(gè)碼字中增加的 r 個(gè)校驗(yàn)元只由本組的 k個(gè)信息元產(chǎn)生，與其他信息組的信息元無關(guān)。記為 (n, k, L) ? ?12 nE e e e C R? ? ?2021/6/15 75 差錯(cuò)控制系統(tǒng)分類 ? 前向糾錯(cuò)方式 （ FEC） ? 自動(dòng)請求重發(fā)方式 （ ARQ） ? 混合糾錯(cuò) （ HEC） 譯碼設(shè)備不復(fù)雜，對突發(fā)錯(cuò)誤特別有效 實(shí)時(shí)性好，適用于單工通信 檢錯(cuò)、糾錯(cuò)能力強(qiáng)，譯碼設(shè)備復(fù)雜，應(yīng)用廣泛 2021/6/15 76 檢錯(cuò)與糾錯(cuò)能力 ? 檢錯(cuò)與糾錯(cuò)能力 ? 糾錯(cuò)碼的檢、糾錯(cuò)能力是指能夠檢測、糾正差錯(cuò)的數(shù)目。 ? 要增加檢錯(cuò)能力，必須抑制糾錯(cuò)能力。只要待傳送的信息率 R＜ C，總可以找到一種編碼方法，當(dāng) N足夠長時(shí)，使譯碼錯(cuò)誤概率 Pe＜ ε， ε為任意正數(shù)。當(dāng) N→∞時(shí)， Pe→1 。 2021/6/15 78 差錯(cuò)控制 ?差錯(cuò)控制：從公式和概念兩條途徑來論述差錯(cuò)控制與信道編碼的基本原理