【正文】 2021/6/15 78 差錯控制 ?差錯控制：從公式和概念兩條途徑來論述差錯控制與信道編碼的基本原理。只要待傳送的信息率 R＜ C，總可以找到一種編碼方法，當 N足夠長時，使譯碼錯誤概率 Pe＜ ε， ε為任意正數(shù)。記為 (n, k, L) ? ?12 nE e e e C R? ? ?2021/6/15 75 差錯控制系統(tǒng)分類 ? 前向糾錯方式 （ FEC） ? 自動請求重發(fā)方式 （ ARQ） ? 混合糾錯 （ HEC） 譯碼設備不復雜，對突發(fā)錯誤特別有效 實時性好，適用于單工通信 檢錯、糾錯能力強，譯碼設備復雜，應用廣泛 2021/6/15 76 檢錯與糾錯能力 ? 檢錯與糾錯能力 ? 糾錯碼的檢、糾錯能力是指能夠檢測、糾正差錯的數(shù)目。 ? 漢明距離 （ 碼距 ）：兩個等長碼字之間對應碼元不相同的數(shù)目，用 D表示。 2021/6/15 71 限失真信源編碼定理 ? 設離散無記憶信源 X的信息率失真函數(shù)為 R(D) ? 當信息率 R＞ R(D)時，只要信源序列長度 L 足夠長，一定存在一種編碼方法，其譯碼失真小于或等于 D＋ ε， ε為任意小的正數(shù)。 ? 香農(nóng)碼 有系統(tǒng)的、惟一的編碼方法，但在很多情況下編碼效率不是很高。 3. 對重排后的兩個概率最小符號重復步驟 2的過程。如編二進制碼就分成兩組，編 m進制碼就分成 m組。 ? ?l o gL LK mHL ???X? ?l o g 2L LK mHL ???X2021/6/15 64 編碼效率 ?差錯概率 ? 當信源序列長度 L滿足 時， 就能達到差錯率要求。 3. 按照樹圖的構(gòu)造法則，若能將碼畫成 碼樹則是即時碼，也就是唯一可譯碼。 2021/6/15 61 唯一可譯碼判斷方法和步驟 1. 首先，觀察是否是 奇異碼 。而這些尾隨后綴又有可能是某些碼字的前綴（或者 某些碼字是這些尾隨后綴的前綴 ），再將這些尾隨后綴產(chǎn)生的新的尾隨后綴列出。 ? m是進制數(shù)， n是信源符號數(shù) ? 注意 ：克拉夫特不等式只是說明唯一可譯碼是否存在，并不能作為唯一可譯碼的判據(jù)。 ? 信道容量 ? 信息率失真函數(shù) ()m a x ( 。 3. R(D)的單調(diào)遞減性 ? 容許的失真度越大，所要求的信息率越小。 ? 滿足保真度準則的所有試驗信道，即轉(zhuǎn)移概率分布 p(yj /xi)，構(gòu)成了一個信道集合 DD ?? ?? ?/:D j iP p y x D D??2021/6/15 52 ???nijiji yxdxpD1m i n ),(m i n)(信息率失真函數(shù) ? 信息率失真函數(shù) R(D) ? 限定失真為 D的條件下，信源輸出的最小信息率。對于不同的信源符號和不同的接收符號，其值是不同的。 ? 信道冗余度 ? 信道絕對冗余度＝ C－ I(X。 ? 如果 輸入信號功率 PS固定， 信道容量 C 隨 帶寬 W的增加而增加。 ? 受加性高斯白噪聲干擾的帶限波形信道 ? 輸入 x(t)、輸出 y(t)和噪聲 n(t)：模擬波形 2021/6/15 43 香農(nóng)公式 ? 香農(nóng)公式 ? W：頻帶寬度，簡稱帶寬 ? SNR (信噪比 )：表示信號功率與噪聲功率的比值 ? 加性白噪聲的功率譜密度為 N0 /2 ? Pav：信號的平均功率 ? 香農(nóng)限 ? 每傳輸 1比特信息所需的能量。Y)＝ C，對于所有滿足 p(xi)＞ 0條件的 i ? I(xi。 ? 矩陣分解法：將轉(zhuǎn)移概率矩陣劃分成若干個互不相交的對稱子矩陣。 ③ 當信道輸入符號等概率分布時，對稱 DMC信道達到其信道容量。Y)=log n ?無噪有損信道 ? C=max I(X。Y)是概率矢量 Px的上凸函數(shù)。 ? 平穩(wěn)分布 Wj可用下列方程組求得 1jjW ??2021/6/15 29 馬爾可夫信源的熵 ? M階馬爾可夫信源的極限熵 ? 齊次、遍歷的馬爾可夫信源的熵 1 ( ) ( / )m i iiH p s H X s? ? ?( / ) ( / ) l o g ( / )i j i j ijH X s p x s p x s?? ?處于狀態(tài) si時符號的平均不確定性 ? ? ? ?? ? ? ?1 2 11 1 2 1l i m //LLLm m mH H X X X XHXXX X X H X?? ???????　 2021/6/15 30 第 3章 信道與信道容量 ? 重點掌握 ? 有干擾無記憶信道的數(shù)學描述 ? 信道容量的定義 ? 對稱和準對稱 DMC信道的信道容量計算 ? 香農(nóng)公式 ? 一般了解 ? 信道的各種分類 ? 無干擾離散信道的信道容量 ? 信源和信道的匹配 2021/6/15 31 信道的分類 ? 按信道的用戶數(shù)量來劃分 單用戶信道、多用戶信道 ? 按輸入 /輸出之間的關(guān)系來劃分 無反饋信道、反饋信道 ? 按信道參數(shù)與時間的關(guān)系來劃分 固定參數(shù)信道、時變參數(shù)信道 ? 按信道中的噪聲種類來劃分 隨機差錯信道、突發(fā)差錯信道 ? 按輸入 /輸出信號在幅度和時間上的取值劃分 離散信道、連續(xù)信道、半離散半連續(xù)信道、波形信道 2021/6/15 32 信道模型 ? 根據(jù)干擾和記憶性分類 ? 無干擾（無噪聲）信道 ? 有干擾無記憶信道 ? 有干擾有記憶信道 ? 信道模型 ? 信道的輸入 Xi={a1, a2,…, an} ? 信道的輸出 Yj={b1, b2,…, bm} ? 信道轉(zhuǎn)移概率矩陣 p(Y/X) 信 道 輸入 X 輸出 Y p(Y/X) 2021/6/15 33 信道模型 1. 二進制離散信道 ： BSC信道 ? 輸入符號 X取值 {0,1} ? 輸出符號 Y取值 {0,1} 2. 離散無記憶信道 ： DMC信道 ? 輸入符號集 X={a1, a2,…, an} ? 輸出符號集 Y={b1, b2,…, bm} 11pppPp???? ?????11 12 121 22 212mmn n nmp p pp p pppPp?????????2021/6/15 34 信道模型 3. 離散輸入、連續(xù)輸出信道 ? 輸入符號集： X={a1, a2,…, an} ? 輸出未經(jīng)量化，即 Y={∞,∞} ? 輸出特性由離散輸入 X、連續(xù)輸出 Y以及一組條件概率密度函數(shù) p( y /X=ai) 來決定。 ? 狀態(tài)轉(zhuǎn)移概率 ? 當信源符號 xj出現(xiàn)后，信源所處的狀態(tài)將發(fā)生變化，并轉(zhuǎn)入一個新的狀態(tài)。/I X Y H X H X YI Y X H Y H Y X????2021/6/15 20 熵的性質(zhì) ? 非負性 ? H(X)＝ H(x1,x2,……, xn)≥0 等號在 p(xi)=1時成立 ? 對稱性 ? H(x1,x2,……, xn)＝ H(x2,x1,……, xn) ? 熵函數(shù)只與隨機變量的總體結(jié)構(gòu)有關(guān) ? 確定性 ? H(0,1)＝ H(1,0,0,……,0) ＝ 0 ? 只要信源符號集中有一個符號的出現(xiàn)概率為 1，信源熵就等于零 2021/6/15 21 熵的性質(zhì) ? 香農(nóng)輔助定理 ? 對于 P＝ (p1,p2, ……, pn)和 Q＝ (q1,q2, ……, qn) ? 對任意概率分布 pi，它對其他概率分布 qi的自信息量取數(shù)學期望時，必不小于 pi本身的熵 ? 最大熵定理 ? 離散無記憶信源輸出 M個不同的信息符號，當且僅當各個符號出現(xiàn)概率時（即等概率分布），熵最大 ? ?1211, , , l o g l o gnnn i i i iiiH p p p p p p q??? ? ? ???? ? 1 1 1, , , l o gH X H MM M M????????2021/6/15 22 互信息量與熵