【正文】 息匹配 ? 對于某一信道，只有當(dāng)輸入符號的概率分布滿足一定條件時，才能達到其信道容量。 ? 多維無記憶加性連續(xù)信道 ? 可等價成 L個獨立的并聯(lián)高斯加性信道 ? 注水法：噪聲小的子信道分配到的輸入功率大，傳輸?shù)谋忍財?shù)多。 ? 當(dāng)信道輸入符號等概率分布時，準(zhǔn)對稱 DMC信道達到其信道容量 C。 ) m a x / l ogiinm jii j ip a p aij jp b aC I X Y p a p b apb???? ??2021/6/15 36 離散單符號信道 離散單個符號信道 無干擾離散信道 有擾離散信道 對稱 DMC信道 準(zhǔn)對稱 DMC信道 一般 DMC信道 無噪無損信道 無噪有損信道 有噪無損信道 2021/6/15 37 無干擾離散信道 ?無噪無損信道 ? C=max I(X?？梢杂?P這一矩陣充分描述穩(wěn)定的馬氏鏈。 ? ? ? ? ? ?? ? ? ? ? ?。 ) ( / ) l o g(( 。 ? 聯(lián)合熵、信源熵和條件熵之間的關(guān)系 2,( ) ( ) ( ) ( ) l o g ( )i j i j i j i ji j i jH X Y p x y I x y p x y p x y? ? ???? ? ? ? ? ?? ? ? ? ? ?//H X Y H X H Y XH X Y H Y H X Y????2021/6/15 17 互信息 ? 定義： xi的后驗概率與先驗概率比值的對數(shù) ? 事件 xi是否發(fā)生具有不確定性，用 I(xi)度量。 ? ? ? ? ? ?12112121 / ??? LLLL XXXXpXXXpXXXp ???? ? ? ? ? ?1212211221 // ????? LLLLL XXXXpXXXXpXXXp ???? ? ? ? ? ? ? ?1 2 1 3 1 2 1 2 1/ / /LLp X p X X p X X X p X X X X ???2021/6/15 9 信源的數(shù)學(xué)描述 1 2 1 1( / ) ( / )L L L L m Lp X X X X p X X X? ? ??1 2 31 2 1 3 1 2 1 2 2 11 2 1 3 2 1 2 1()( ) ( / ) ( / ) ( / )( ) ( / ) ( / ) ( / ) ( / )LL L LL L L Lp X X X Xp X p X X p X X X p X X X X Xp X p X X p X X p X X p X X??? ? ???? 一階馬爾可夫信源 ? m階馬爾可夫信源 2021/6/15 10 自信息量 ? 隨機事件的自信息量定義為其概率對數(shù)的負(fù)值，即 ? ? ? ? ? ?iii xpxpxI l og1l og ???? I (xi) 含義 : ? 當(dāng)事件 xi發(fā)生以前，表示事件 xi發(fā)生的 不確定性 ? 當(dāng)事件 xi發(fā)生以后，表示事件 xi所含有的 信息量 2021/6/15 11 自信息量的特性 ? I (xi)是非負(fù)值 ? 當(dāng) p(xi) = 1時， I(xi) = 0 ? 當(dāng) p(xi) = 0時， I(xi) =∞ ? I(xi)是先驗概率 p(xi)的單調(diào)遞減函數(shù)，即 當(dāng) p(x1)＞ p(x2)時， I (x1)＜ I (x2) ? 兩個獨立事件的 聯(lián)合信息量 等于它們分別的信息量之和。 ? 設(shè)信源輸出的 隨機序列 為 X， 序列中的變量 ? ?12 lLX X X X X?? ?12, , , , 1 , 2 , ,lnX x x x l L??2021/6/15 8 信源的數(shù)學(xué)描述 ? 有記憶信源的 聯(lián)合概率 表示比較復(fù)雜，需要引入 條件概率 來反映信源發(fā)出符號序列內(nèi)各個符號之間的記憶特征。 2,/ ( ) ( / ) ( ) l o g ( / )i j j i i j j ii j i jH Y X p x y I y x p x y p y x? ? ???()2021/6/15 16 聯(lián)合熵 ? 聯(lián)合熵是聯(lián)合符號集合 XY上的每個元素對 xiyj的自信息量的概率加權(quán)統(tǒng)計平均值 ? 聯(lián)合熵 H(XY)表示 X和 Y同時發(fā)生的不確定度。 yj)在 Y集合上的概率加權(quán)統(tǒng)計平均值 ( / )( / ) ( 。Y)加上 H(Y/X)，這完全是由信道中噪聲引起的。 2021/6/15 27 狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖） ? 齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）表示 ? 每個圓圈代表一種狀態(tài) ? 狀態(tài)之間的有向線代表從某一狀態(tài)向另一狀態(tài)的轉(zhuǎn)移 ? 有向線一側(cè)的符號和數(shù)字分別代表發(fā)出的符號和條件概率 so s1 x2/ x1/ x1/ s2 x2/ x1/ x2/ p(x1/s2)= p(s2/s2)= 2021/6/15 28 i ij jiW p W??? ?l im kij jk pW?? ?穩(wěn)定的馬爾可夫信源 ? 極限概率 Wj ? 一個不可約的、非周期的、狀態(tài)有限的馬爾可夫鏈，其k步轉(zhuǎn)移概率 pij(k)在 k→∞ 時趨于一個和初始狀態(tài)無關(guān)的概率，即 ? 不論起始狀態(tài)如何，這種馬氏鏈都可以最后達到穩(wěn)定，即所有變量 Xk的概率分布均不變。 ? ? ? ? ? ?? ?( ) ( ) 11/m a x ( 。 ) l o g / iC I X Y m H Y a? ? ? ?xP2021/6/15 39 ? ?121l o g , , l o grs k kkC n H p p p N M?? ? ?? ? ? ?DMC信道的容量 2. 準(zhǔn)對稱 DMC信道的容量 ? 如果轉(zhuǎn)移概率矩陣 P的輸入對稱而輸出不對稱，則稱該信道是 準(zhǔn)對稱 DMC信道 。XLL PlC I C l CY LlX?? ? ??2021/6/15 42 連續(xù)信道 ? 連續(xù)單符號加性信道 ? 信道的輸入和輸出都是取值連續(xù)的一維隨機變量，加入信道的噪聲是均值為零、方差為σ2的加性高斯噪聲。 2021/6/15 45 信源與信道的匹配 ? 符號匹配 ? 信源輸出的符號必須是信道能夠傳送的符號，這是實現(xiàn)信息傳輸?shù)谋匾獥l件。 ? 描述某一信源在某一試驗信道傳輸下的失真大小，是從總體上描述整個系統(tǒng)的失真情況。Y) ? 信源的概率分布 p(xi)的上凸函數(shù)。 ? 集合 F的構(gòu)成方法 ? 首先觀察碼 C中最短的碼字是否是其它碼字的前綴。 2. 其次，計算碼長是否滿足 Kraft不等式 。 ( ) ( ) LLH K H ?? ? ?XXK2021/6/15 67 香農(nóng)編碼步驟 1. 將信源消息符號按其概率從大到小排列 2. 確定滿足下列不等式的整數(shù)碼長 Ki 3. 令 P1=0，計算第 i個消息的累加概率 4. 將累加概率 Pi變換成二進制數(shù)，取小數(shù)點后 Ki位為該消息的碼字 ? ? ? ? ? ?12 np x p x p x? ? ?? ? ? ?l og l og 1i i ip x K p x? ? ? ? ?? ?11iikkP p x??? ?2021/6/15 68 費諾編碼方法 ? 費諾編碼屬于 概率匹配編碼 ，不是最佳的編碼方法。 5. 從最后一級開始，向前返回得到各個信源符號所對應(yīng)的碼元序列，即相應(yīng)的碼字。 ? 如果是二元信源，則對于任意小的 ε＞ 0，每一個信源符號的平均碼長滿足如下公式： ???? )()( DRKDR2021/6/15 72 第 6章 信道編碼 ? 重點掌握 ? 差錯控制相關(guān)的基本概念 ? 差錯控制系統(tǒng)分類 ? 檢、糾錯能力 ? 有擾離散信道編碼定理 ? 一般了解 ? 糾錯碼分類 ? 糾錯碼的基本思路 2021/6/15 73 與差錯控制有關(guān)的基本概念 ? 漢明重量 （ 碼重 ）：碼字中非 0碼元的個數(shù)，用 W表示。 ? 要增加檢錯能力，必須抑制糾錯能力