【正文】 p(Y/X) 2021/6/15 33 信道模型 1. 二進制離散信道 ： BSC信道 ? 輸入符號 X取值 {0,1} ? 輸出符號 Y取值 {0,1} 2. 離散無記憶信道 ： DMC信道 ? 輸入符號集 X={a1, a2,…, an} ? 輸出符號集 Y={b1, b2,…, bm} 11pppPp???? ?????11 12 121 22 212mmn n nmp p pp p pppPp?????????2021/6/15 34 信道模型 3. 離散輸入、連續(xù)輸出信道 ? 輸入符號集： X={a1, a2,…, an} ? 輸出未經(jīng)量化，即 Y={∞,∞} ? 輸出特性由離散輸入 X、連續(xù)輸出 Y以及一組條件概率密度函數(shù) p( y /X=ai) 來決定。/I X Y H X H X YI Y X H Y H Y X????2021/6/15 20 熵的性質(zhì) ? 非負(fù)性 ? H(X)＝ H(x1,x2,……, xn)≥0 等號在 p(xi)=1時成立 ? 對稱性 ? H(x1,x2,……, xn)＝ H(x2,x1,……, xn) ? 熵函數(shù)只與隨機變量的總體結(jié)構(gòu)有關(guān) ? 確定性 ? H(0,1)＝ H(1,0,0,……,0) ＝ 0 ? 只要信源符號集中有一個符號的出現(xiàn)概率為 1，信源熵就等于零 2021/6/15 21 熵的性質(zhì) ? 香農(nóng)輔助定理 ? 對于 P＝ (p1,p2, ……, pn)和 Q＝ (q1,q2, ……, qn) ? 對任意概率分布 pi，它對其他概率分布 qi的自信息量取數(shù)學(xué)期望時，必不小于 pi本身的熵 ? 最大熵定理 ? 離散無記憶信源輸出 M個不同的信息符號，當(dāng)且僅當(dāng)各個符號出現(xiàn)概率時（即等概率分布），熵最大 ? ?1211, , , l o g l o gnnn i i i iiiH p p p p p p q??? ? ? ???? ? 1 1 1, , , l o gH X H MM M M????????2021/6/15 22 互信息量與熵 H(X/Y) H(X) H(Y) H(XY) H(Y/X) I(X。 ) )jiji j i j i jii ip x yp x y I x yI X y p x ypx????,( / )( ) ( 。 ? 接收到符號 yj后，事件 xi是否發(fā)生仍保留有一定的不確定性，用 I(xi / yj)度量。即：統(tǒng)計獨立信源的信息量等于它們分別的信息量之和。 ? 數(shù)學(xué)模型 ? 符號序列無記憶信源 ? 很多實際信源輸出的消息往往是由一系列符號組成，這種用每次發(fā)出 1組含 2個以上符號的符號序列來代表一個消息的信源叫做 發(fā)出符號序列的信源 。 ? 條件熵 H(X/Y)表示已知 Y后， X的不確定度。 yj)在 X集合上的統(tǒng)計平均值為 ? I(X。 ? 輸出端信源 Y的熵 H(Y)等于接收到關(guān)于 X的信息量 I(X。這種狀態(tài)的轉(zhuǎn)移可用狀態(tài)轉(zhuǎn)移概率p(sj /si)表示。 ? I(Px)的極大值就是 信道容量 。 ? ?m a x ( 。Y)≤C，對于所有滿足 p(xi)＝ 0條件的 i 每一個概率不為 0的輸入符號對輸出提供相同的互信息 2021/6/15 41 離散序列信道及其容量 ? ? ? ? ? ?111/ / /LL L l llp p Y Y X X p Y XYX??? ?信 道 輸入 X 輸出 Y p(Y/X) X=(X1, X2,…, XL) Xl={a1, a2,…, an} Y=(Y1,Y2,…, YL) Yl={b1, b2,…, bm} 獨立、無記憶、平穩(wěn) 離散序列信道的信道容量為： 無記憶 離散序列信道的轉(zhuǎn)移概率為： ? ? ? ? ? ?1m a x 。但到一定階段后，增加變得緩慢。 ? 平均失真 ： ? 平均失真對信源和信道進行的統(tǒng)計平均。 2021/6/15 54 率失真函數(shù)和信道容量的比較 ? 平均互信息 I(X。 2021/6/15 60 唯一可譯碼的判斷法 ? 將碼 C中所有可能的尾隨后綴組成一個集合 F，當(dāng)且僅當(dāng)集合 F中沒有包含任一碼字，則可判斷此碼 C為唯一可譯碼。若是，一定不是唯一可譯碼。 ?編碼效率 ? 最佳編碼效率為 ()LHK? ? X22()eP L??? X22()L ????X() ,0()LLHH?? ????XX2021/6/15 65 變長編碼定理 ?單個符號 變長編碼定理 ? 若一離散無記憶信源的符號熵為 H(X)，每個信源符號用 m進制碼元進行變長編碼，一定存在一種無失真編碼方法，其碼字平均長度滿足下列不等式 1l o g)(l o g)( ???mXHKmXH2021/6/15 66 變長編碼定理 ?離散平穩(wěn)無記憶序列 變長編碼定理 ? 對于平均符號熵為 HL(X)的離散平穩(wěn)無記憶信源，必存在一種無失真編碼方法，使平均信息率 滿足不等式 ? 其中， ε為任意小正數(shù)。 4. 繼續(xù)上述過程，直到最后兩個符號配以 0和 1為止。 ? 反之，若 R＜ R(D) ，則無論采用什么樣的編碼方法，其譯碼失真必大于 D。 ? 檢錯能力 ? 糾錯能力 ? 檢、糾錯能力 ? 將檢錯和糾錯統(tǒng)一考慮，情況會有所變化。 ?途徑一：信道編碼定理的公式 ? 增大 C、減小 R、增加 N ?途徑二：從概念上分析糾錯編碼的基本原理 ? 利用冗余度 ? 噪聲均化 ? ?NE RePe??。 e≤ dmin－ 1 ed+ec≤ dmin1 t =INT[(dmin1)/2] 2021/6/15 77 有擾離散信道編碼定理 ? 若有一離散無記憶平穩(wěn)信道，其容量為 C，輸入符號序列長度為 N。對于二進制來說，指碼字中碼元 1的數(shù)目。 2021/6/15 70 三種編碼的比較 ? 香農(nóng)碼、費諾碼、哈夫曼碼都考慮了信源的統(tǒng)計特性，經(jīng)常出現(xiàn)的信源符號對應(yīng)較短的碼字，使信源的平均碼長縮短，從而實現(xiàn)對信源的壓縮。編碼過程如下： 1. 將信源消息符號按其出現(xiàn)的概率依次排列 p(x1)≥ p(x2)≥…≥ p(xn) 2. 按編碼進制數(shù)將概率分組，使每組概率盡可能接近或相等，并為每一組分配一位碼元。若不滿足，一定不是唯一可譯碼。若是，將其所有可能的尾隨后綴排列出。 ? 信道傳遞概率 p(yj /xi)的下凸函數(shù)。 D? ? ? ? ? ? ? ? ? ?1 1 1 1, / ,n m n mi j i j i j i i ji j i jD p a b d a b p a p b a d a b? ? ? ???? ? ? ?2021/6/15 50 ? ? ? ? ? ? ? ?1 1 1 1,=LLL n m Li l j l i l i l j l ll i j lD L p x p y x d x y D? ? ? ?? ? ? ? ?/平均失真 ? L維信源符號序列的平均失真度 ? 當(dāng)信源與信道無記憶時， ? 信源符號平均失真度（平均每個符號的平均失真度） ? ?111 LLllD D L DLL??? ?? ? ? ? ? ? ? ?11LLnmijD L p p d??? ?? i j i i jx / xx ,yy? ? ? ? ? ?1 1 1,LLn m Lil jli j lp p d x y? ? ?? ? ? ?i j i/x y xlD表示信源符號序列的第 l 個符號的平均失真 2021/6/15 51 保真度準(zhǔn)則 ? 保真度準(zhǔn)則 ? 平均失真度不大于允許的失真 ? D允許信道 ? D允許的試驗信道，即滿足保真度準(zhǔn)則的試驗信道。 ? 信