【正文】 ，這些符號(hào)可連續(xù)出現(xiàn)，連“ 0”這一段稱為“ 0”游程，連“ 1”這一段稱為“ 1”游程。它們L(0)和 L(1). 對(duì)于多元序列也存在相應(yīng)的游程序列。例如 m元序列中，可有 m種游程。連著出現(xiàn)符號(hào) ar的游程，其長度 L(r)就是“ r”游程長度。 ? (x1， x2， … ， xm1， y， y， … ， y， xm1+1，xm1+2 ， …xm2 ， y， y， … 其中 x是含有信息的代碼，取值于m元符號(hào)集 A，可稱為信息位； y是冗余位，它們可為全零，即使未曾 111， … ， 100， … ， 000111， … ， 111000和 x1， x2， … ， xm1， xm1+1， xm1+2 ， …x m2 ， … 前一個(gè)序列中，用“ 1”表示信息位，用“ 0”表示冗余位；后一個(gè)序列是取消冗余位后留下的所有信息位。 ? 算術(shù)編碼的基本思路 從全序列出發(fā)，將各信源序列的概率映射到［ 0， 1］區(qū)間上，使每個(gè)序列對(duì)應(yīng)這區(qū)間內(nèi)的一點(diǎn)，也就是一個(gè)二進(jìn)制的小數(shù)。 ? 積累概率 則 ? S =011，這種三個(gè)二元符號(hào)的序列可按自然二進(jìn)數(shù)排列，000， 001， 010， …… ，則 S的積累概率為 P(S)=p(000)+p(001)+p (010) ? 如果 S后面接一個(gè)“ 0” P(S0)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101) = p(000)+p(001)+p(010)=P(S) 1r0r 1 rPPPriirpp???????信源的符號(hào)概率和積累概率 如果 S后面接一個(gè)“ 1”，則其積累概率是 P(S1)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+ p(0101)+p(0110) =P(S)+p(0110) =P(S)+p(S)p0 上面兩式可統(tǒng)一寫作 一般的遞推公式 序列的概率的公式 r,( ) ( ) ( ) P 0 , 1p S r P S p S r? ? ?r( ) ( ) ( ) PrP S a P S p S??r( ) ( )rp S a p S p? ? 實(shí)用中，采用積累概率 P(S)表示碼字 C(S)，符號(hào)概率 p(S)表示狀態(tài)區(qū)間 A(S)，則有 ? 實(shí)際編碼過程 : 先置兩個(gè)存儲(chǔ)器 C和 A，起始時(shí)可令 其中 代表空集。每輸入一個(gè)信源符號(hào)，存儲(chǔ)器 C和 A就按照上式更新一次，直至程序結(jié)束，就可將存儲(chǔ)器 C的內(nèi)容作為碼字輸出。 r( ) ( ) ( ) P( ) ( ) rC S r C S A SA S r A S p?? ??? ?( ) 1 , ( ) 0AC? ? ? ? ?? ? 例 a， b， c， d構(gòu)成序列S=abda，各符號(hào)及其對(duì)應(yīng)概率如表算術(shù)編解碼過程如下 :設(shè)起始狀態(tài)為空序列 φ，則 A(φ)=1， C(φ)=0。 表 441各符號(hào)及其對(duì)元概率 符號(hào) 符號(hào) 符號(hào)概率 pi 符號(hào)概率 pi 符號(hào)累積概率 Pj 符號(hào)累積概率 Pj a b c d (1/2) (1/4) (1/8) (1/8) 算術(shù)碼編碼過程 ( ) ( ) ( ) 0 1 0 0( ) ( ) 1 0 .1 0 .1( ) ( ) ( ) 0 0 .1 0 .1 0 .0 1( ) ( ) 0 .1 0 .0 1 0 .0 0 1aabbC a C A PA a A PC a b C a A a PA a b A a p? ? ????? ? ? ? ? ???? ? ? ??? ? ? ? ? ???? ? ?? ( ) ( ) ( ) 0 .0 1 0 .0 0 1 0 .1 1 1 0 .0 1 0 1 1 1( ) ( ) 0 .0 0 1 0 .0 0 1 0 .0 0 0 0 0 1( ) ( ) ( ) 0 .0 1 0 1 1 1 0 .0 0 0 0 0 1 0 0 .0 1 0 1 1 1( ) ( ) 0 .0 0 0 0 0 1 0 .1 0 .0 0 0 0 0 0 1ddaaC a b d C a b A a b PA a b d A a b pC a b d a C a b d A a b d PA a b d a A a b d p??? ? ? ? ? ???? ? ??? ? ? ? ? ???? ? ??1()dP??1()bP??據(jù)遞推公式的相反過程譯出符號(hào)。具體譯碼順序是后編的先譯，故稱為LIFO C(abda)=＜ 0 1∈ ［ 0,) 第一個(gè)符號(hào)為 a；放大至［ 0,1) :C(abda) 2＝ ∈ ［ ,)第二個(gè)符號(hào)為 b； 去掉累積概率 Pb:= 放大至［ 0,1) : =∈ ［ ,1)第三個(gè)符號(hào)為 d 去掉累積概率 Pd： =0 放大至［ 0,1) ： 0 =0∈ ［ 0,) 第四個(gè)符號(hào)為 a 1()aP ??2242 ? 標(biāo)量量化 連續(xù)信源進(jìn)行編碼的主要方法是量化，即將連續(xù)的樣值 x離散化成為yi， i=1,2,3,…,n 。 ? 設(shè)信源符號(hào)的取值區(qū)間為 ( a 0， a n)，即 a 0＜ x＜ a n， a0可為負(fù)無限， a n可為正無限，所以上述假設(shè)不失一般性。量化就是將上面的區(qū)間分成 n個(gè)小區(qū)間，每個(gè)區(qū)間內(nèi)定一個(gè)量化值 yi，若各區(qū)間端點(diǎn)為 ai1 和 ai a0≤y1≤a1≤y2≤…≤an 1 ≤yn≤an ? 最佳標(biāo)量量化就是在一定的 n值時(shí)，選擇各 ai和 yi以使失真最小。此時(shí)的信息率為 R=log n ? 量化噪聲 當(dāng)一個(gè)樣值 x x上疊加了一個(gè)樣值為 的噪聲信號(hào)。 ? 以語音信號(hào)量化常用的脈碼調(diào)制 (PCM)為例。 設(shè)語音信號(hào)的準(zhǔn)峰值為 L，由于語音信號(hào)是雙向性的，則其取值范圍為［ L,L］。量化級(jí)數(shù)為 n，量化級(jí)差為 2L/n，用中心值作為量化值 yi。語音信號(hào)樣值 x 的概率密度是負(fù)指數(shù)分布 ,i i i iz x y y x z? ? ? ?iz?||( ) ,2xp x e x?? ?? ? ? ? ? ?經(jīng)推導(dǎo)計(jì)算 (見參考文獻(xiàn) 2)可得信號(hào)功率與噪聲功率之比即信噪比為 ?221110 l g 163 LL L L e dBn n n ?? ? ?? ???? ? ? ? ?? ? ? ? ???? ? ? ? ?? ? ? ? ??? ? 壓擴(kuò)技術(shù) 綜合考慮大、小功率的情況，將它們區(qū)別對(duì)待，即非均勻量化，小功率時(shí)量化級(jí)差?。淮蠊β蕰r(shí)量化級(jí)差大。這樣就減小了小功率時(shí)的量化噪聲，增大了大功率時(shí)的量化噪聲。使得在較低的比特?cái)?shù)編碼時(shí)，既保證了小功率時(shí)的信噪比，又利用了大功率時(shí)信噪比的富余量。 ? 矢量量化 在前面的最佳編碼中可看到將離散信源的多個(gè)符號(hào)聯(lián)合編碼可提高效率。連續(xù)信源也是如此，當(dāng)把多個(gè)信源符號(hào)聯(lián)合起來形成多維矢量，再對(duì)矢量進(jìn)行標(biāo)量量化時(shí)，自由度將更大，同樣的失真下，量化級(jí)數(shù)可進(jìn)一步減少，碼率可進(jìn)一步壓縮。 預(yù)測(cè)編碼 ? 預(yù)測(cè) 就是從已收到的符號(hào)來提取關(guān)于未收到的符號(hào)的信息，從而預(yù)測(cè)其最可能的值作為預(yù)測(cè)值；并對(duì)它與實(shí)際值之差進(jìn)行編碼，達(dá)到進(jìn)一步壓縮碼率的目的。 ? 估計(jì)理論 ? 預(yù)測(cè)指令 ? 利用預(yù)測(cè)值來編碼的方法 ? 最佳估計(jì) :若估值與原物理量之間的均方誤差最小 ? 無偏估計(jì) :估值的數(shù)學(xué)期望等于原來的物理量 1 1 2139。 ( , , , )rr r s ssx f x x x a x???? ??一類是用實(shí)際值與預(yù)測(cè)值之差進(jìn)行編碼，也叫差值編碼。 ?一類方法是根據(jù)差值的大小，決定是否需傳送該信源符號(hào)。 變換編碼 ? 變換編碼 通過變換來解除或減弱信源符號(hào)間的相關(guān)性，再將變換后的樣值進(jìn)行標(biāo)量量化，或采用對(duì)于獨(dú)立信源符號(hào)的編碼方法，以達(dá)到壓縮碼率的目的。 ? 傅氏變換 設(shè)有函數(shù) f(t)， 0＜ t＜ T，則 正交性 歸一性 把 f(t)展開為 20()Tf t dt ???0( , ) ( , ) 0 ,Ti t j t d t i j?? ???20( , ) 1Ti t d t? ??0( ) ( , )iif t a i t???? ? 變換編碼 ? KL變換 按均方誤差最小準(zhǔn)則來推算，可使變換后的隨機(jī)變量之間互不相關(guān)。缺點(diǎn)是計(jì)算復(fù)雜，除了需測(cè)定相關(guān)函數(shù)和解積分方程外，變換時(shí)的運(yùn)算也十分復(fù)雜 . ? 離散變換 先對(duì)信源輸出 x(t)取樣然后取 N個(gè)樣值形成一個(gè) N維矢量，對(duì)這矢量用矩陣進(jìn)行變換，成為另一域內(nèi)的 N維矢量，以解除或減弱矢量內(nèi)各分量的相關(guān)性。再對(duì)后一個(gè)分量進(jìn)行標(biāo)量量化或?qū)κ噶窟M(jìn)行矢量量化來完成信源編碼。 變換編碼 ? 變換和反變換寫成矩陣形式分別為 20021112 4 2 ( 1 )221 2 ( 1 ) ( 1 )111 1 1 11111NNNN NNNyxNyx? ? ?? ? ??? ????? ?????? ? ? ???? ? ? ?? ? ? ?? ? ? ????? ? ? ?? ? ? ?? ? ? ?? ? ? ???200212 4 2 ( 1 )221 2 ( 1 ) ( 1 )111 1 1 11111NNNN NNNxyNxy? ? ?? ? ??? ?? ? ? ?? ? ? ?? ? ? ? ??????? ? ? ???? ? ? ?? ? ? ?? ? ? ????? ? ? ?? ? ? ?? ? ? ?? ? ? ???第 5章 〓 信道編碼 ? ? 信道模型 ? 信道容量 ? ? ? ? ? 差錯(cuò)控制的途徑 ? ? 第 5章 〓 信道編碼 ? 線性分組碼 ? 線性分組碼基本概念 ? 生成矩陣和校驗(yàn)矩陣 ? 伴隨式與譯碼 ? 循環(huán)碼 ? 卷積碼 ? ? 卷積碼的最大似然譯碼 —— ? ? 網(wǎng)格編碼調(diào)制與級(jí)聯(lián)碼簡(jiǎn)介 ? ? ? 信道模型 信道模型 ? 1. 二進(jìn)制離散信道 二進(jìn)制對(duì)稱信道 ,簡(jiǎn)稱為 BSC 信道 :對(duì)稱的二進(jìn)制輸入、二 進(jìn)制輸出信道 . ( 0 / 1 ) ( 1 / 0 )( 1 / 1 ) ( 0 / 0 ) 1p Y X p Y X pp Y X p Y X p? ? ? ? ? ? ??? ? ? ? ? ? ? ?條件概率對(duì)稱 信道模型 ? 2. 離散無記憶信道 轉(zhuǎn)移概率矩陣 離散無記憶信道 (DMC) 0 0 1 0 1 00 1 1 1 1 10 1 1 1 1 1( / ) ( / ) ( / )( / ) ( / ) ( / )( / ) ( / ) ( / )q q Q qp y x p y x p y xp y x p y x p y xPp y x p y x p y x??? ? ? ????????0 0 0 1 0 , 11 0 1 1 1 , 11 , 0 1 , 1 1 , 1q q q Qp p pp p pp p p??? ? ? ???????????有擾離散信道 :