【正文】 ()()()(2122221211211121NNNNNNrsrrrssspppppppppP?????????????????????????????????? 式中： NNij sjrip , . . . ,2,1。 可見(jiàn)，這些轉(zhuǎn)移概率滿足 ???)(211jj abp 1)(212 ???jj abp第 5章 信道編碼原理 圖 5－ 2 二元對(duì)稱信道轉(zhuǎn)移圖 第 5章 信道編碼原理 【 例 5－ 2】 二元?jiǎng)h除信道簡(jiǎn)記為BEC(BinaryErasureChannel)， 它的輸入 X取值于 {0， 1}，輸出符號(hào) Y取值于 {0， 2， 1}，因 r=2， s=3，則信道轉(zhuǎn)移矩陣為 ?????????qqppP 0110100 2 1 信道轉(zhuǎn)移圖如圖所示 第 5章 信道編碼原理 設(shè)基本離散信道的輸入符號(hào)集為 X=｛ a1,a2,…, ar｝，輸出符號(hào)集為 Y=｛ b1,b2,…, bs｝，傳遞概率為 p(Y|X)=p(bj|ai)；又設(shè)多符號(hào)離散平穩(wěn)信源 X=X1X2… XN其每一時(shí)刻的隨機(jī)變量 Xk(k=1,2,…, N)均取自信道的輸入符號(hào)集 X=｛ a1,a2,…, ar｝ ,可知信源 X=X１ X2… Xn共有 rN種不同的消息，某一具體的消息可表示為 iNiii aaa . . .21??（ 5－ 3） 式中： ai1,ai2,…, aiN∈ X=｛ a1,a2,…, ar｝； i1， i2， … ， iN=1， 2， … ， r(i=1,2,…, rN)。, . . . ,2,1,1)(0 sjriabp ij ????1)(1???sjij abp(i=1,2,… ,r)。j=1,2,…, s) 為 信道的傳遞概率 注： 符號(hào)集 X和 Y之間可完全相同、部分相同或完全不同。 （ 2）按輸入 /輸出之間關(guān)系的記憶性分 ,可分為 無(wú)記憶信道 和有記憶信道 （ 3） 按輸入 /輸出信號(hào)之間的關(guān)系是否是確定分，可分為 有噪聲信道 和 無(wú)噪聲信道 。第 5章 信道編碼原理 第 5章 信道編碼原理 信道及其數(shù)學(xué)模型 信道編碼的基本概念 譯碼準(zhǔn)則 編碼原則 抗干擾信道編碼定理及逆定理 第 5章 信道編碼原理 信道及其數(shù)學(xué)模型 ? 有噪聲信道編碼的主要目的是提高傳輸可靠性，增加抗干擾能力，因此也稱為 糾錯(cuò)編碼 或 抗干擾 編碼 。 第 5章 信道編碼原理 基本離散信道允許輸入 r(任意正整數(shù) )種不同的離散符號(hào)ai(i＝ 1， 2， … ， r)，其相應(yīng)的輸出為 s(任意正整數(shù) )種不同的離散符號(hào) bj(j＝ 1， 2， … ， s)。 符號(hào)種數(shù) r和 s可相等，也可不等。 式中： 第 5章 信道編碼原理 注： （ 1） p(bj|ai)=0時(shí)，表示在輸入符號(hào)為 ai(i＝ 1， 2， … ， r) 的前提下，信道不可能輸出 bj(j＝ 1， 2， … ， s)； （ 2） p(bj|ai)＝ 1時(shí)，表示在輸入符號(hào)為 ai(i＝ 1， 2， … ， r) 的前提下，信道輸出 bj(j＝ 1， 2， … ， s)是一個(gè)確定事 件。 2. 離散無(wú)記憶擴(kuò)展信道 基本離散信道的 N次擴(kuò)展信道： 第 5章 信道編碼原理 圖 5－ 4 N次擴(kuò)展信道 第 5章 信道編碼原理 輸出的隨機(jī)變量序列 Y=Y1Y2… YN共有 sN種不同的消息，其中某一具體的消息可表示為 jNjjj bbb . . .21??式中： ? ?sjNjj bbbYbbb , . . . , . . . , 2121 ??j1， j2， … ， jN=1， 2， … ， s (j=1,2,…, sN)。, . . . ,2,1,1)(0 ???? ??1)(1???Nsjijp ??(i=1,2,… ,rN)。1,0 ???? pppp第 5章 信道編碼原理 解： 二次擴(kuò)展信道的信道矩陣為 22422322222143211110010011100100ppppppppppppppppppppppppP?????????????????注： 離散無(wú)記憶信道的二次擴(kuò)展信道同樣也是對(duì)稱信道。 2176。 3）信道編碼的基本思路： 根據(jù)一定的規(guī)律在待發(fā)送的信息碼中加入一些多余的碼元，以保證傳輸過(guò)程的可靠性。 (3)快速有效地對(duì)接收到的消息進(jìn)行譯碼 。但增加的冗余度會(huì)造成實(shí)際信息傳輸速率的降低。, ... ,2,1()( sjriabF ij ??? 使每一種可能的輸出符號(hào) bj(j=1,2,… ,s)與一個(gè)惟一的輸入符號(hào) ai(i=1,2,… ,r)一一對(duì)應(yīng)。 譯碼規(guī)則 (1)： F(0)=0,F(1)=0 譯碼規(guī)則 (2)： F(0)=0,F(1)=1 譯碼規(guī)則 (3)： F(0)=1,F(1)=0 譯碼規(guī)則 (4)： F(0)=1， F(1)=1 第 5章 信道編碼原理 例： 若已知二進(jìn)制對(duì)稱信道傳遞矩陣為 414314341010?P 其信源符號(hào) “ 0”和 “ 1”的正確傳遞概率均為 p=1/4； “ 0”和 “ 1”的錯(cuò)誤傳遞概率均為 p＝ 3／ 4。 F(0)=1,F(1)=0，則信道輸出端出現(xiàn) “ 0”和 “ 1”的正確譯碼概率分別是： ? ? 4301 ???? pYXp? ? 4310 ???? pYXp 這意味著從統(tǒng)計(jì)的觀點(diǎn)看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個(gè)符號(hào) “ 0”(或 “ 1”)中有三個(gè)能得到正確譯碼。 第 5章 信道編碼原理 描述了平均錯(cuò)誤譯碼概率 Pe與信道疑義度 H(X|Y)的內(nèi)在聯(lián)系，即 H(X︱ Y) ≤ H(Pe)十 Pe1oga(r1) 費(fèi)諾不等式 第 5章 信道編碼原理 （ 2） 費(fèi)諾不等式表明，在收到信道輸出隨機(jī)變量后，對(duì)輸 入隨機(jī)變量仍然存在的平均不確定性 H(X|Y)由兩部分 組成： 第一部分 是收到輸出隨機(jī)變量后，按選擇的譯 碼規(guī)則譯碼時(shí)，是否產(chǎn)生錯(cuò)誤譯碼的平均不確定性 H(Pe)； 第二部分 是當(dāng)平均錯(cuò)誤譯碼概率為 Pe時(shí)，到底 是哪一個(gè)信源符號(hào)被錯(cuò)誤譯碼的最大平均不確定性 Pe1oga(r1)。 第 5章 信道編碼原理 推導(dǎo)： 平均錯(cuò)誤譯碼概率 Pe為： ? ?jijsjj babFPbp ???)()(1（ 5－ 20） 達(dá)到最大。j=1,2,… ,s)中的最大者，則可把接收符號(hào) bj(j=1,2,… ,s)翻譯成 a*。 第 5章 信道編碼原理 推導(dǎo)： 若信道輸入符號(hào) (信源輸出符號(hào) )ai(i=1,2,…, r)先驗(yàn)等概，即滿足 rapapapap r1)()()()(21 ????