【正文】 ()(2121 iNiijNjjij aaabbbPP ?????)()()( 2211 iNjNijij abpabpabP ???? ?)(1???Nkikjk abp第 5章 信道編碼原理 【 例 5－ 3】 已知某二進(jìn)制對(duì)稱離散無(wú)記憶信道。設(shè)信道的輸入符號(hào)集為 X=｛ 0,1｝，輸出符號(hào)集為 Y=｛ 0,1｝，信道的矩陣為 ppppP1010? 其中： ，求此離散無(wú)記憶信道的二次擴(kuò)展信道的信道矩陣。 1。1,0 ???? pppp第 5章 信道編碼原理 解： 二次擴(kuò)展信道的信道矩陣為 22422322222143211110010011100100ppppppppppppppppppppppppP?????????????????注： 離散無(wú)記憶信道的二次擴(kuò)展信道同樣也是對(duì)稱信道。 第 5章 信道編碼原理 信道編碼的基本概念 信息傳輸?shù)挠行耘c可靠性是辨證統(tǒng)一的，信道編碼的主要目的就是改善傳輸系統(tǒng)的質(zhì)量，從而達(dá)到傳輸既有效、又可靠的目的。 基本概念 1） 差錯(cuò)類型 1176。 獨(dú)立隨機(jī)差錯(cuò) : 在無(wú)記憶信道中出現(xiàn)，數(shù)據(jù)流中發(fā)生的錯(cuò)誤彼此無(wú)關(guān) 。 2176。 突發(fā)錯(cuò)誤 : 在有記憶信道中，數(shù)據(jù)流中一個(gè)錯(cuò)誤的發(fā)生 , 帶來(lái)一連 串錯(cuò)誤的發(fā)生。 3176。 混合差錯(cuò) 第 5章 信道編碼原理 2）信道編碼分類： 糾獨(dú)立隨機(jī)差錯(cuò)碼、糾突發(fā)差錯(cuò)碼和糾混合差錯(cuò)碼。 3）信道編碼的基本思路： 根據(jù)一定的規(guī)律在待發(fā)送的信息碼中加入一些多余的碼元，以保證傳輸過(guò)程的可靠性。其任務(wù)就是構(gòu)造出以最小多余度代價(jià)換取最大抗干擾性能的“ 好碼 ” 。 第 5章 信道編碼原理 4）好的錯(cuò)誤控制編碼方案的目標(biāo)： (1)用可以糾正的錯(cuò)誤個(gè)數(shù)來(lái)衡量糾錯(cuò)能力 。 (2)快速有效地對(duì)消息進(jìn)行編碼 。 (3)快速有效地對(duì)接收到的消息進(jìn)行譯碼 。 (4)單位時(shí)間內(nèi)所能傳輸?shù)男畔⒈忍財(cái)?shù)盡量大 (即有少的冗余度 )。 上述 第 (1)個(gè)目標(biāo)是最基本的 。為了增加一個(gè)編碼方案的糾錯(cuò)能力，必須引入更多的冗余度。但增加的冗余度會(huì)造成實(shí)際信息傳輸速率的降低。因此第 (1)個(gè)和第 (4)個(gè)目標(biāo)不完全相容。另外，為了能糾正更多的錯(cuò)誤，編碼策略會(huì)變得更復(fù)雜，于是第 (2)個(gè)和第 (3)個(gè)目標(biāo)也很難達(dá)到。 第 5章 信道編碼原理 1. 譯碼規(guī)則（譯碼函數(shù)） ), ... ,2,1。, ... ,2,1()( sjriabF ij ??? 使每一種可能的輸出符號(hào) bj(j=1,2,… ,s)與一個(gè)惟一的輸入符號(hào) ai(i=1,2,… ,r)一一對(duì)應(yīng)。函數(shù) F(bj)=ai即為 譯碼函數(shù)或譯碼規(guī)則 。 平均錯(cuò)誤概率 依據(jù)一定的判決準(zhǔn)則設(shè)計(jì)一個(gè)單值函數(shù) 第 5章 信道編碼原理 注： （ 1） 對(duì)輸入符號(hào)集為 X=｛ a1,a2,…, ar｝，輸出符號(hào)集為 Y=｛ b1,b2,…, bs｝的信道來(lái)說(shuō)，一共可構(gòu)成rs種不同的譯碼規(guī)則。 例： 二進(jìn)制對(duì)稱信道，其輸入符號(hào)集為 X=｛ 0,1｝ ,輸出符號(hào) 集為 Y=｛ 0,1｝，則可構(gòu)成 rs=22=4種譯碼規(guī)則。 譯碼規(guī)則 (1)： F(0)=0,F(1)=0 譯碼規(guī)則 (2)： F(0)=0,F(1)=1 譯碼規(guī)則 (3)： F(0)=1,F(1)=0 譯碼規(guī)則 (4)： F(0)=1， F(1)=1 第 5章 信道編碼原理 例： 若已知二進(jìn)制對(duì)稱信道傳遞矩陣為 414314341010?P 其信源符號(hào) “ 0”和 “ 1”的正確傳遞概率均為 p=1/4； “ 0”和 “ 1”的錯(cuò)誤傳遞概率均為 p＝ 3／ 4。 注： （ 2） 不同的譯碼規(guī)則會(huì)引起不同的可靠程度。 第 5章 信道編碼原理 如采取譯碼規(guī)則 (2)， F(0)=0,F(1)=1，則信道輸出端出現(xiàn) “ 0”和 “ 1”的正確譯碼概率分別是： ? ? 4100 ????? pYXp? ? 4111 ????? pYXp 這意味著從統(tǒng)計(jì)的觀點(diǎn)看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個(gè)符號(hào) “ 0”(或 “ 1”)中，只能有一個(gè)能得到正確譯碼。 第 5章 信道編碼原理 如采用譯碼規(guī)則 (3)。 F(0)=1,F(1)=0，則信道輸出端出現(xiàn) “ 0”和 “ 1”的正確譯碼概率分別是： ? ? 4301 ???? pYXp? ? 4310 ???? pYXp 這意味著從統(tǒng)計(jì)的觀點(diǎn)看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個(gè)符號(hào) “ 0”(或 “ 1”)中有三個(gè)能得到正確譯碼。 第 5章 信道編碼原理 當(dāng)信道的輸入符號(hào)是 ai，在信道輸出端接收到某符號(hào)bj(j=1,2,…, s)后，正確譯碼的概率 prj為 是在信道輸出端出現(xiàn)bj(j=1,2,…, s)的前提下，推測(cè)信道輸入符號(hào) ai的后驗(yàn)概率，即 ? ?jijrj bYabFXpp ???? )(2. 正確譯碼概率 Prj 第 5章 信道編碼原理 當(dāng)信道的輸入符號(hào)是 ai，在信道輸出端接收到某符號(hào)bj(j=1,2,…, s)后，錯(cuò)誤譯碼的概率 pej為信道輸出端出現(xiàn)bj(j=1,2,…, s)的前提下，推測(cè)信道輸入的符號(hào)是除了 ai以外的其他任何可能的輸入符號(hào)的后驗(yàn)概率，即 ? ?jje bYeXPp ???式中： e表示除了 F(bj)=ai以外的所有可能的輸入符號(hào)的集合。 3. 錯(cuò)誤譯碼概率 Pej ? ?jijrjej babFppp ????? )(11注： 第 5章 信道編碼原理 ? ?? ?jijsjjejsjje babFpbppbpP ???? ????)(1)()(11? ?jijsjjsjj babFPbpbp ??? ????)()()(11? ?jijsjj babFPbp ??? ??)()(114. 平均錯(cuò)誤譯碼概率 Pe 第 5章 信道編碼原理 注： （ 1） 平均錯(cuò)誤譯碼的概率 Pe：表示在信道輸出端每收到一個(gè)符號(hào)其產(chǎn)生錯(cuò)誤譯碼的可能性的大小 。 （ 2） 平均錯(cuò)誤譯碼的概率 Pe可作為信道傳輸可靠性的衡量標(biāo)準(zhǔn)； （ 3） 平均錯(cuò)誤譯碼的概率 Pe取決于信道輸出隨機(jī)變量的概率空間 P(Y)、信道的后驗(yàn)概率分布 P(X|Y)以及譯碼規(guī)則 ； （ 4） 選擇合適的譯碼規(guī)則可降低平均錯(cuò)誤譯碼的概率 。 第 5章 信道編碼原理 描述了平均錯(cuò)誤譯碼概率 Pe與信道疑義度 H(X|Y)的內(nèi)在聯(lián)系，即 H(X︱ Y) ≤ H(Pe)十 Pe1oga(r1) 費(fèi)諾不等式 第 5章 信道編碼原理 （ 2） 費(fèi)諾不等式表明，在收到信道輸出隨機(jī)變量后，對(duì)輸 入隨機(jī)變量仍然存在的平均不確定性 H(X|Y)由兩部分 組成： 第一部分 是收到輸出隨機(jī)變量后，按選擇的譯 碼規(guī)則譯碼時(shí)，是否產(chǎn)生錯(cuò)誤譯碼的平均不確定性 H(Pe