【正文】 223 ???? ppppp第 5章 信道編碼原理 1. 設(shè)信道的輸入消息數(shù)為 M，信道隨機(jī)編碼的碼字長(zhǎng)度為 N，則當(dāng)信道的 M個(gè)輸入消息先驗(yàn)等概時(shí)，信道編碼的每一碼號(hào)所攜帶的平均信息量，即 碼率 NMR lb? (比特／碼符號(hào) ) 最小漢明距離譯碼準(zhǔn)則 第 5章 信道編碼原理 （ 2） 簡(jiǎn)單重復(fù)編碼以減少平均錯(cuò)誤譯碼概率 Pemin的方法是以降低信息傳輸率 R作為代價(jià)的，即“犧牲有效性，換取可靠性” 。所以可得： ???Nkikjkij abpp1)()( ??? ??? ??? ???? ??? ?? 個(gè)個(gè) ),(),(. . .. . .jiji dNdpppppp???? ?????????? ?),(),( jiji dNd pp ???? ??NjMi 2, . . . ,2,1。 第 5章 信道編碼原理 注： （ 2） 在保持一定的碼率 R的前提下 (即保持先驗(yàn)等概的消息數(shù)M和碼字長(zhǎng)度 N不變的前提下 )，最小平均錯(cuò)誤譯碼概率 Pe min取決于漢明距離 d(α*, βj)(α*∈ {α1,α2,…, αM}。 （ 2） 這個(gè)定理是一個(gè)存在定理，指出錯(cuò)誤率趨于 0的編碼方法是存在的。 。當(dāng)信道的信息傳輸率 R＜ C時(shí)，只要碼長(zhǎng) N足夠長(zhǎng)，總可以在輸入集合中 (含有 rN個(gè)長(zhǎng)度為 N的碼符號(hào)序列 )找到 M(M≤2N（ Cε） ， ε為任意小的正數(shù) )個(gè)碼字，分別代表 M個(gè)等可能性的消息，組成一個(gè)信道編碼，選擇相應(yīng)的譯碼規(guī)則，使信道輸出端的譯碼過程的最小平均錯(cuò)誤譯碼概率 Pemin達(dá)到任意小。（ 輸入消息等概的條件下 ） 第 5章 信道編碼原理 ? ?? ?? ?? ?? ???? ????NjijiNrj idNdrj iijeppMpMP1),(),(1m i n1)(1??????(5－ 38) 3. 最小漢明距離譯碼準(zhǔn)則下的最小平均錯(cuò)誤譯碼概率 ? ??????????????????NjjNrjdNdrjjeppMpMP1),(),(1*m in11)(11??????(5－ 39) 亦可表示為： 第 5章 信道編碼原理 注： （ 1） 采用最大似然準(zhǔn)則選擇譯碼規(guī)則所得的 最小平均錯(cuò)誤譯 碼概率 Pe min取決于： ① 先驗(yàn)等概的消息數(shù) M； ② 隨機(jī)編碼的碼字長(zhǎng)度 N； ③ 離散無記憶信道 N次擴(kuò)展信道的輸出序列 βj(j=1,2,…,2 N)與譯碼函數(shù)規(guī)定的翻譯碼字 α*之間的漢明距離 d(α*,βj)。2 N個(gè)傳遞概率，它們是 : 第 5章 信道編碼原理 若某位置 k ( k ＝ 1 ， 2 ，? N) 上：ika與jkb相同，則)( ikjk abp表示正確傳遞概率p, 如ika與jkb不同，則)( ikjk abp表示錯(cuò)誤傳遞概率 p 。這時(shí)，若采用最大似然準(zhǔn)則選擇譯碼規(guī)則，并考慮到 p＝ ， p＝，即有 p≥p，則可得 譯碼規(guī)則 0 0 0)1 0 0()0 1 0()0 0 1()0 0 0( ???? FFFF1 1 1)1 1 1()1 0 1()1 1 0()0 1 1( ???? FFFF第 5章 信道編碼原理 由式（ 5－ 30）可得 最小平均錯(cuò)誤譯碼概率 ，即 ? ?? ???81m i n )(1j iije prP ??? ?3222222321 pppppppppppppp ????????423 1033 ????? ppp 所以經(jīng)過簡(jiǎn)單重復(fù)信道編碼以后，平均錯(cuò)誤譯碼概率Pe的最小值 Pe min降低兩個(gè)數(shù)量級(jí)，信息傳輸?shù)目煽啃杂辛嗣黠@的提高。顯然 ,這不符合人們對(duì)信息傳輸可靠性的要求 ,應(yīng)設(shè)法使平均錯(cuò)誤譯碼概率最小值 Pemin繼續(xù)下降。 第 5章 信道編碼原理 推導(dǎo)： 若信道輸入符號(hào) (信源輸出符號(hào) )ai(i=1,2,…, r)先驗(yàn)等概，即滿足 rapapapap r1)()()()(21 ??????? ??（ 5－ 26） )()()()()()()()(jijijijjj bpabpapbapbpabpapbap ??????(5－ 27) 的條件時(shí)，因?yàn)? 最大似然譯碼準(zhǔn)則 1. 最大似然譯碼準(zhǔn)則 第 5章 信道編碼原理 可有 )()( ijj abpabp ??(i=1,2,… ,r； j=1,2,… ,s) (5－ 28) 則選擇譯碼規(guī)則 ?? abF j )( sj ,...,2,1?(5－ 29) 可把 bj(j=1,2,… ,s)翻譯成信源符號(hào) a*∈ ｛ a1,a2,… ,ar｝，即 信道輸入符號(hào) (信源輸出符號(hào) )ai(i=1,2,…, r)先驗(yàn)等概時(shí)， 選擇上述譯碼規(guī)則的準(zhǔn)則稱之為 最大似然譯碼準(zhǔn)則 。 第 5章 信道編碼原理 推導(dǎo)： 平均錯(cuò)誤譯碼概率 Pe為： ? ?jijsjj babFPbp ???)()(1（ 5－ 20） 達(dá)到最大。 F(0)=1,F(1)=0，則信道輸出端出現(xiàn) “ 0”和 “ 1”的正確譯碼概率分別是： ? ? 4301 ???? pYXp? ? 4310 ???? pYXp 這意味著從統(tǒng)計(jì)的觀點(diǎn)看，在這種譯碼規(guī)則下信道輸出端出現(xiàn)的四個(gè)符號(hào) “ 0”(或 “ 1”)中有三個(gè)能得到正確譯碼。, ... ,2,1()( sjriabF ij ??? 使每一種可能的輸出符號(hào) bj(j=1,2,… ,s)與一個(gè)惟一的輸入符號(hào) ai(i=1,2,… ,r)一一對(duì)應(yīng)。 (3)快速有效地對(duì)接收到的消息進(jìn)行譯碼 。 2176。, . . . ,2,1,1)(0 ???? ??1)(1???Nsjijp ??(i=1,2,… ,rN)。 式中： 第 5章 信道編碼原理 注： （ 1） p(bj|ai)=0時(shí)，表示在輸入符號(hào)為 ai(i＝ 1， 2， … ， r) 的前提下，信道不可能輸出 bj(j＝ 1， 2， … ， s)； （ 2） p(bj|ai)＝ 1時(shí)，表示在輸入符號(hào)為 ai(i＝ 1， 2， … ， r) 的前提下，信道輸出 bj(j＝ 1， 2， … ， s)是一個(gè)確定事 件。 第 5章 信道編碼原理 基本離散信道允許輸入 r(任意正整數(shù) )種不同的離散符號(hào)ai(i＝ 1， 2， … ， r)，其相應(yīng)的輸出為 s(任意正整數(shù) )種不同的離散符號(hào) bj(j＝ 1， 2， … ， s)。 （ 2）按輸入 /輸出之間關(guān)系的記憶性分 ,可分為 無記憶信道 和有記憶信道 （ 3） 按輸入 /輸出信號(hào)之間的關(guān)系是否是確定分，可分為 有噪聲信道 和 無噪聲信道 。, . . . ,2,1,1)(0 sjriabp ij ????1)(1???sjij abp(i=1,2,… ,