【正文】 ??? ??（ 5－ 26） )()()()()()()()(jijijijjj bpabpapbapbpabpapbap ??????(5－ 27) 的條件時(shí)，因?yàn)? 最大似然譯碼準(zhǔn)則 1. 最大似然譯碼準(zhǔn)則 第 5章 信道編碼原理 可有 )()( ijj abpabp ??(i=1,2,… ,r； j=1,2,… ,s) (5－ 28) 則選擇譯碼規(guī)則 ?? abF j )( sj ,...,2,1?(5－ 29) 可把 bj(j=1,2,… ,s)翻譯成信源符號(hào) a*∈ ｛ a1,a2,… ,ar｝，即 信道輸入符號(hào) (信源輸出符號(hào) )ai(i=1,2,…, r)先驗(yàn)等概時(shí)， 選擇上述譯碼規(guī)則的準(zhǔn)則稱之為 最大似然譯碼準(zhǔn)則 。 第 5章 信道編碼原理 【 例 5－ 4】 設(shè)某信道的信道矩陣為 321321aaabbbP ?(1) 若信道輸入符號(hào)321, aaa 的概率為 p （ a1 ） =53 ，51)()(32?? apap , 試選擇譯碼規(guī)則，使其平均錯(cuò)誤譯碼概率eP 達(dá)到最小值m i neP , 并計(jì)算m i neP 值 ? (2) 若信道輸入符號(hào)321, aaa 先 驗(yàn) 等 概 ， 即 有31)()()(321??? apapap , 試 選擇譯碼規(guī)則，使其平均錯(cuò)誤譯碼概率eP 達(dá)到最小值m i neP , 并計(jì)算m i neP 值 ? 第 5章 信道編碼原理 解： (1) 因信道輸入符號(hào)非先驗(yàn)等概，故只能采用最大后驗(yàn)概率準(zhǔn)則選擇譯碼規(guī)則。顯然 ,這不符合人們對(duì)信息傳輸可靠性的要求 ,應(yīng)設(shè)法使平均錯(cuò)誤譯碼概率最小值 Pemin繼續(xù)下降。顯然，不符合信息傳輸可靠性要求。這時(shí)，若采用最大似然準(zhǔn)則選擇譯碼規(guī)則，并考慮到 p＝ ， p＝，即有 p≥p，則可得 譯碼規(guī)則 0 0 0)1 0 0()0 1 0()0 0 1()0 0 0( ???? FFFF1 1 1)1 1 1()1 0 1()1 1 0()0 1 1( ???? FFFF第 5章 信道編碼原理 由式（ 5－ 30）可得 最小平均錯(cuò)誤譯碼概率 ，即 ? ?? ???81m i n )(1j iije prP ??? ?3222222321 pppppppppppppp ????????423 1033 ????? ppp 所以經(jīng)過簡單重復(fù)信道編碼以后，平均錯(cuò)誤譯碼概率Pe的最小值 Pe min降低兩個(gè)數(shù)量級(jí)，信息傳輸?shù)目煽啃杂辛嗣黠@的提高。當(dāng) M=2， N分別為 11時(shí) ,碼率 R分別為 1/ 1/ 1/11。2 N個(gè)傳遞概率，它們是 : 第 5章 信道編碼原理 若某位置 k ( k ＝ 1 ， 2 ，? N) 上：ika與jkb相同，則)( ikjk abp表示正確傳遞概率p, 如ika與jkb不同，則)( ikjk abp表示錯(cuò)誤傳遞概率 p 。對(duì) βj(j=1,2,…,2 N)來說，若有 ? ? ? ?),(),(),(),(* )()( jjijj dNdijdNadj pppppp??????? ???? ?? ??? ??即 ? ? ? ?),(),(),(),( jjijj dNddNad pppp ??????? ?? ???(i=1,2,… ,M。（ 輸入消息等概的條件下 ） 第 5章 信道編碼原理 ? ?? ?? ?? ?? ???? ????NjijiNrj idNdrj iijeppMpMP1),(),(1m i n1)(1??????(5－ 38) 3. 最小漢明距離譯碼準(zhǔn)則下的最小平均錯(cuò)誤譯碼概率 ? ??????????????????NjjNrjdNdrjjeppMpMP1),(),(1*m in11)(11??????(5－ 39) 亦可表示為： 第 5章 信道編碼原理 注： （ 1） 采用最大似然準(zhǔn)則選擇譯碼規(guī)則所得的 最小平均錯(cuò)誤譯 碼概率 Pe min取決于： ① 先驗(yàn)等概的消息數(shù) M； ② 隨機(jī)編碼的碼字長度 N； ③ 離散無記憶信道 N次擴(kuò)展信道的輸出序列 βj(j=1,2,…,2 N)與譯碼函數(shù)規(guī)定的翻譯碼字 α*之間的漢明距離 d(α*,βj)。 （ 3）信道編碼的任務(wù) ：保持碼率 R在一定水平 (保持 M和 N不變 )的前提下，采用正確的方法選擇 M個(gè)碼字，使最小平均錯(cuò)誤譯碼概率 Pe min盡量小。當(dāng)信道的信息傳輸率 R＜ C時(shí)，只要碼長 N足夠長，總可以在輸入集合中 (含有 rN個(gè)長度為 N的碼符號(hào)序列 )找到 M(M≤2N（ Cε） ， ε為任意小的正數(shù) )個(gè)碼字，分別代表 M個(gè)等可能性的消息，組成一個(gè)信道編碼，選擇相應(yīng)的譯碼規(guī)則，使信道輸出端的譯碼過程的最小平均錯(cuò)誤譯碼概率 Pemin達(dá)到任意小。 第 5章 信道編碼原理 定理 5－ 2 抗干擾信道編碼定理的逆定理 設(shè)某信道有 r個(gè)輸入符號(hào)， s個(gè)輸出符號(hào)，信道容量為 C。 。 第 5章 信道編碼原理 注： （ 1） 逆定理指出：要使信道的信息傳輸率超過信息容量 C，而又要求無錯(cuò)誤地傳輸消息，這是不可能的。 （ 2） 這個(gè)定理是一個(gè)存在定理，指出錯(cuò)誤率趨于 0的編碼方法是存在的。 若令 dmin(αk,αh)k≠h表示M個(gè)碼字中任何兩個(gè)不同的碼字 (αk, αh)之間的最小漢明距離，即 ? ?),(m i n),(m i n hkhkhkhk dd ???? ?? ?（ 5－ 40） 編碼原則 dmin(αk,αh)k≠h要盡量的大，即挑選出來的 M個(gè)碼字之間越不相似越好。 第 5章 信道編碼原理 注： （ 2） 在保持一定的碼率 R的前提下 (即保持先驗(yàn)等概的消息數(shù)M和碼字長度 N不變的前提下 )，最小平均錯(cuò)誤譯碼概率 Pe min取決于漢明距離 d(α*, βj)(α*∈ {α1,α2,…, αM}。, . . . ,2,1 ??第 5章 信道編碼原理 即 選擇譯碼規(guī)則為 ? ?MjF ????? , . . . ,)( 21??? )2,.. .,2,1( Nj ?(5－ 37) ),(),( jij dd ???? ?? NjMi 2, . . . ,2,1。所以可得： ???Nkikjkij abpp1)()( ??? ??? ??? ???? ??? ?? 個(gè)個(gè) ),(),(. . .. . .jiji dNdpppppp???? ?????????? ?),(),( jiji dNd pp ???? ??NjMi 2, . . . ,2,1。 在隨機(jī)編碼中，只要保持 M和 N固定不變，就能使由不同選擇所構(gòu)成的不同信道編碼具有相同的有效性。這時(shí)，相應(yīng)的