【正文】 。 第 5章 信道編碼原理 注： （ 1） 逆定理指出：要使信道的信息傳輸率超過信息容量 C，而又要求無錯(cuò)誤地傳輸消息，這是不可能的。 第 5章 信道編碼原理 定理 5－ 2 抗干擾信道編碼定理的逆定理 設(shè)某信道有 r個(gè)輸入符號(hào)， s個(gè)輸出符號(hào)，信道容量為 C。 （ 2） 這個(gè)定理是一個(gè)存在定理，指出錯(cuò)誤率趨于 0的編碼方法是存在的。當(dāng)信道的信息傳輸率 R＜ C時(shí)，只要碼長 N足夠長，總可以在輸入集合中 (含有 rN個(gè)長度為 N的碼符號(hào)序列 )找到 M(M≤2N（ Cε） ， ε為任意小的正數(shù) )個(gè)碼字，分別代表 M個(gè)等可能性的消息，組成一個(gè)信道編碼，選擇相應(yīng)的譯碼規(guī)則，使信道輸出端的譯碼過程的最小平均錯(cuò)誤譯碼概率 Pemin達(dá)到任意小。 若令 dmin(αk,αh)k≠h表示M個(gè)碼字中任何兩個(gè)不同的碼字 (αk, αh)之間的最小漢明距離，即 ? ?),(m i n),(m i n hkhkhkhk dd ???? ?? ?（ 5－ 40） 編碼原則 dmin(αk,αh)k≠h要盡量的大，即挑選出來的 M個(gè)碼字之間越不相似越好。 （ 3）信道編碼的任務(wù) ：保持碼率 R在一定水平 (保持 M和 N不變 )的前提下，采用正確的方法選擇 M個(gè)碼字，使最小平均錯(cuò)誤譯碼概率 Pe min盡量小。 第 5章 信道編碼原理 注： （ 2） 在保持一定的碼率 R的前提下 (即保持先驗(yàn)等概的消息數(shù)M和碼字長度 N不變的前提下 )，最小平均錯(cuò)誤譯碼概率 Pe min取決于漢明距離 d(α*, βj)(α*∈ {α1,α2,…, αM}。（ 輸入消息等概的條件下 ） 第 5章 信道編碼原理 ? ?? ?? ?? ?? ???? ????NjijiNrj idNdrj iijeppMpMP1),(),(1m i n1)(1??????(5－ 38) 3. 最小漢明距離譯碼準(zhǔn)則下的最小平均錯(cuò)誤譯碼概率 ? ??????????????????NjjNrjdNdrjjeppMpMP1),(),(1*m in11)(11??????(5－ 39) 亦可表示為： 第 5章 信道編碼原理 注： （ 1） 采用最大似然準(zhǔn)則選擇譯碼規(guī)則所得的 最小平均錯(cuò)誤譯 碼概率 Pe min取決于： ① 先驗(yàn)等概的消息數(shù) M； ② 隨機(jī)編碼的碼字長度 N； ③ 離散無記憶信道 N次擴(kuò)展信道的輸出序列 βj(j=1,2,…,2 N)與譯碼函數(shù)規(guī)定的翻譯碼字 α*之間的漢明距離 d(α*,βj)。, . . . ,2,1 ??第 5章 信道編碼原理 即 選擇譯碼規(guī)則為 ? ?MjF ????? , . . . ,)( 21??? )2,.. .,2,1( Nj ?(5－ 37) ),(),( jij dd ???? ?? NjMi 2, . . . ,2,1。對(duì) βj(j=1,2,…,2 N)來說，若有 ? ? ? ?),(),(),(),(* )()( jjijj dNdijdNadj pppppp??????? ???? ?? ??? ??即 ? ? ? ?),(),(),(),( jjijj dNddNad pppp ??????? ?? ???(i=1,2,… ,M。所以可得： ???Nkikjkij abpp1)()( ??? ??? ??? ???? ??? ?? 個(gè)個(gè) ),(),(. . .. . .jiji dNdpppppp???? ?????????? ?),(),( jiji dNd pp ???? ??NjMi 2, . . . ,2,1。2 N個(gè)傳遞概率，它們是 : 第 5章 信道編碼原理 若某位置 k ( k ＝ 1 ， 2 ，? N) 上：ika與jkb相同，則)( ikjk abp表示正確傳遞概率p, 如ika與jkb不同，則)( ikjk abp表示錯(cuò)誤傳遞概率 p 。 在隨機(jī)編碼中，只要保持 M和 N固定不變，就能使由不同選擇所構(gòu)成的不同信道編碼具有相同的有效性。當(dāng) M=2， N分別為 11時(shí) ,碼率 R分別為 1/ 1/ 1/11。這時(shí)，相應(yīng)的三次擴(kuò)展離散無記憶信道的信道矩陣就變?yōu)? 223222322322222231001000111101110011100010001000pppppppppppppppppppppppppppp????P= 第 5章 信道編碼原理 根據(jù)最大似然準(zhǔn)則選擇的譯碼規(guī)則為： 0 0 0)1 1 0()1 0 0()0 1 0()0 0 0( 1 ????? ?FFFF0 0 1)1 1 1()1 0 1()0 1 1()0 0 1( 2 ????? ?FFFF上述譯碼規(guī)則的最小平均錯(cuò)誤譯碼概率為 ? ?? ????81m i n )(1j iije prP ??? ?3232222221 pppppppppppppp ???????? 223 ???? ppppp第 5章 信道編碼原理 1. 設(shè)信道的輸入消息數(shù)為 M，信道隨機(jī)編碼的碼字長度為 N，則當(dāng)信道的 M個(gè)輸入消息先驗(yàn)等概時(shí)，信道編碼的每一碼號(hào)所攜帶的平均信息量，即 碼率 NMR lb? (比特／碼符號(hào) ) 最小漢明距離譯碼準(zhǔn)則 第 5章 信道編碼原理 （ 2） 簡單重復(fù)編碼以減少平均錯(cuò)誤譯碼概率 Pemin的方法是以降低信息傳輸率 R作為代價(jià)的，即“犧牲有效性，換取可靠性” 。這時(shí)，若采用最大似然準(zhǔn)則選擇譯碼規(guī)則，并考慮到 p＝ ， p＝，即有 p≥p，則可得 譯碼規(guī)則 0 0 0)1 0 0()0 1 0()0 0 1()0 0 0( ???? FFFF1 1 1)1 1 1()1 0 1()1 1 0()0 1 1( ???? FFFF第 5章 信道編碼原理 由式（ 5－ 30）可得 最小平均錯(cuò)誤譯碼概率 ，即 ? ?? ???81m i n )(1j iije prP ??? ?3222222321 pppppppppppppp ????????423 1033 ????? ppp 所以經(jīng)過簡單重復(fù)信道編碼以后，平均錯(cuò)誤譯碼概率Pe的最小值 Pe min降低兩個(gè)數(shù)量級(jí)，信息傳輸?shù)目煽啃杂辛嗣黠@的提高。 例如，在信道輸入端對(duì)輸入符號(hào)“ 0”和“ 1”進(jìn)行重復(fù)編碼，離散無記憶信道的輸入符號(hào)就不再是單個(gè)符號(hào)“ 0”和“ 1”，而是變成由三個(gè)符號(hào)組成的符號(hào)序列 α1=000和 α8=111，它們是二元信源的 N＝ 3次擴(kuò)展信源中的兩個(gè)“符號(hào)”。顯然，不符合信息傳輸可靠性要求。 第 5章 信道編碼原理 【 例 5－ 5】 已知二元對(duì)稱離散無記憶信道的信道矩陣為 10?P 設(shè) p=， p=， 輸入符號(hào) “ 0”和 “ 1”先驗(yàn)等慨，分析其直接傳輸及編碼傳輸?shù)男Ч?。顯然 ,這不符合人們對(duì)信