【正文】 （）兩個(gè)相互統(tǒng)計(jì)獨(dú)立的離散信源和的概率分布分別為 （）從Y中獲取信源的平均交互信息量的最大值，即 （）令式中 （）則就是的條件下，從Y中獲取關(guān)于的條件交互信息量。當(dāng)信道是離散無記憶時(shí)，則滿足 （）因此，任意兩個(gè)發(fā)送端的離散無記憶多元接入信道（）可用 來表示。它的輸入端有兩個(gè)隨機(jī)變量序列，輸出端是一個(gè)隨機(jī)變量序列y，它們都是n維隨機(jī)矢量。 具有兩個(gè)發(fā)送端，一個(gè)接收端的離散多址信道，如圖3所示。 離散的多址接入信道，主要討論是信道容量，即所能傳輸?shù)淖畲笏俾省ＴS多彼此獨(dú)立的地面站同時(shí)將各自的消息發(fā)送到一個(gè)衛(wèi)星轉(zhuǎn)發(fā)器。最早的網(wǎng)絡(luò)信道是圖4—2所示的多址接入信道。接收端僅僅由一個(gè)譯碼器譯出不同信源的信息，送給不同的信宿。在通信工程中，多源或多址接入是用時(shí)分、頻分或碼分等方法將一個(gè)物理信道分成若干個(gè)獨(dú)立的子信道來實(shí)現(xiàn)的，因此，各輸入信號被局限在某種互不相交的子空間內(nèi)，但是用信息論的觀點(diǎn)分析多源接入信道時(shí)就沒有這樣的限制。從信道來看，它是一個(gè)多輸入單輸出信道。 多信源接入信道 多個(gè)不同信源的信息經(jīng)過幾個(gè)編碼器后，送入同一信道傳送。編碼器1獨(dú)立地對信源1的輸出進(jìn)行編碼，而編碼器2參照信源1送來的附加信息或稱邊信息對信源2的輸出進(jìn)行編碼。協(xié)同編碼比對立編碼更有效。編碼器1對信源1輸出進(jìn)行編碼時(shí)可參考由信源2送來的信息。可達(dá)速率對的集合為可達(dá)速率域，該域的邊界為 l 相關(guān)信源協(xié)同編碼相關(guān)信源協(xié)同編碼，即編碼器之間有信息互通關(guān)系。 在網(wǎng)絡(luò)信息論中，定義任意小的錯(cuò)誤概率恢復(fù)出信源的信息速率R的可達(dá)速率， 為可達(dá)速率對，而所有的可達(dá)速率對的集合為可達(dá)速率域，記作R現(xiàn)在SlepianWolf相關(guān)信源壓縮編碼定理的可達(dá)速率域。若分別單獨(dú)編碼，采用，可以保證在接收端一任意小的錯(cuò)誤概率恢復(fù)出，其聯(lián)合概率速率R低限。信源信源編碼器1譯碼器1編碼器2譯碼器2圖2 兩個(gè)相關(guān)信源和信宿的模型l 相關(guān)信源編碼定理一個(gè)聯(lián)合概率分布為的離散無記憶信源，對信源符號分別獨(dú)立編碼發(fā)送，在接收端聯(lián)合譯碼，則可達(dá)速率對為在單路信源編碼定理中，對信源S只要每個(gè)信源的符號比特率，就存在一種編碼方法，保證譯碼錯(cuò)誤概率可任意小。l 兩個(gè)相關(guān)信源編碼的模型下圖是兩個(gè)相關(guān)信源和兩個(gè)信宿的模型。各信源所產(chǎn)生的消息可能是獨(dú)立的，也可能是相關(guān)的。網(wǎng)絡(luò)通信系統(tǒng)的一般問題是：在給定網(wǎng)絡(luò)中，已知信道整體特性的情況下求解網(wǎng)絡(luò)的最大信息流量；在給定網(wǎng)絡(luò)中，已知信源特性的情況下求解信源信息的有效表示方法。而實(shí)際通信系統(tǒng)如電話交換網(wǎng)、廣播系統(tǒng)都是輸入端涉及兩個(gè)或兩個(gè)以上的信源，或者輸出端涉及兩個(gè)或兩個(gè)以上的信宿。而平均正確概率為 （）式（），（），（），（）參見文獻(xiàn)[2]。（1）若用條件概率表示，錯(cuò)誤概率可表示為 （）（2）若先驗(yàn)概率式等概率的，即，則 （）再等先驗(yàn)概率分布情況下，譯碼錯(cuò)誤概率可用信道矩陣中的元素求和來表示。若先驗(yàn)概率為等概率分布，此時(shí)它使錯(cuò)誤概率最小若先驗(yàn)概率不相等或不知道，此時(shí)仍可以采用這個(gè)規(guī)則，但不一定使最小。根據(jù)最大似然譯碼規(guī)則，可以直接從信道矩陣的轉(zhuǎn)移概率中去選定譯碼函數(shù)。定義：若輸入符號的先驗(yàn)概率均相等，選擇譯碼函數(shù) （）使?jié)M足 （）則稱為最大似然譯碼規(guī)則。根據(jù)貝葉斯定律，在已知信道的轉(zhuǎn)移概率和輸入符號的先驗(yàn)概率的條件下，最大聯(lián)合概率譯碼規(guī)則可表示如下。采用這樣一種譯碼函數(shù)，它對于每一個(gè)輸出符號均譯成具有最大后驗(yàn)概率的那個(gè)輸入符號，則信道錯(cuò)誤概率就能最小。條件錯(cuò)誤概率與條件正確概率之間有關(guān)系經(jīng)過譯碼后的平均錯(cuò)誤概率表示經(jīng)過譯碼后平均接收到一個(gè)符號所產(chǎn)生錯(cuò)誤的大小。若發(fā)送端發(fā)送的就是，就認(rèn)為正確譯碼，若發(fā)送的不是，認(rèn)為錯(cuò)誤譯碼。為了選擇譯碼規(guī)則，首先必須計(jì)算錯(cuò)誤概率。因此，就要討論選擇譯碼規(guī)則的準(zhǔn)則。 譯碼規(guī)則定義：設(shè)信道的輸入符號集為，輸出符號集為 若對每一個(gè)輸出符號都有一個(gè)確定的函數(shù)，使對應(yīng)于惟一的一個(gè)輸入符號，則這樣的函數(shù)為譯碼規(guī)則，記為對于有r個(gè)輸入、s個(gè)輸出的信道，按上述定義得到的譯碼規(guī)則共有種。（2）若S不為H矩陣某一列，則以ARQ糾錯(cuò)。178。178。178。178。 線性分組碼 （n，k）線性分組碼是以n長碼字的集合構(gòu)成的獨(dú)立糾錯(cuò)碼。在接收端，信道譯碼器利用這種預(yù)知的編碼規(guī)則來譯碼，或者是檢驗(yàn)接收到的符號序列中是否有錯(cuò)，或者糾正其中的差錯(cuò)。信道輸入符號X代表N種信源符號，信源符號也可以是已經(jīng)經(jīng)過信源編碼的N種碼字，使從信道輸出符號序列Y中能正確譯出這N種碼字，才能達(dá)到無差錯(cuò)地傳送，這就需要編碼。 信道編碼概述信道的特征是由信道轉(zhuǎn)移概率來描述的。 信號在信道的傳播過程中不可避免地會受到各種干擾，在這種情況下，如何增強(qiáng)信號的抗干擾能力，提高傳輸?shù)目煽啃?，是信道編碼主要考慮的問題。178。178。 波形信道：信道的輸入和輸出都是時(shí)間上的連續(xù)，并且取值也為連續(xù)的隨機(jī)信號。 半連續(xù)信道：信道的輸入序列是離散的，輸出序列是連續(xù)的。 連續(xù)信道：信道的輸入和輸出都是時(shí)間上的離散、取值連續(xù)的隨機(jī)序列，又成為模擬信道。 離散信道：信道的輸入和輸出都是時(shí)間上的離散、取值離散的隨機(jī)序列，離散信道有時(shí)也稱為數(shù)字信道。l 信道的分類信道可以按不同的特性進(jìn)行分類，根據(jù)輸入和輸出信號的特點(diǎn)可分為以下幾種。而是已知信道輸出端接收符號為時(shí)，發(fā)送的輸入符號為的概率，稱為后向概率。于是離散信道的數(shù)學(xué)模型可表示為： 一般的信道轉(zhuǎn)移概率可用如下的信道轉(zhuǎn)移矩陣來表示： （）輸入和輸出符號的聯(lián)合概率為,則有 其中是信道轉(zhuǎn)移概率，即發(fā)送為，通過信道傳輸接收到的概率，通常稱為前向概率。而每個(gè)隨機(jī)變量和又分別取值于符號集和，其中r不一定等于s。l 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型一般如圖1所式。由于干擾的存在，信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系。第三章 信道與信道編碼 信道的數(shù)學(xué)模型及其分類 信道是信息傳輸?shù)耐ǖ?，信道有輸入端和輸出端?每次縮減信源的最后兩個(gè)碼字總是最后一位不同，前面各位相同。 霍夫曼碼的編碼方法保證了概率大的符號對應(yīng)于短碼，概率小的符號對應(yīng)長碼，而且所有短碼都得到充分利用。對兩種不同的碼，它們的碼長各不同，然而平均碼長時(shí)相同的。178。 每次對縮減信源最后兩個(gè)概率最小的符號，勇0和1碼是可以任意的，所以可得到不同的碼?；舴蚵幋a方法得到的碼并非是惟一的。然后從最后一級縮減信源開始，依編碼路徑向前返回（從右往左），就得出各信源符號所對應(yīng)的碼字。 依次繼續(xù)下去，直至信源最后只剩下兩個(gè)符號為止。 把縮減信源的符號仍按概率大小以遞減次序排列，再將其最后兩個(gè)概率最小的符號合并成一個(gè)符號，并分別用0和1碼元表示，這樣又形成了q2個(gè)符號的縮減信源。 用0和1碼元分別代表概率最小的兩個(gè)信源符號，并將這兩個(gè)概率最小的信源符號合并成一個(gè)符號，從而得到只包含q1個(gè)符號的信源，稱為S信源的縮減信源。它的編碼過程如下：178。Huffman編碼在語聲、圖象、傳真、文件壓縮等領(lǐng)域都得到了廣泛的實(shí)際應(yīng)用。 Huffman編碼信源統(tǒng)計(jì)特性是Shannon信息論的基礎(chǔ)，基于統(tǒng)計(jì)特性作信源壓縮編碼就成為一種方案。 如此重復(fù)，直至信源符號不再可分為止。 將每一大組的信源符號進(jìn)一步再按編碼進(jìn)制數(shù)分組，使每組的概率和盡可能接近或相等，并分別賦予每組一個(gè)碼元。如編二進(jìn)制費(fèi)諾碼就分成兩組，各賦予一個(gè)二元碼符號碼元中的一個(gè)。 將信源發(fā)出的q個(gè)消息符號按其概率的遞減次序依次排列，即 178。不過有時(shí)也可得到緊致碼的性能。 去除小數(shù)點(diǎn)，并根據(jù)碼長，取小數(shù)點(diǎn)后位數(shù)作為第個(gè)信源符號的碼字，由下式確定。 將累加概率（為小數(shù)）變換成二進(jìn)制數(shù)。178。178。二進(jìn)制香農(nóng)碼的編碼過程如下：178。按照香農(nóng)編碼方法編出來的碼可以使不超過上界，但并不一定能使為最短，即編出來的不一定使緊致碼。一般情況下，對于同一信源，三種編碼方法以霍夫曼編碼法得到的平均碼長最短，即編碼效率最高。對于同一種信源，三種編碼法中以香農(nóng)編碼法的編碼效率最低，但這種編碼法對于證明變長編碼定理起到了很重要的作用，所以它有著重要的理論指導(dǎo)意義。對于熵為的離散無記憶信源若用具有r個(gè)碼元的碼符號集對信源進(jìn)行編碼，則一定存在一種無失真編碼方法，構(gòu)成惟一可譯碼，使其平均碼長滿足