【正文】 （）（）式表明，碼字的平均長(zhǎng)度不能小于極限值，否則惟一可譯碼不存在。那么，平均每個(gè)碼元攜帶的信息量可定義為編碼后信道的信息傳輸率，即 比特/碼符號(hào) （）若傳輸一個(gè)碼符號(hào)平均需要t秒鐘，則編碼后信道每秒鐘傳輸?shù)男畔⒘繛? 比特/秒 （）定義：對(duì)于某一信源和某一碼符號(hào)集來(lái)說(shuō)，若有一個(gè)惟一可譯碼，其平均碼長(zhǎng)小于所有其他惟一可譯碼的平均碼長(zhǎng)，則在該碼稱(chēng)為緊致碼，或稱(chēng)致最佳碼。設(shè)信源為 （）編碼后的碼字為其碼長(zhǎng)分別為由于是惟一可譯碼，信源符號(hào)于碼字是一一對(duì)應(yīng)的，則這個(gè)碼字的平均碼長(zhǎng)為 （）平均碼長(zhǎng)表示每個(gè)信源符號(hào)平均需用的碼符號(hào)個(gè)數(shù)，單位是碼符號(hào)/信源符號(hào)。 平均碼長(zhǎng)的界限對(duì)于已知信源S可用碼符號(hào)X進(jìn)行變長(zhǎng)編碼，而且對(duì)同一信源采用同一碼符號(hào)編成的即時(shí)碼或惟一可譯碼有許多種。以此下去，直至集合為空為止或者沒(méi)有新的后綴產(chǎn)生為止。同樣，若有碼字是的前綴，即，則后綴也為中的元素。一般地，要夠成，n1,則將與比較。為得到集合，首先分析中的所有碼字。惟一可譯碼一定滿(mǎn)足上述不等式，反之，滿(mǎn)足上述不等式不一定是惟一碼。 唯一可譯碼若碼的任意一串有限長(zhǎng)的碼符號(hào)序列只能被惟一地譯成所對(duì)應(yīng)的信源符號(hào)序列，則此碼為惟一可譯碼。若再對(duì)每個(gè)取樣值經(jīng)過(guò)分層量化，就可將連續(xù)的取值轉(zhuǎn)換成有限的或可數(shù)的離散值，也就是可以把連續(xù)信源轉(zhuǎn)換成離散信源來(lái)處理。但根據(jù)取樣定理，只要是時(shí)間上的或頻率上為有限的過(guò)程，就可以把隨機(jī)過(guò)程用一系列時(shí)間離散的取樣值來(lái)表示，而每個(gè)取樣值都是連續(xù)型隨機(jī)變量。 信源的輸出的消息由隨機(jī)過(guò)程描述更一般的來(lái)說(shuō)，實(shí)際信源的輸出常常是時(shí)間的連續(xù)函數(shù)，并且它們的取值又是連續(xù)的和隨機(jī)的，這樣的信源稱(chēng)為隨機(jī)波形信源，可用隨機(jī)過(guò)程來(lái)描述。這種信源稱(chēng)為離散有記憶信源。這種信源稱(chēng)為離散無(wú)記憶信源。所以，概率空間能夠表征離散信源的統(tǒng)計(jì)特性。這種信源可用一維離散型隨機(jī)變量來(lái)描述這些消息，其數(shù)學(xué)模型就是離散型的概率空間： （）并滿(mǎn)足 （）此式表示信源可能取的消息符號(hào)只有q個(gè)：，而且每次必定取其中一個(gè)。不同的信源輸出的消息不同，可以根據(jù)消息的不同隨機(jī)性質(zhì)來(lái)對(duì)信源進(jìn)行分類(lèi)，具體如下。在通信系統(tǒng)中收信者在未收到消息前，對(duì)信源發(fā)出什么消息是不確定的、隨機(jī)的，可用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過(guò)程來(lái)描述信源輸出的消息。第二章 信源與信源編碼 信源的數(shù)學(xué)模型由于信源是消息的來(lái)源，所以通過(guò)消息來(lái)研究信源?？梢杂?組序列對(duì)的編碼來(lái)代替x編碼發(fā)送，加上y的3比特，達(dá)到了5比特速率就可以滿(mǎn)足SlepianWolf定理的編碼速率限。在接收端可知情況下，根據(jù)兩信源的碼符號(hào)集為分別為x、y，它們的碼字共有八種，且由等概率分布的3比特序列表示。用Z來(lái)代替X編碼發(fā)送。l 多信源信息傳輸多信源信息傳輸中介紹多信源，多信源接入信道及其模型，二址接入信道的容量界限，和多源接入信道的特征。l 信道編碼信號(hào)在信道的傳播過(guò)程中不可避免地會(huì)受到各種干擾，在這種情況下，如何增強(qiáng)信號(hào)的抗干擾能力，提高傳輸?shù)目煽啃?，是信道編碼主要考慮的問(wèn)題。l 信源編碼它是用盡可能少的信道傳輸符號(hào)來(lái)傳遞信源消息，以提高信息傳輸效率。本設(shè)計(jì)給出二源信息傳輸設(shè)計(jì)方案，是驗(yàn)證SlepianWolf定理的編碼速率限是可以達(dá)到。本課題研究的內(nèi)容只是網(wǎng)絡(luò)信息論中的一個(gè)知識(shí)點(diǎn)，更深入的研究受到時(shí)間和個(gè)人能力的限制。同時(shí)通過(guò)對(duì)二源相關(guān)信源獨(dú)立編碼的研究，使自己掌握網(wǎng)絡(luò)信息論的有關(guān)知識(shí)。本課題研究的是多信源信息傳輸中二源的信息傳輸編碼和譯碼，其中編碼方式是將相關(guān)信源協(xié)同編碼轉(zhuǎn)換為獨(dú)立編碼。網(wǎng)絡(luò)信息論研究的是網(wǎng)絡(luò)通信的有效性與可靠性，可歸結(jié)為三大類(lèi)問(wèn)題，即相關(guān)信源編碼問(wèn)題、網(wǎng)絡(luò)信道容量問(wèn)題以及信道編碼問(wèn)題。廣播信道容量，相關(guān)信源編碼方面的問(wèn)題正在研究之中。相關(guān)信源編碼的最早提出是由SlepianWolf給出的。廣播信道容量問(wèn)題最早由Cover（1972年）提出的。1961年Shannon發(fā)表了“雙路通信信道”一文，研究了雙端雙路通信系統(tǒng)，為網(wǎng)絡(luò)信息論奠定了基礎(chǔ)。這就促進(jìn)了網(wǎng)絡(luò)信息論及其相關(guān)的學(xué)科技術(shù)的發(fā)展。數(shù)字化、寬帶化、網(wǎng)絡(luò)化和個(gè)性化已成為媒體與用戶(hù)共同追求的目標(biāo)。多信源信息傳輸方案設(shè)計(jì)畢業(yè)論文目 錄摘 要 2第一章 引論 5 課題背景 5 5第二章 信源與信源編碼 7 信源的數(shù)學(xué)模型 7 信源輸出的消息由隨機(jī)變量描述 7 信源輸出的消息由隨機(jī)矢量描述 7 信源的輸出的消息由隨機(jī)過(guò)程描述 8 信源編碼 8 唯一可譯碼 8 惟一可譯碼判斷準(zhǔn)則 8 平均碼長(zhǎng)的界限 9 變長(zhǎng)碼的編碼方法 10 香農(nóng)編碼 10 費(fèi)諾編碼 11 Huffman編碼 11第三章 信道與信道編碼 13 信道的數(shù)學(xué)模型及其分類(lèi) 13 14 信道編碼概述 14 線(xiàn)性分組碼 14 譯碼規(guī)則 15第四章 多信源的信息傳輸 18 18 多信源接入信道 19 多信源接入信道及其模型 19 離散二址接入信道的容量界限 20 多源接入信道的特征 22第五章 二源信息傳輸方案 24 24 二源信息傳輸實(shí)驗(yàn) 25 實(shí)驗(yàn)結(jié)果分析 26結(jié)束語(yǔ) 29致 謝 30參考文獻(xiàn) 31附 錄 32第一章 引論 課題背景網(wǎng)絡(luò)通信的全球性發(fā)展是20世紀(jì)90年代的一件大事。其中Internet的出現(xiàn)與普及應(yīng)用，幾乎改變了整個(gè)信息社會(huì)的態(tài)勢(shì)布局。網(wǎng)絡(luò)已成為信息傳輸、交換的主要載體，而對(duì)在網(wǎng)絡(luò)上傳輸和交換的信息的效率以及可靠性與安全性也越來(lái)越受到關(guān)注。網(wǎng)絡(luò)信息論的研究最早是Shannon提出的。1971年Ahlswede和Van der Meulen引入了多元接入信道模型，同時(shí)還給出了多元接入信道的信道容量區(qū)域。他引入了研究廣播信道的一種退化廣播信道和編碼方法。多元接入信道在理論上研究較多，但具有反饋的多元接入信道的容量問(wèn)題還沒(méi)有很好的解決。網(wǎng)絡(luò)信息論尚在發(fā)展之中，這就是網(wǎng)絡(luò)信息論的發(fā)展現(xiàn)狀。比如，信源編碼包括相關(guān)信源及提供邊信息協(xié)同編碼等，信道容量區(qū)域概念，信道編碼與信源編碼的關(guān)聯(lián)性等。課題研究目的：本課題作為本科生的畢業(yè)設(shè)計(jì)課題，研究的目的在于將所學(xué)的知識(shí)運(yùn)用于實(shí)踐，并培養(yǎng)一定的研究能力和自學(xué)能力。通過(guò)此次畢業(yè)設(shè)計(jì)，使我對(duì)網(wǎng)絡(luò)信息論的中的相關(guān)信源編碼中的協(xié)同編碼和獨(dú)立編碼有一定的了解，同時(shí)也提高了自己的編程能力。本文所引用的理論都是前人已有的理論，并沒(méi)有在理論方面提出自己的東西。課題研究主要內(nèi)容：本課題為多信源傳輸方案設(shè)計(jì)，其主要內(nèi)容如下。在多用戶(hù)信源情況下，考慮相關(guān)信源的協(xié)同編碼和獨(dú)立編碼，本文論述的是二源信息傳輸中相關(guān)信源協(xié)同編碼轉(zhuǎn)換為獨(dú)立編碼傳輸?shù)膬蓚€(gè)信源。解決這一問(wèn)題，一般采用冗余編碼方法，即按照一定的編碼規(guī)則事先給信碼加上一定的冗余度，賦予信碼自身一定的糾錯(cuò)和檢錯(cuò)能力，只要采取適當(dāng)?shù)男诺谰幋a和譯碼措施，就可使信道傳輸?shù)腻e(cuò)誤概率降到允許的范圍之內(nèi)。重點(diǎn)討論了二源信息傳輸?shù)木幋a和譯碼，在接收端可知情況下，引入一個(gè)變量引入一個(gè)變量，由于x與y的Hamming距離不超過(guò)1，每個(gè)z只可能有Z集合中4種可能值，可知對(duì)Z只需2bit編碼。加上Y需要3bit編碼，就驗(yàn)證達(dá)到5bit編碼輸出的目的。將3bit序列分成4組序列對(duì)，每組兩個(gè)碼的Hamming距離為3，這4組序列對(duì)只需2bit編碼就區(qū)分。實(shí)驗(yàn)中采用校正子的編碼方法，用2bit編碼區(qū)分了所構(gòu)造的4組序列對(duì)，驗(yàn)證了SlepianWolf定理的編碼速率限是可以達(dá)到的。討論信源的輸出，以及信源輸出各種可能消息的不確定性?；蛘哒f(shuō)，用一個(gè)樣本空間極其概率測(cè)度——概率空間來(lái)描述信源。 信源輸出的消息由隨機(jī)變量描述定義：若信源輸出的消息是有限的或可數(shù)的，而且每次只輸出符號(hào)集中的一個(gè)消息，這樣的信源稱(chēng)為簡(jiǎn)單的離散信源。若信源給定，其相應(yīng)的概率空間就已給定；反之，若概率空間給定，也就表示相應(yīng)的信源給定。 信源輸出的消息由隨機(jī)矢量描述l 離散無(wú)記憶信源信源先后發(fā)出的一個(gè)個(gè)符號(hào)彼此是統(tǒng)計(jì)獨(dú)立的，并具有相同的概率分布，則N維隨機(jī)矢量的聯(lián)合概率分布滿(mǎn)足 （）其中即N維隨機(jī)矢量的聯(lián)合概率分布可用隨機(jī)矢量中單個(gè)隨機(jī)變量的概率乘積來(lái)表示。l 離散有記憶信源 一般情況下，信源先后發(fā)出的符號(hào)之間是相互依賴(lài)、存在著相關(guān)性的。因此，對(duì)于離散有記憶信源的研究需要在N維隨機(jī)矢量的 聯(lián)合概率分布中，引入條件概率分布來(lái)說(shuō)明它們之間的關(guān)聯(lián)。分析一般隨機(jī)過(guò)程比較困難。這樣就可把隨機(jī)過(guò)程轉(zhuǎn)換成時(shí)間上離散的隨機(jī)序列來(lái)處理，若隨機(jī)過(guò)程是平穩(wěn)的隨機(jī)過(guò)程，時(shí)間離散后可轉(zhuǎn)換成平穩(wěn)的隨機(jī)序列，這樣隨機(jī)波形信源可以轉(zhuǎn)換成連續(xù)平穩(wěn)信源來(lái)處理。 信源編碼信源編碼主要考慮的問(wèn)題是：用盡可能少的信道傳輸符號(hào)來(lái)傳遞信源消息，以提高傳輸效率。惟一可譯碼存在的充要條件是：信源符號(hào)和碼字長(zhǎng)度之間滿(mǎn)足麥克米倫不等式：