【正文】 葉中行,信息論基礎(chǔ)[J],高等教育出版社 盧侃,從 Shannon 信息論到認(rèn)知信息論[A],哈爾濱工程大學(xué)學(xué)報(bào),第 32 卷第 8 ,信息論及其應(yīng)用［M］,杭州：浙江大學(xué)出版社,1999 謝邦榮,彭征明,信息論在作戰(zhàn)效能評估中的應(yīng)用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯碼算法及應(yīng)用方案研究,西安電子科技大學(xué)[D] ,2012汪洋,趙萬民,人居環(huán)境研究的信息論科學(xué)基礎(chǔ)及其圖譜意象系統(tǒng)[J],2012 PKU CSSCI ,香農(nóng)信息定義分析與改進(jìn)[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設(shè)計(jì)應(yīng)用中的幾點(diǎn)認(rèn)識[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, (2)Gregory ,A Theory of Program Size Formally Identical to Information Theory[J],1975, (3)知識改變命運(yùn)第五篇：信息論論文[定稿]湖南科技大學(xué)課程結(jié)課論文《信息論與編碼A》學(xué)院：信息與電氣工程學(xué)院 專業(yè)： 班級： 學(xué)號： 姓名：信息論基礎(chǔ)摘要：從對信息論的一些基礎(chǔ)知識匯總，信息的定義，信息論的發(fā)展；還有信源與信息熵，信道與信道容量，編碼這些關(guān)鍵知識點(diǎn)做一個系統(tǒng)性的回顧，再結(jié)合通信領(lǐng)域的知識進(jìn)行分析。關(guān)鍵字：信息論；引言：信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。信息系統(tǒng)就是廣義的通信系統(tǒng)，泛指某種信息從一處傳送到另一處所需的全部設(shè)備所構(gòu)成的系統(tǒng)。名稱由來：信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。發(fā)展簡史：信息論是20世紀(jì)40年代后期從長期通訊實(shí)踐中總結(jié)出來的一門學(xué)科，是專門研究信息的有效處理和可靠傳輸?shù)囊话阋?guī)律的科學(xué)。切略（）曾寫過一篇早期信息理論史，他從石刻象形文字起，經(jīng)過中世紀(jì)啟蒙語言學(xué)，直到16世紀(jì)吉爾伯特（）等人在電報(bào)學(xué)方面的工作。20世紀(jì)20年代奈奎斯特（）和哈特萊（）最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信道容量?，F(xiàn)代信息論開始出現(xiàn)。1948年克勞德香農(nóng)（Claude Shannon）發(fā)表的論文“通信的數(shù)學(xué)理論”是世界上首次將通訊過程建立了數(shù)學(xué)模型的論文，這篇論文和1949年發(fā)表的另一篇論文一起奠定了現(xiàn)代信息論的基礎(chǔ)。由于現(xiàn)代通訊技術(shù)飛速發(fā)展和其他學(xué)科的交叉滲透，信息論的研究已經(jīng)從香農(nóng)當(dāng)年僅限于通信系統(tǒng)的數(shù)學(xué)理論的狹義范圍擴(kuò)展開來，而成為現(xiàn)在稱之為信息科學(xué)的龐大體系。信息的性質(zhì)：信息有以下性質(zhì)：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯(lián)系（第四節(jié)將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質(zhì)是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規(guī)則排布為完整的信息，其釋放的能量才足以使確定事件發(fā)生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進(jìn)一步發(fā)現(xiàn)?；緝?nèi)容：傳統(tǒng)的通信系統(tǒng)如電報(bào)、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統(tǒng)也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統(tǒng)。有時，信息必須進(jìn)行雙向傳送，例如電話通信要求雙向交談，遙控系統(tǒng)要求傳送控制用信息和反向的測量信息等。這類雙向信息系統(tǒng)實(shí)際上是由兩個信息系統(tǒng)構(gòu)成。所有信息系統(tǒng)都可歸納成如圖所示的模型來研究它的基本規(guī)律。信源：信息的源泉或產(chǎn)生待傳送的信息的實(shí)體，如電活系統(tǒng)中的講話者，對于電信系統(tǒng)還應(yīng)包括話筒，它輸出的電信號作為含有信息的載體。信息熵：所謂信息熵，是一個數(shù)學(xué)上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現(xiàn)概率。而信息熵和熱力學(xué)熵是緊密相關(guān)的。根據(jù)Charles 39。s Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學(xué)第二定律的。而產(chǎn)生信息，則是為系統(tǒng)引入負(fù)（熱力學(xué)）熵的過程。所以信息熵的符號與熱力學(xué)熵應(yīng)該是相反的。信宿：信息的歸宿或接受者，在電話系統(tǒng)中這就是聽者和耳機(jī)，后者把接收到的電信號轉(zhuǎn)換成聲音，供聽者提取所需的信息。信道：傳送信息的通道，如電話通信中包括中繼 器在內(nèi)的同軸電纜系統(tǒng)，衛(wèi)星通信中地球站的收發(fā)信機(jī)、天線和衛(wèi)星上的轉(zhuǎn)發(fā)器等。編碼器：在信息論中是泛指所有變換信號的設(shè)備，實(shí)際上就是終端機(jī)的發(fā)送部分。它包括從信源到信道的所有設(shè)備，如量化器、壓縮編碼器、調(diào)制器等，使信源輸出的信號轉(zhuǎn)換成適于信道傳送的信號。譯碼器：是編碼器的逆變換設(shè)備，把信道上送來的信號轉(zhuǎn)換成信宿能接受的信號，可包括解調(diào)器、譯碼器、數(shù)模轉(zhuǎn)換器等。哈夫曼碼：哈夫曼碼是用概率匹配方法進(jìn)行信源編碼。它有兩個明顯的特點(diǎn)：一是哈夫 曼的編碼方法保證了概率大的符號對應(yīng)于短碼，概率小的符號對應(yīng)于長碼，充分利用了短碼；二是縮減信源的最后兩個碼字總是最后一位不同，從而保證了哈夫曼碼是即時碼當(dāng)信源和信宿已給定、信道也已選定后，決定信息系統(tǒng)性能就在于編碼器和譯碼器。設(shè)計(jì)一個信息系統(tǒng)時，除了選擇信道和設(shè)計(jì)其附屬設(shè)施外，主要工作也就是設(shè)計(jì)編譯碼器。一般情況下，信息系統(tǒng)的主要性能指標(biāo)是它的有效性和可靠性。有效性就是在系統(tǒng)中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發(fā)出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統(tǒng)最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導(dǎo)致不可靠，反之也是如此。從定量意義上說，應(yīng)使系統(tǒng)在規(guī)定的失真或基本無失真的條件下，傳送最大的信息率；或者在規(guī)定信息率的條件下，失真最小。計(jì)算這最大信息率并證明達(dá)到或接近這一值的編譯碼器是存在的，就是信息論的基本任務(wù)。只討論這樣問題的理論可稱為仙農(nóng)信息論般認(rèn)為信息論的內(nèi)容尚應(yīng)更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計(jì)理論、檢測理論和密碼學(xué)。信息論是建立在概率論基礎(chǔ)上而形成的，也就是從信源符號和信道噪聲的概率特性出發(fā)的。這類信息通常稱為語法信息。其實(shí)，信息系統(tǒng)的基本規(guī)律也應(yīng)包括語義信息和語用信息。語法信息是信源輸出符號的構(gòu)造或其客觀特性所表現(xiàn)與信宿的主觀要求無關(guān)，而語義則應(yīng)考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報(bào)的信息率可低于表達(dá)同一含義的語聲的信息率就是一個例子。更進(jìn)一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小于語義信息。倘若只要求信息系統(tǒng)傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關(guān)于語法信息，已在概率論的基礎(chǔ)上建立了系統(tǒng)化的理論，形成一個學(xué)科；而語義和語用信息尚不夠成熟。因此，關(guān)于后者的論述通常稱為信息科學(xué)或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統(tǒng)的基本規(guī)律應(yīng)包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計(jì)理論以及密碼學(xué)。信息與通信：信息就是一種消息，它與通訊問題密切相關(guān)。1948年貝爾研究所的香農(nóng)在題為《通訊的數(shù)學(xué)理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開辟了信息論的廣泛應(yīng)用前景。1951年美國無線電工程學(xué)會承認(rèn)信息論這門學(xué)科，此后得到迅速發(fā)展。20世紀(jì)50年代是信息論向各門學(xué)科沖擊的時期，60年代信息論不是重大的創(chuàng)新時期，而是一個消化、理解的時期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時期。研究重點(diǎn)是信息和信源編碼問題。到70年代，由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認(rèn)識到信息的重要性，認(rèn)識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎(chǔ)理論，從而推動其他許多新興學(xué)科進(jìn)一步發(fā)展。人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學(xué)正在形成。