【正文】 葉中行,信息論基礎[J],高等教育出版社 盧侃,從 Shannon 信息論到認知信息論[A],哈爾濱工程大學學報,第 32 卷第 8 ,信息論及其應用［M］,杭州：浙江大學出版社,1999 謝邦榮,彭征明,信息論在作戰(zhàn)效能評估中的應用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯碼算法及應用方案研究,西安電子科技大學[D] ,2012汪洋,趙萬民,人居環(huán)境研究的信息論科學基礎及其圖譜意象系統(tǒng)[J],2012 PKU CSSCI ,香農信息定義分析與改進[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設計應用中的幾點認識[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, (2)Gregory ,A Theory of Program Size Formally Identical to Information Theory[J],1975, (3)知識改變命運第五篇：信息論論文[定稿]湖南科技大學課程結課論文《信息論與編碼A》學院：信息與電氣工程學院 專業(yè)： 班級： 學號： 姓名：信息論基礎摘要：從對信息論的一些基礎知識匯總，信息的定義，信息論的發(fā)展；還有信源與信息熵，信道與信道容量，編碼這些關鍵知識點做一個系統(tǒng)性的回顧，再結合通信領域的知識進行分析。關鍵字：信息論；引言：信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學、數(shù)據(jù)壓縮等問題的應用數(shù)學學科。信息系統(tǒng)就是廣義的通信系統(tǒng)，泛指某種信息從一處傳送到另一處所需的全部設備所構成的系統(tǒng)。名稱由來：信息論將信息的傳遞作為一種統(tǒng)計現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。發(fā)展簡史：信息論是20世紀40年代后期從長期通訊實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸?shù)囊话阋?guī)律的科學。切略（）曾寫過一篇早期信息理論史，他從石刻象形文字起，經(jīng)過中世紀啟蒙語言學，直到16世紀吉爾伯特（）等人在電報學方面的工作。20世紀20年代奈奎斯特（）和哈特萊（）最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信道容量?，F(xiàn)代信息論開始出現(xiàn)。1948年克勞德香農（Claude Shannon）發(fā)表的論文“通信的數(shù)學理論”是世界上首次將通訊過程建立了數(shù)學模型的論文，這篇論文和1949年發(fā)表的另一篇論文一起奠定了現(xiàn)代信息論的基礎。由于現(xiàn)代通訊技術飛速發(fā)展和其他學科的交叉滲透，信息論的研究已經(jīng)從香農當年僅限于通信系統(tǒng)的數(shù)學理論的狹義范圍擴展開來，而成為現(xiàn)在稱之為信息科學的龐大體系。信息的性質：信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯(lián)系（第四節(jié)將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規(guī)則排布為完整的信息，其釋放的能量才足以使確定事件發(fā)生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發(fā)現(xiàn)?；緝热荩簜鹘y(tǒng)的通信系統(tǒng)如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統(tǒng)也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統(tǒng)。有時，信息必須進行雙向傳送，例如電話通信要求雙向交談，遙控系統(tǒng)要求傳送控制用信息和反向的測量信息等。這類雙向信息系統(tǒng)實際上是由兩個信息系統(tǒng)構成。所有信息系統(tǒng)都可歸納成如圖所示的模型來研究它的基本規(guī)律。信源：信息的源泉或產(chǎn)生待傳送的信息的實體，如電活系統(tǒng)中的講話者，對于電信系統(tǒng)還應包括話筒，它輸出的電信號作為含有信息的載體。信息熵：所謂信息熵，是一個數(shù)學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現(xiàn)概率。而信息熵和熱力學熵是緊密相關的。根據(jù)Charles 39。s Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產(chǎn)生信息，則是為系統(tǒng)引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。信宿：信息的歸宿或接受者，在電話系統(tǒng)中這就是聽者和耳機，后者把接收到的電信號轉換成聲音，供聽者提取所需的信息。信道：傳送信息的通道，如電話通信中包括中繼 器在內的同軸電纜系統(tǒng)，衛(wèi)星通信中地球站的收發(fā)信機、天線和衛(wèi)星上的轉發(fā)器等。編碼器：在信息論中是泛指所有變換信號的設備，實際上就是終端機的發(fā)送部分。它包括從信源到信道的所有設備，如量化器、壓縮編碼器、調制器等，使信源輸出的信號轉換成適于信道傳送的信號。譯碼器：是編碼器的逆變換設備，把信道上送來的信號轉換成信宿能接受的信號，可包括解調器、譯碼器、數(shù)模轉換器等。哈夫曼碼：哈夫曼碼是用概率匹配方法進行信源編碼。它有兩個明顯的特點：一是哈夫 曼的編碼方法保證了概率大的符號對應于短碼，概率小的符號對應于長碼，充分利用了短碼；二是縮減信源的最后兩個碼字總是最后一位不同，從而保證了哈夫曼碼是即時碼當信源和信宿已給定、信道也已選定后，決定信息系統(tǒng)性能就在于編碼器和譯碼器。設計一個信息系統(tǒng)時，除了選擇信道和設計其附屬設施外，主要工作也就是設計編譯碼器。一般情況下，信息系統(tǒng)的主要性能指標是它的有效性和可靠性。有效性就是在系統(tǒng)中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發(fā)出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統(tǒng)最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。從定量意義上說，應使系統(tǒng)在規(guī)定的失真或基本無失真的條件下，傳送最大的信息率；或者在規(guī)定信息率的條件下，失真最小。計算這最大信息率并證明達到或接近這一值的編譯碼器是存在的，就是信息論的基本任務。只討論這樣問題的理論可稱為仙農信息論般認為信息論的內容尚應更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計理論、檢測理論和密碼學。信息論是建立在概率論基礎上而形成的，也就是從信源符號和信道噪聲的概率特性出發(fā)的。這類信息通常稱為語法信息。其實，信息系統(tǒng)的基本規(guī)律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現(xiàn)與信宿的主觀要求無關，而語義則應考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報的信息率可低于表達同一含義的語聲的信息率就是一個例子。更進一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小于語義信息。倘若只要求信息系統(tǒng)傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關于語法信息，已在概率論的基礎上建立了系統(tǒng)化的理論，形成一個學科；而語義和語用信息尚不夠成熟。因此，關于后者的論述通常稱為信息科學或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統(tǒng)的基本規(guī)律應包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計理論以及密碼學。信息與通信：信息就是一種消息，它與通訊問題密切相關。1948年貝爾研究所的香農在題為《通訊的數(shù)學理論》的論文中系統(tǒng)地提出了關于信息的論述，創(chuàng)立了信息論。維納提出的關于度量信息量的數(shù)學公式開辟了信息論的廣泛應用前景。1951年美國無線電工程學會承認信息論這門學科，此后得到迅速發(fā)展。20世紀50年代是信息論向各門學科沖擊的時期，60年代信息論不是重大的創(chuàng)新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。到70年代，由于數(shù)字計算機的廣泛應用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發(fā)展。人們已把早先建立的有關信息的規(guī)律與理論廣泛應用于物理學、化學、生物學等學科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。