【文章內容簡介】 當信宿接收到符號 yi，信息接收方對信源發(fā)送符號 xi 的不確定度是 I（ yi|xi），從這個意義上定義互信息。 從整個系統出發(fā)對互信息的定義：如果從整個系統的全局出發(fā)，通信前，信源發(fā)送隨機變量 X 和信宿接收隨機變量 Y 之間沒有任何關聯關系，即 X， Y統計獨立： P（ xi， yi） =P（ xi） P（ yi） 此時，有關符號 xi 和符號 yi 的聯合自信息量： I’（ xiyi） =log[1/P（ xi） P（ yi） ]=I（ xi） +I（ yi） 通信后，信源發(fā)送隨機變量 X 和信宿接收隨機變量 Y 之間由信道的統計性相聯系，其聯合概率密度： P（ xi， yi） =P（ xi） P（ yi|xi） =P（ yi） P（ xi|yi）此時有關于符號 xi 和符號 yi 的聯合自信息量： I（ xiyi） =log[1/P（ xi） P（ yi|xi） ]=log[1/P（ yi） P（ xi|yi） ] 通信后的互信息量，等于前后不確定度的差。事實上，以上三種互信息的定義是一致的 [3]。 167。 14 本文的主要內容 本文的大略概括了信息論的基本知識，介紹了信息論的發(fā)展過程，信息論中常見的名詞定義，重點介紹了信息熵的概念和推導公式（以離散信源模型為例），以及相關 的條件熵，聯合熵等概念。并對信息論在機械工程領域的應用做了大概說明。 第二章信息熵及相關概念推導公式 信息熵是 1948 年香農 (Shannon)在論文“通信的數學理論”中引入的，解決了對信息的量化度量問題。他對信息的定義：事物運動狀態(tài)或存在方式的不確定性的描述。 在香農一開始尋找信息量定名稱時，數學家馮 .諾依曼建議稱為熵，理由是不定性函數在統計力學中已經用在熵下面了。在熱力學中熵是物質系統狀態(tài)的一個函數，它表示微觀粒子之間無規(guī)則的排列程度，即表示系統的紊亂度，維納說：“信息量的概念非常 自然地從屬于統計學的一個古典概念 —— 熵。 167。 21 信息熵 基于 Shannon 創(chuàng)立的信息熵理論 ,信息是不守恒的、無序的，它可以共享、傳遞、儲存、轉換 ,系統要向有序方向發(fā)展必須有負熵的輸入[4]。信息和熵有內在的聯系，一般地，信息量越大，熵就越小，系統就越有序 ,結構性就越強；反之，信息量越小，熵就越高，系統就越無序，結構性就越差 [5]。信息與熵是一個相反的量，它表示系統獲得后無序狀態(tài)的減少或消除，即消除不定性的大小。 167。 22 信息熵公式推導 離散信源的模型： 定義 1[6]：設某一概率系統 X 中有 n 個事件（ X1， X2，??， Xi，??Xn），第 i 個事件 Xi 產生的概率為 pi（ i=1， 2， 3，?? n），當事件Xi 產生后 ,給出的信息量就稱為自信息： I（ Xi） =log2（ 1/pi）單位為bit。自信息的數學期望即平均自信息量，它的值稱為信息熵，簡記為H(X)，則有如下公式： 由公式推導可以得知：（ 1）信息熵的大小可以用來描述信息系統的平均不確定程度。若某一信息系統中某一知識產生的概率為 1，其他事件產生的概率為 0，由上式計算后可知，該系統的信息熵 H=0，它就是一個確定系統，不確定 度為 0。（ 2）如果某一信息系統中，其等價類是均勻的則表示系統中每一知識產生的分類基數相等，該系統的信息熵具有最大值（在相同對象數的情況下）即該系統的不確定性最大。根據信息熵的定義可知熵值越大看，不確定性就越大。那么，搞清楚它所需要的信息量也就越大 [78]。 167。 23 條件熵 在信源 X 輸出 Xi 的條件下，信源 Y再輸出 Yj 所能提供的平均信息量 [6]，稱為條件熵。記為 H（ Y|X)。條件熵有如下公式： 167。 24 聯合熵 兩個互相關聯的信源 X 和 Y 的聯合信源的信息熵為信源 X 的熵加上在 X 已知條 件下信源 Y 的條件熵 ,稱為 XY 的聯合熵 [6]。符合記為 H（ XY）或 H（ X∪ Y）。 公式表達 :H（ X∪ Y） =H（ X） +H（ Y|X） 第三章信息理論在機械工程方面的應用 目前，信息理論在機械工程方面的應用并不普遍，這個結果通過論文搜索就可以看出，大概每搜索 6 篇有關信息論的論文，只能找到一篇論文與機械工程專業(yè)相關。 從目前論文檢索情況來看，信息論的應用和它自身的特點有很密切的關系，常應用于信息量大，需要進行信息篩選整理，需要對信息數據進行數理統計工作的領域，土地和城市規(guī)劃常用到信息論 的有關知識。 機械工程方面的應用，一是集中于傳感器的信息處理方面。例如視覺，聽覺，嗅覺等。這些傳感器研究的特點都是有大量信息需要接收，而接收之后必須篩選拋棄或放大部分數據。已經開始初步探索的是機器人的語音識別，主要研究方式依舊是模板匹配，音頻對比 [9]。 二是在產品檢測，測量領域的應用，例如目前的表面粗糙度 Ra（算術平均偏差）往往只出檢驗的結果，而沒有考慮檢驗結果的不確定因素。為了保證 Ra 測量結果的完整性和有效性，有論文提出了一種表面粗糙度 Ra 測量不確定度的計算方法。該方法依據表面粗糙度最小 二乘檢驗的基本原理計算檢驗結果，并根據信息熵與不確定度的關系計算檢驗結果的不確定度，從而減少產品的誤收和誤廢 [10]。 第四章結論 物質、能量、信息是構成這個世界的三大要素，因此材料科學、能源科學和信息科學構成了世界發(fā)展的三大支柱。信息論是信息科學中最基礎的理論，由香農在 1948 年正式提出。信息論中最基礎的概念是信息，信息論是一門新興學科，其中重要的組成概念包括自信息，互信息，信息熵，在此基礎上，衍生出其他的相關概念。信息論目前在機械工程領域應用還不是特別普遍，因為信息論本身是基于數理統計的學科，它的研究目的是收集大量信息進行篩選甄別計算，得出整體結論而不是討論個體情況。信息論的這一特點意味著它將主要用于需接收大量數據的研究領域 ，包括機器人應用傳感器的研究領域，尤其是視覺圖像采集，嗅覺，聽覺語音辨識等，還有質量檢測領域。 參考文獻 [1]韓曉平 .當能源充滿智慧 —— 中國能源網首席信息官 .中外企業(yè)家， 2021（ 5） [2]沈世鎰 .信息論基礎與應用 .北京，高等教育出版社， [3]艾科拜爾 .艾合麥提 .信息論中關于互信息的三種不同理解的統一性 .中小企業(yè)管理與科技， 2021，（ 6）： 225[4]姬桂珍，吳承禎，洪偉，朱文華等 .武夷山市土地利用結構信息熵動態(tài)研究 [.安全與環(huán)境學報，2021， 4(4)： 41244.[5]嚴志強，路汝成 .基于信息熵的小城鎮(zhèn)土地利用結構變化及其持續(xù)利用研究 _以廣西北流市為例 .廣西師范學院學報（自然科學版）， 2021， 25（ 4）： 7074[6]傅祖蕓 .信息論基礎理論與應用 . 北京 : 電 子 工 業(yè) 出 版 社 ， 2021[7] ：lofManMachineStudies， 1998， 29： 8195[8]紀濱 .信息熵在粗糙集中衍生的幾個概念 .計算機技術與發(fā)展， 2021， 18（ 6）： 7375[9]俞一彪 .基于互信息理論的說話人識別研究 .[博士學位論文 ]，上海大學，2021[10]鐘艷如，郭德偉，黃美發(fā) .信息熵原理在表面粗糙度 Ra 不確定度計算中的應用 .機 械科學與技術， 2021， 28（ 6）： 829833 第四篇：信息論修改版 信息論局限性分析以及在光通信中的應用 摘要 從新的角度指出了香農信息論的局限性，這些局限性主要體現在對信息的可靠性和完備性的忽視，通過例子分析進一步說明信息可靠性對于度量信息的重要意義。指出局限性產生的根源在于對信息多重不確定性的忽視，以及對概率值本身存在不確定性的認識不足。后半部分介紹了信息論在光通信領域的一些應用。 關鍵詞：信