【文章內(nèi)容簡介】 當(dāng)信宿接收到符號 yi，信息接收方對信源發(fā)送符號 xi 的不確定度是 I（ yi|xi），從這個意義上定義互信息。 從整個系統(tǒng)出發(fā)對互信息的定義：如果從整個系統(tǒng)的全局出發(fā)，通信前，信源發(fā)送隨機變量 X 和信宿接收隨機變量 Y 之間沒有任何關(guān)聯(lián)關(guān)系，即 X， Y統(tǒng)計獨立： P（ xi， yi） =P（ xi） P（ yi） 此時，有關(guān)符號 xi 和符號 yi 的聯(lián)合自信息量： I’（ xiyi） =log[1/P（ xi） P（ yi） ]=I（ xi） +I（ yi） 通信后，信源發(fā)送隨機變量 X 和信宿接收隨機變量 Y 之間由信道的統(tǒng)計性相聯(lián)系，其聯(lián)合概率密度： P（ xi， yi） =P（ xi） P（ yi|xi） =P（ yi） P（ xi|yi）此時有關(guān)于符號 xi 和符號 yi 的聯(lián)合自信息量： I（ xiyi） =log[1/P（ xi） P（ yi|xi） ]=log[1/P（ yi） P（ xi|yi） ] 通信后的互信息量，等于前后不確定度的差。事實上，以上三種互信息的定義是一致的 [3]。 167。 14 本文的主要內(nèi)容 本文的大略概括了信息論的基本知識，介紹了信息論的發(fā)展過程，信息論中常見的名詞定義，重點介紹了信息熵的概念和推導(dǎo)公式（以離散信源模型為例），以及相關(guān) 的條件熵，聯(lián)合熵等概念。并對信息論在機械工程領(lǐng)域的應(yīng)用做了大概說明。 第二章信息熵及相關(guān)概念推導(dǎo)公式 信息熵是 1948 年香農(nóng) (Shannon)在論文“通信的數(shù)學(xué)理論”中引入的，解決了對信息的量化度量問題。他對信息的定義：事物運動狀態(tài)或存在方式的不確定性的描述。 在香農(nóng)一開始尋找信息量定名稱時，數(shù)學(xué)家馮 .諾依曼建議稱為熵，理由是不定性函數(shù)在統(tǒng)計力學(xué)中已經(jīng)用在熵下面了。在熱力學(xué)中熵是物質(zhì)系統(tǒng)狀態(tài)的一個函數(shù)，它表示微觀粒子之間無規(guī)則的排列程度，即表示系統(tǒng)的紊亂度，維納說：“信息量的概念非常 自然地從屬于統(tǒng)計學(xué)的一個古典概念 —— 熵。 167。 21 信息熵 基于 Shannon 創(chuàng)立的信息熵理論 ,信息是不守恒的、無序的，它可以共享、傳遞、儲存、轉(zhuǎn)換 ,系統(tǒng)要向有序方向發(fā)展必須有負(fù)熵的輸入[4]。信息和熵有內(nèi)在的聯(lián)系，一般地，信息量越大，熵就越小，系統(tǒng)就越有序 ,結(jié)構(gòu)性就越強；反之，信息量越小，熵就越高，系統(tǒng)就越無序，結(jié)構(gòu)性就越差 [5]。信息與熵是一個相反的量，它表示系統(tǒng)獲得后無序狀態(tài)的減少或消除，即消除不定性的大小。 167。 22 信息熵公式推導(dǎo) 離散信源的模型： 定義 1[6]：設(shè)某一概率系統(tǒng) X 中有 n 個事件（ X1， X2，??， Xi，??Xn），第 i 個事件 Xi 產(chǎn)生的概率為 pi（ i=1， 2， 3，?? n），當(dāng)事件Xi 產(chǎn)生后 ,給出的信息量就稱為自信息： I（ Xi） =log2（ 1/pi）單位為bit。自信息的數(shù)學(xué)期望即平均自信息量，它的值稱為信息熵，簡記為H(X)，則有如下公式： 由公式推導(dǎo)可以得知：（ 1）信息熵的大小可以用來描述信息系統(tǒng)的平均不確定程度。若某一信息系統(tǒng)中某一知識產(chǎn)生的概率為 1，其他事件產(chǎn)生的概率為 0，由上式計算后可知，該系統(tǒng)的信息熵 H=0，它就是一個確定系統(tǒng)，不確定 度為 0。（ 2）如果某一信息系統(tǒng)中，其等價類是均勻的則表示系統(tǒng)中每一知識產(chǎn)生的分類基數(shù)相等，該系統(tǒng)的信息熵具有最大值（在相同對象數(shù)的情況下）即該系統(tǒng)的不確定性最大。根據(jù)信息熵的定義可知熵值越大看，不確定性就越大。那么，搞清楚它所需要的信息量也就越大 [78]。 167。 23 條件熵 在信源 X 輸出 Xi 的條件下，信源 Y再輸出 Yj 所能提供的平均信息量 [6]，稱為條件熵。記為 H（ Y|X)。條件熵有如下公式： 167。 24 聯(lián)合熵 兩個互相關(guān)聯(lián)的信源 X 和 Y 的聯(lián)合信源的信息熵為信源 X 的熵加上在 X 已知條 件下信源 Y 的條件熵 ,稱為 XY 的聯(lián)合熵 [6]。符合記為 H（ XY）或 H（ X∪ Y）。 公式表達(dá) :H（ X∪ Y） =H（ X） +H（ Y|X） 第三章信息理論在機械工程方面的應(yīng)用 目前，信息理論在機械工程方面的應(yīng)用并不普遍，這個結(jié)果通過論文搜索就可以看出，大概每搜索 6 篇有關(guān)信息論的論文，只能找到一篇論文與機械工程專業(yè)相關(guān)。 從目前論文檢索情況來看，信息論的應(yīng)用和它自身的特點有很密切的關(guān)系，常應(yīng)用于信息量大，需要進(jìn)行信息篩選整理，需要對信息數(shù)據(jù)進(jìn)行數(shù)理統(tǒng)計工作的領(lǐng)域，土地和城市規(guī)劃常用到信息論 的有關(guān)知識。 機械工程方面的應(yīng)用，一是集中于傳感器的信息處理方面。例如視覺，聽覺，嗅覺等。這些傳感器研究的特點都是有大量信息需要接收，而接收之后必須篩選拋棄或放大部分?jǐn)?shù)據(jù)。已經(jīng)開始初步探索的是機器人的語音識別，主要研究方式依舊是模板匹配，音頻對比 [9]。 二是在產(chǎn)品檢測，測量領(lǐng)域的應(yīng)用，例如目前的表面粗糙度 Ra（算術(shù)平均偏差）往往只出檢驗的結(jié)果，而沒有考慮檢驗結(jié)果的不確定因素。為了保證 Ra 測量結(jié)果的完整性和有效性，有論文提出了一種表面粗糙度 Ra 測量不確定度的計算方法。該方法依據(jù)表面粗糙度最小 二乘檢驗的基本原理計算檢驗結(jié)果，并根據(jù)信息熵與不確定度的關(guān)系計算檢驗結(jié)果的不確定度，從而減少產(chǎn)品的誤收和誤廢 [10]。 第四章結(jié)論 物質(zhì)、能量、信息是構(gòu)成這個世界的三大要素，因此材料科學(xué)、能源科學(xué)和信息科學(xué)構(gòu)成了世界發(fā)展的三大支柱。信息論是信息科學(xué)中最基礎(chǔ)的理論，由香農(nóng)在 1948 年正式提出。信息論中最基礎(chǔ)的概念是信息，信息論是一門新興學(xué)科，其中重要的組成概念包括自信息，互信息，信息熵，在此基礎(chǔ)上，衍生出其他的相關(guān)概念。信息論目前在機械工程領(lǐng)域應(yīng)用還不是特別普遍，因為信息論本身是基于數(shù)理統(tǒng)計的學(xué)科，它的研究目的是收集大量信息進(jìn)行篩選甄別計算，得出整體結(jié)論而不是討論個體情況。信息論的這一特點意味著它將主要用于需接收大量數(shù)據(jù)的研究領(lǐng)域 ，包括機器人應(yīng)用傳感器的研究領(lǐng)域，尤其是視覺圖像采集，嗅覺，聽覺語音辨識等，還有質(zhì)量檢測領(lǐng)域。 參考文獻(xiàn) [1]韓曉平 .當(dāng)能源充滿智慧 —— 中國能源網(wǎng)首席信息官 .中外企業(yè)家， 2021（ 5） [2]沈世鎰 .信息論基礎(chǔ)與應(yīng)用 .北京，高等教育出版社， [3]艾科拜爾 .艾合麥提 .信息論中關(guān)于互信息的三種不同理解的統(tǒng)一性 .中小企業(yè)管理與科技， 2021，（ 6）： 225[4]姬桂珍，吳承禎，洪偉，朱文華等 .武夷山市土地利用結(jié)構(gòu)信息熵動態(tài)研究 [.安全與環(huán)境學(xué)報，2021， 4(4)： 41244.[5]嚴(yán)志強，路汝成 .基于信息熵的小城鎮(zhèn)土地利用結(jié)構(gòu)變化及其持續(xù)利用研究 _以廣西北流市為例 .廣西師范學(xué)院學(xué)報（自然科學(xué)版）， 2021， 25（ 4）： 7074[6]傅祖蕓 .信息論基礎(chǔ)理論與應(yīng)用 . 北京 : 電 子 工 業(yè) 出 版 社 ， 2021[7] ：lofManMachineStudies， 1998， 29： 8195[8]紀(jì)濱 .信息熵在粗糙集中衍生的幾個概念 .計算機技術(shù)與發(fā)展， 2021， 18（ 6）： 7375[9]俞一彪 .基于互信息理論的說話人識別研究 .[博士學(xué)位論文 ]，上海大學(xué)，2021[10]鐘艷如，郭德偉，黃美發(fā) .信息熵原理在表面粗糙度 Ra 不確定度計算中的應(yīng)用 .機 械科學(xué)與技術(shù)， 2021， 28（ 6）： 829833 第四篇：信息論修改版 信息論局限性分析以及在光通信中的應(yīng)用 摘要 從新的角度指出了香農(nóng)信息論的局限性，這些局限性主要體現(xiàn)在對信息的可靠性和完備性的忽視，通過例子分析進(jìn)一步說明信息可靠性對于度量信息的重要意義。指出局限性產(chǎn)生的根源在于對信息多重不確定性的忽視，以及對概率值本身存在不確定性的認(rèn)識不足。后半部分介紹了信息論在光通信領(lǐng)域的一些應(yīng)用。 關(guān)鍵詞：信